JP2010087977A

JP2010087977A - 画像処理装置、画像処理方法、及び、プログラム

Info

Publication number: JP2010087977A
Application number: JP2008256481A
Authority: JP
Inventors: Naomasa Takahashi; 巨成高橋; Hiromasa Naganuma; 宏昌長沼; Makoto Tsukamoto; 信塚本; Jun Hirai; 純平井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-10-01
Filing date: 2008-10-01
Publication date: 2010-04-15

Abstract

【課題】階調変換後の画像の見た目の画質を向上させる。
【解決手段】環境情報取得部１１は、画像を表示する環境の明るさに関する環境情報を取得し、決定部１２に供給する。決定部１２は、環境情報取得部１１からの環境情報に応じて、画像の階調を変換する階調変換処理の処理内容を決定する。適応的階調変換部１３は、環境情報に応じて決定される、画像の階調を変換する階調変換処理の処理内容に従い、画像に階調変換処理を施す。本発明は、例えば、TV等の画像の階調を変換する階調変換処理を行う装置に適用できる。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、見た目の画質が良い画像を表示することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

例えば、Nビットの画素値の画像（以下、Nビットの画像ともいう）を、Nビットよりも小さいMビットの画素値の画像を表示する表示装置で表示するには、Nビットの画像を、Mビットの画像に変換すること、つまり、画像の階調を変換する階調変換を行う必要がある。

また、例えば、HDMI(High Definition Multimedia Interface)やDVI(Digital Visual Interface)等のディジタルインタフェースで接続された機器どうしでは、そのディジタルインタフェースの規格に従ったビット数で、画像等のディジタルデータの伝送が行われる。

例えば、HDMIのバージョン1.3a以降では、Deep Colorが定義され、24ビット（例えば、８ビットのR(Red),G(Green),B(Blue)）を超える、30ビットや、36ビット、48ビットの画像を伝送することができる。

しかしながら、HDMIで伝送することができる画像（データ）のビット数と、HDMIを介して接続された機器（以下、HDMI機器ともいう）の内部で行われる信号処理のビット数とは、必ずしも一致しているとは限らない。

すなわち、例えば、HDMIを介して接続された２つのHDMI機器のうちの、画像を送信する側のHDMI機器（HDMIソース）では、信号処理の結果得られる画像のビット数が、HDMIのDeep Colorのビット数を超える場合がある。

また、例えば、HDMIを介して接続された２つのHDMI機器のうちの、画像を受信する側のHDMI機器（HDMIシンク）では、信号処理の対象とすることができる画像のビット数が、HDMIで伝送されてくる画像のビット数よりも小であることがある。

そして、HDMIソースにおいて、信号処理の結果得られる画像のビット数が、HDMIのDeep Colorのビット数を超える場合には、画像をHDMIで伝送するために、信号処理の結果得られる画像を、少ないビット数の画像に変換する階調変換を行う必要がある。

また、HDMIシンクにおいて、信号処理の対象とすることができる画像のビット数が、HDMIで伝送されてくる画像のビット数よりも小である場合にも、HDMIシンクで信号処理を行うために、HDMIで伝送された画像を、少ないビット数の画像に変換する階調変換を行う必要がある。

その他、例えば、HDMIソースやHDMIシンク等の画像を処理する画像処理装置の内部のブロックどうしでも、信号処理の対象とすることができる画像のビット数が異なることがある。すなわち、例えば、画像処理装置の内部において、第１の信号処理を行い、その後、第２の信号処理を行う場合において、第１の信号処理の結果得られる画像のビット数が、第２の信号処理の対象となる画像のビット数を超えていることがある。

また、ディジタルカメラで撮影した画像や、ディジタルカムコーダ（ディジタルビデオカメラ）で撮影した画像、CG(Computer Graphics)、アニメーション等の画像を、表示装置で表示する場合に、表示の対象の画像のビット数が、表示装置で表示することができる画像のビット数を超えていることがある。

以上のように、画像が、画像処理装置での信号処理の対象となる画像のビット数を超えるビット数の画像である場合には、信号処理の対象となる画像のビット数Mを超えるビット数Nの画像であるNビットの画像を、Mビットの画像に階調変換する必要がある。

Nビットの画像を、Mビットの画像に階調変換する方法（階調変換方法）としては、例えば、Nビットの画素値の、下位N-Mビットを切り捨てて、Mビットの画素値とする方法がある。

図１は、ビットシフトによって、Nビットの画素値の、下位N-Mビットを切り捨てて、Mビットの画素値とする方法を示している。

図１では、8ビットの画素値が、LSB(Least Significant Bit)の方向に、2ビットだけビットシフトされ、これにより、下位2ビットが切り捨てられ、6ビットの画素値にされている。

Nビットの画素値の、下位N-Mビットを切り捨てて、Mビットの画素値とする方法としては、その他、例えば、Nビットの画素値を正規化する方法がある。

Nビットの画素値を正規化する方法では、Nビットの画素値が、2^Nで除算されることで、0.0ないし1.0の範囲の除算値に正規化され、その除算値が、2^M倍される。そして、その2^M倍後の値の小数部分が切り捨てられ、整数部分のMビットが、階調変換の結果とされる。

以上のような、画素値の下位ビットを切り捨てるだけの階調変換では、画像のグラデーションの部分や、晴れた日の空の部分等の平坦な部分で、画素値が切り替わる境界が見えるようになる。すなわち、バンディング(banding)（又は、マッハバンド）と呼ばれる階段状の段差が見えるようになる。

このようなバンディングが生じるのを防止し、階調変換後の画像において、階調変換前の画像の階調を擬似的に表現する階調変換方法として、ディザ法や、誤差拡散法（非特許文献１）がある。

図２は、画素値の下位ビットを切り捨てるだけの階調変換によって得られる画像、ディザ法による階調変換によって得られる画像、及び、誤差拡散法による階調変換によって得られる画像を示している。

すなわち、図２Ａは、階調変換の対象の画像（以下、対象画像ともいう）としてのグレースケールの画像を示している。

図２Ａの対象画像においては、水平方向の画素値が、左から右に向かって、徐々に大になっている。また、垂直方向の画素値は、各垂直ラインごとに同一になっている。

図２Ｂは、図２Ａの対象画像を対象として、画素値の下位ビットを切り捨てるだけの階調変換を行った結果得られる、階調変換後の画像を示している。

図２Ｂの階調変換後の画像においては、階調の変化が、帯のように見えており、バンディングが生じている。

図２Ｃは、図２Ａの対象画像の、ディザ法による階調変換によって得られる、階調変換後の画像を示している。

図２Ｃの、ディザ法による階調変換後の画像では、図２Ｂの、画素値の下位ビットを切り捨てるだけの階調変換により得られる画像よりも、見た目の階調が向上している。

図２Ｄは、図２Ａの対象画像の、誤差拡散法による階調変換によって得られる、階調変換後の画像を示している。

図２Ｄの、誤差拡散法による階調変換後の画像では、図２Ｂの、画素値の下位ビットを切り捨てるだけの階調変換により得られる画像よりも、見た目の階調が向上している。

図３は、10ビットの画像を対象画像として、その対象画像を、8ビットの画像に階調変換したときの、対象画像の画素値と、階調変換後の画像の画素値とを示している。

なお、図３において、横軸は、画像の水平方向の位置を表し、縦軸は、画素値を表す。

図３Ａは、対象画像の画素値を示している。

図３Ａでは、対象画像の画素値は、左から右に向かって、徐々に大になっている。

図３Ｂは、図３Ａの対象画像を対象として、画素値の下位ビットを切り捨てるだけの階調変換を行った結果得られる、階調変換後の画像の画素値を示している。

図３Ｂでは、下位ビットの切り捨てによって、階調変換後の画像に、バンディングが生じている。

図３Ｃは、図３Ａの対象画像の、ディザ法、又は、誤差拡散法による階調変換によって得られる、階調変換後の画像の画素値を示している。

図３Ｃでは、階調変換後の画像において、ある画素値Vとなる画素と、その画素値Vより１だけ大の画素値V+1（又は、１だけ小の画素値V-1）となる画素との粗密がある粗密領域、つまり、画素値が値Vの画素の割合が多い領域や、画素値が値V+1の画素が多い領域（画素値が値V+1の画素の割合が少ない領域や、画素値が値Vの画素が少ない領域）が生じており、その粗密領域の画素値が、人の視覚の積分効果によって、滑らかに変化しているように見える。

ディザ法、及び、誤差拡散法では、Nビットの画像（の画素値）が、Mビットの画像に量子化されるが、その量子化の前に、Nビットの画像に、ノイズが加算される。このように、ノイズが加算された後のNビットの画像が量子化される。そのため、その量子化後（階調変換後）のMビットの画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになり、人の視覚の積分効果によって、滑らかに変化しているように見える。

なお、ディザ法では、人の視覚特性に関係なく、ノイズが加算されるが、誤差拡散法では、人の視覚特性を考慮して、人の視覚の感度が高くない周波数成分が多いノイズが加算される。

貴家仁志著，「よくわかるディジタル画像処理」，第6版，CQ出版株式会社，2000年1月，p.196-213

ところで、今後は、4k（例えば、横×縦が4096×2160画素）の表示デバイスや、スーパハイビジョン対応の表示デバイス等の様々な解像度の表示デバイスが流通し、そのような様々な解像度の表示デバイスに画像が表示されることが予想される。

また、画像を表示する表示デバイスの解像度の他に、表示デバイスから、どの程度離れて画像を見るかや、どのような明るさの環境で、画像を見るか等の視聴スタイルも多様化している。

従来、画像を表示する環境（ユーザが画像を見る環境）（以下、視聴環境ともいう）の明るさをセンシングし、表示デバイスとしての、例えば、LCD(Liquid Crystal Display)のバックライト等の明るさを調整することで、視聴環境の明るさに適した明るさの画像を表示することが提案されている。

一方、従来においては、視聴環境の明るさに関係なく、固定の処理内容の階調変換が行われている。

しかしながら、例えば、人の視力は、視聴環境の明るさによって変化し、その視力の変化によって、画像の見え方が変化する。したがって、階調変換後の画像の見た目の画質を向上させるには、視聴環境の明るさに応じた処理内容の階調変換を行うことが望ましい。

本発明は、このような状況に鑑みてなされたものであり、階調変換後の画像の見た目の画質を向上させることができるようにするものである。

本発明の一側面の画像処理装置、又は、プログラムは、画像を表示する環境の明るさに関する環境情報を取得する環境情報取得手段と、前記環境情報に応じて決定される、前記画像の階調を変換する階調変換処理の処理内容に従い、前記画像に階調変換処理を施す階調変換手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の一側面の画像処理方法は、画像の階調変換を行う画像処理装置が、前記画像を表示する環境の明るさに関する環境情報を取得し、前記環境情報に応じて決定される、前記画像の階調を変換する階調変換処理の処理内容に従い、前記画像に階調変換処理を施すステップを含む画像処理方法である。

以上のような一側面においては、画像を表示する環境の明るさに関する環境情報が取得され、前記環境情報に応じて決定される、前記画像の階調を変換する階調変換処理の処理内容に従い、前記画像に階調変換処理が施される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本発明の一側面においては、階調変換後の画像の見た目の画質を向上させることができる。

＜本発明を適用した階調変換装置の第１実施の形態＞

図４は、本発明を適用した画像処理装置としての階調変換装置の第１実施の形態の構成例を示している。

図４において、階調変換装置１０は、環境情報取得部１１、決定部１２、及び、適応的階調変換部１３から構成される。

階調変換装置１０には、階調変換の対象の画像（対象画像）が供給されるようになっており、階調変換装置１０は、対象画像の階調変換を行い、階調変換後の画像を出力する。

すなわち、環境情報取得部１１は、階調変換後の画像を表示する環境（視聴環境）の明るさに関する環境情報を取得し、決定部１２に供給する。

具体的には、環境情報取得部１１は、例えば、視聴環境に設置された、照度をセンシングする照度センサから、視聴環境の照度のセンシング結果を、環境情報として取得（受信）し、決定部１２に供給する。

決定部１２は、環境情報取得部１１から供給される環境情報に応じて、対象画像の階調を変換する階調変換処理の処理内容を決定し、その処理内容の階調変換処理を行うように、適応的階調変換部１３を制御する。

適応的階調変換部１３は、決定部１２の制御に従い、階調変換装置１０に供給される対象画像の階調変換を行い、その結果得られる階調変換後の画像を出力する。

すなわち、適応的階調変換部１３は、決定部１２において環境情報に応じて決定される処理内容に従い、対象画像に、その処理内容の階調変換処理を施し、階調変換後の画像を出力する。

ここで、決定部１２では、例えば、階調変換のアルゴリズム、すなわち、例えば、ランダムディザ法や、組織的ディザ法、誤差拡散法等の、適応的階調変換部１３で行う階調変換のアルゴリズムを、階調変換処理の処理内容として決定することができる。

どのような階調変換のアルゴリズムを、階調変換処理の処理内容として決定するかは、例えば、視聴環境の様々な照度に対して、見た目の画質が良い階調変換後の画像が得られる階調変換のアルゴリズムを、シミュレーションによって求めておくことにより行うことができる。

また、決定部１２では、例えば、適応的階調変換部１３において、誤差拡散法で階調変換を行う場合に、誤差拡散法による階調変換で用いられる、後述するノイズシェーピング用のフィルタのフィルタ係数を、階調変換処理の処理内容として決定することができる。

＜誤差拡散法による階調変換を行う適応的階調変換部１３の構成例＞

図５は、図４の適応的階調変換部１３が誤差拡散法による階調変換を行う場合の、その適応的階調変換部１３の構成例を示している。

図５において、適応的階調変換部１３は、演算部１、量子化部２、演算部３、及び、フィルタ４から構成される。

演算部１には、対象画像の（画素の）画素値Xが、例えば、ラスタスキャン順に供給される。さらに、演算部１には、フィルタ４の出力も供給される。演算部１は、対象画像の画素値Xに、フィルタ４の出力（後述するように、ノイズとしての量子化誤差のフィルタリング結果）を加算し、その結果得られる加算値を、量子化部２と、演算部３に供給する。

量子化部２は、演算部１からの加算値を量子化する。すなわち、階調変換後の画像が、Mビットの画像であるとすると、量子化部２は、演算部１からの加算値を、Mビットに量子化し、その量子化値を、階調変換後の画像の画素値Yとして出力する。

演算部３には、演算部１からの加算値が供給される他、量子化部２が出力する量子化値(階調変換後の画像の画素値)Yが供給される。演算部３は、演算部１からの加算値から、量子化部２からの量子化値Yを減算することで、量子化値Yの量子化誤差-Qを求め、フィルタ４に供給する。

フィルタ４は、例えば、２次元のFIR(Finite Impulse Response)フィルタ等であり、演算部３から供給される量子化誤差-Qをフィルタリングし、そのフィルタリング結果を、演算部１に供給する。

以上のように、適応的階調変換部１３では、量子化誤差-Qが、２次元のフィルタであるフィルタ４を介して、入力側（演算部１）にフィードバックされており、２次元のΔΣ変調が行われる。したがって、適応的階調変換部１３では、対象画像に、ΔΣ変調が施されることにより、対象画像の階調変換が行われる。

なお、図５の適応的階調変換部１３において、量子化誤差-Qは、画素値Xに対する（量子化値Yの）量子化誤差であるが、画素値XをΔΣ変調して得られる画素値Yを求めるにあたっては、画素値Xに対する量子化誤差-Qは使用されず、ラスタスキャン順で、画素値Xよりも前の画素値（先に処理された画素値）に対する量子化誤差が使用される。

すなわち、演算部１に供給される画素値Xの画素を、注目画素ということとすると、演算部１では、例えば、注目画素を中心とする横×縦が5×5画素のうちの、ラスタスキャン順で、既に階調変換がされた12画素それぞれに対する量子化誤差を用いた、フィルタ４のフィルタリングの結果が、画素値Xに加算される。

図５の適応的階調変換部１３では、フィルタ４の伝達関数をGと表すと、画素値XとYとの間に次式が成り立つ。

Y=X+(1-G)×Q
・・・（１）

式（１）によれば、適応階調変換部１３での誤差拡散法による階調変換としてのΔΣ変調では、量子化誤差を、高域側に、いわば押しやるノイズシェーピングが行われる。式（１）においては、量子化誤差Qが、(1-G)で変調されているが、この変調が、ノイズシェーピングである。

したがって、適応的階調変換部１３のΔΣ変調で行われるノイズシェーピングの特性（周波数特性）は、フィルタ４の特性（伝達関数G）、ひいては、フィルタ４のフィルタ係数によって決まる。したがって、フィルタ４は、ノイズシェーピング用のフィルタであるということができる。

ノイズシェーピング用のフィルタであるフィルタ４としては、人間の視覚特性を考慮して、ノイズ（量子化誤差）を、高域に変調するフィルタが採用される。

ここで、図６は、人間の視覚特性について説明する図である。

すなわち、図６Ａは、人間の視覚特性（視覚の空間周波数特性）としてのCSF(Contrast Sensitivity Function)（コントラスト感度関数）を示している。

CSFの横軸は、空間周波数を表し、縦軸は、人の視覚の感度を表す。

図６Ａでは、人の視覚の感度は、空間周波数が0のときに低く、空間周波数が高くなるにつれて急激に上昇する。そして、人の視覚の感度は、空間周波数が９cpd(cycle/degree)付近で最大になり、その後、緩やかに下降して、高域にいくほど低くなる。

図６Ｂは、空間周波数の単位であるcpdを説明する図である。

cpdは、視野角θの単位角度である1度の範囲に見える縞模様の数を表す。例えば、10cpdは、視野角１度の範囲に、白線と黒線のペアが10ペアだけ見えることを意味し、20cpdは、視野角１度の範囲に、白線と黒線のペアが20ペアだけ見えることを意味する。

画像を表示する表示デバイスについては、視野角１度の、表示デバイスの表示画面上の範囲（距離）dは、視聴者から表示画面までの距離である視聴距離をDとすると、式d=2D×tan(θ/2)で表され、視聴距離によって異なる。

また、表示デバイスにおいて、表示画面のある一定の範囲に表示することができる白線と黒線のペアの数は、表示デバイスの解像度によって異なる。

したがって、表示デバイスで表示することができる画像の最高の空間周波数(cpd)は、視聴距離Dと、表示デバイスの解像度とによって決まる。

表示デバイス（の表示画面）の垂直方向（縦）の長さをHインチと表すと、表示デバイスを評価するときの視聴距離Dとしては、例えば、2.5Hないし3.0H程度が採用される。

視聴距離Dとして、例えば、3.0Hを採用した場合、例えば、いわゆるフルHD(High Definition)の画像を表示する横×縦が1920×1080画素の40インチのサイズを有する表示デバイスで表示される画像の最高の空間周波数は、約30cpdとなる。

上述したように、ノイズシェーピング用のフィルタであるフィルタ４としては、人間の視覚特性を考慮して、ノイズ（量子化誤差）を、高域に変調するフィルタが採用されるが、そのようなフィルタとしては、例えば、Jarvis, Judice & Ninkeのフィルタ（以下、Jarvisフィルタともいう）や、Floyd & Steinbergのフィルタ（以下、Floydフィルタともいう）がある。

図７は、Jarvisフィルタを用いた場合と、Floydフィルタを用いた場合の、ノイズシェーピングの特性（振幅特性）を示している。

ずなわち、図７Ａは、Jarvisフィルタを用いた場合のノイズシェーピングの特性を示しており、図７Ｂは、Floydフィルタを用いた場合のノイズシェーピングの特性を示している。

なお、図７では、空間周波数（水平方向と垂直方向それぞれの空間周波数）は、サンプリング周波数の1/2（角周波数π）を、1.0として正規化してある。

図８は、Jarvisフィルタを用いた場合と、Floydフィルタを用いた場合の、ノイズシェーピングの特性を示している。

なお、図７では、ノイズシェーピングの特性を、水平方向と垂直方向それぞれの空間周波数について示してあるが、図８では（後述する図９及び図１０も同様）、ノイズシェーピングの特性を、水平方向と垂直方向のうちの、水平方向（又は、垂直方向）の１方向の空間周波数についてだけ示してある。

また、図８では、ノイズシェーピングの特性とともに、CSF（コントラスト感度関数）も示してある。なお、ノイズシェーピングの特性と、CSFとでは、縦軸のスケールが異なる。

JarvisフィルタやFloydフィルタを用いた場合のノイズシェーピングによれば、ノイズ（量子化誤差）は、人の視覚の感度が高くない高域側（図８では、25cpdないし40cpd以上の周波数帯域）に変調される。したがって、見た目の階調が向上し、かつ、ノイズが目立たない階調変換後の画像を得ることができる。

なお、図８では、Jarvisフィルタを用いた場合のノイズシェーピングの特性は、60cpd付近をピークとして、25cpd付近以上の周波数帯域のレベル（ゲイン）が大になっている。また、Floydフィルタを用いた場合のノイズシェーピングの特性は、90cpd付近をピークとして、40cpd付近以上の周波数帯域のレベルが大になっている。

例えば、印刷等の分野では、用途に応じて、JarvisフィルタとFloydフィルタとが使い分けられる。

図９は、ノイズシェーピング用のフィルタであるフィルタ４として、本件出願人が先に提案しているSBM(Super Bit Mapping)フィルタを採用した場合のノイズシェーピングの特性（振幅特性）を示している。

なお、図９では、SBMフィルタを採用した場合のノイズシェーピングの特性の他に、Jarvisフィルタを用いた場合とFloydフィルタを用いた場合のそれぞれのノイズシェーピングの特性も、図示してある。

また、図９では、図７と同様に、空間周波数（周波数軸）を正規化してある。

Jarvisフィルタを用いた場合のノイズシェーピングでは、低域から中域（図９では、0.2ないし0.7程度）にかけてレベルが大になるノイズが対象画像に加算される。

Floydフィルタを用いた場合のノイズシェーピングでは、Jarvisフィルタを用いた場合のノイズシェーピングのノイズを、やや高域側にシフトしたようなノイズが、対象画像に加算される。

SBMフィルタを用いた場合のノイズシェーピングでは、Floydフィルタを用いた場合のノイズシェーピングに比較して、より高域側のノイズが、より大きいノイズが、対象画像に加算される。

すなわち、SBMフィルタを用いた場合のノイズシェーピングの特性は、中域以上の特性が、視覚特性としてのCSF（図８）の逆の特性になっており、いわば、HPF（High Pass Filter）の特性になっている。

また、SBMフィルタを用いた場合のノイズシェーピングの特性は、低域及び中域（0.0ないし0.4付近）では、ほとんど増加せず（図９では減少している）、高域で、FloydフィルタやJarvisフィルタを用いた場合のノイズシェーピングの特性よりも急峻に増加する特性になっている。

したがって、SBMフィルタを用いた場合のノイズシェーピング（以下、SBMフィルタによるノイズシェーピングともいう）によれば、人の視覚の感度が高い9cpd付近を含む低域から中域にかけてのレベルがより小で、人の視覚の感度が低い、より高域のレベルが、より大のノイズが、対象画像に加算される。

その結果、SBMフィルタによれば、JarvisフィルタやFloydフィルタを用いる場合に比較して、階調変換後の画像に、ノイズとしての量子化誤差が視認されることを、より効果的に防止して、見た目の画質を向上させることができる。

すなわち、画像を表示する表示デバイスとしては、今後、前述した4kの表示デバイスや、スーパハイビジョン対応の表示デバイス等の、より高解像度の表示デバイスの普及が予想されるが、現在最も普及しているのは、SD(Standard definition)画像を表示する表示デバイスや、HD(High Definition)の画像を表示する表示デバイスである。

例えば、いま、フルHD(full HD)の画像を表示する横×縦が1920×1080画素の40インチのサイズの表示デバイスを用い、視聴距離D（図６）を、例えば、3Hとして、画像を視聴する場合、表示デバイスで表示される画像の最高の空間周波数は、上述したように、30cpd程度となる。

ここで、表示デバイスで表示される画像の最高の空間周波数は、図６で説明したように、表示デバイスの解像度（、及び、視聴距離D）によって決まるので、以下、適宜、解像度に対応する空間周波数ともいう。

解像度に対応する空間周波数が、30cpd程度である場合には、JarvisフィルタやFloydフィルタでは、人の視覚の感度がそれほど高くもないが、低くもない中域において、ある程度のレベルのノイズが、対象画像に加算される。このため、階調変換後の画像に、ノイズとしての量子化誤差が視認され、見た目の画質が劣化する。

一方、SBMフィルタでは、低域から中域にかけてのレベルがより小で、より高域のレベルが大のノイズが、対象画像に加算されるので、階調変換後の画像に、ノイズとしての量子化誤差が視認されることによる見た目の画質が劣化することを防止することができる。

すなわち、図１０は、解像度に対応する空間周波数が、30cpd程度である場合の、Jarvisフィルタ、Floydフィルタ、及び、SBMフィルタのそれぞれによるノイズシェーピングの特性を示している。

なお、図１０では、ノイズシェーピングの特性の他に、視覚特性としてのCSF（図８）も図示してある。また、図１０のノイズシェーピングの特性とCSFとでは、図８の場合と同様に、縦軸のスケールが異なる。

解像度に対応する空間周波数が、30cpd程度である場合には、上述したように、JarvisフィルタやFloydフィルタでは、中域において、ある程度のレベルのノイズが、対象画像に加算される。その結果、階調変換後の画像は、ノイズ（量子化誤差）が目立つ画像となる。

一方、SBMフィルタでは、低域及び中域において、レベルが低く、より高域において、レベルが大のノイズが、対象画像に加算される。その結果、階調変換後の画像に、ノイズが目立つことを防止することができる。

なお、JarvisフィルタとFloydフィルタとでは、Jarvisフィルタによるノイズシェーピングの方が、Floydフィルタによるノイズシェーピングよりも、人の視覚の感度がそれほど低くない中域のレベルが大のノイズが対象画像に加算される。したがって、解像度に対応する空間周波数が、30cpd程度である場合には、Floydフィルタの方が、Jarvisフィルタよりも、ノイズが目立たない階調変換後の画像を得ることができる。

以上のように、解像度に対応する空間周波数が、30cpd程度である場合には、JarvisフィルタやFloydフィルタよりも、SBMフィルタを用いる方が、ノイズが目立たない階調変換後の画像を得ることができる。

但し、表示デバイスの解像度や視聴距離D、すなわち、解像度に対応する空間周波数によっては、JarvisフィルタやFloydフィルタを用いる方が、画質が良い階調変換後の画像を得ることができることがあり得る。

そこで、図４の階調変換装置１０の適応的階調変換部１３が出力する階調変換後の画像が、図示せぬ表示デバイスで表示される場合には、決定部１２では、階調変換後の画像を表示する表示デバイスの解像度に対応する空間周波数に応じて、適応的階調変換部１３による階調変換処理の処理内容を決定することができる。

すなわち、決定部１２では、例えば、解像度に対応する空間周波数が低い場合には、ノイズシェーピング用のフィルタであるフィルタ４のフィルタ係数として、SBMフィルタのフィルタ係数を採用することを決定することができる。

また、決定部１２では、例えば、解像度に対応する空間周波数が高い場合には、ノイズシェーピング用のフィルタであるフィルタ４のフィルタ係数として、JarvisフィルタやFloydフィルタのフィルタ係数を採用することを決定することができる。

その他、決定部１２では、様々なノイズシェーピングの特性についての、ノイズシェーピング用のフィルタのフィルタ係数を用意しておき、いずれのフィルタ係数を、フィルタ４のフィルタ係数として採用するかを、解像度に対応する空間周波数に応じて決定することができる。

解像度に対応する空間周波数に応じて、どのようなノイズシェーピングの特性についての、ノイズシェーピング用のフィルタのフィルタ係数を採用するかは、例えば、シミュレーションによって求めておくことができる。すなわち、シミュレーションによって、様々な解像度に対応する空間周波数に対して、ノイズがより目立たない階調変換後の画像が得られるフィルタ係数を求め、空間周波数とフィルタ係数とを対応付けたテーブル（以下、周波数テーブルともいう）を作成しておき、決定部１２では、その周波数テーブルにおいて、表示デバイスの解像度に対応する空間周波数に対応付けられているフィルタ係数を、フィルタ４のフィルタ係数に決定することができる。

以上のように、決定部１２では、表示デバイスの解像度に対応する空間周波数に応じて、階調変換処理の処理内容としてのフィルタ４のフィルタ係数を決定することができるが、このフィルタ係数は、その他、視聴環境の照度に応じて決定することができる。

すなわち、図１１は、順応輝度と人の視力との関係を、物体の反射率に相当する輝度対比の幾つかについて示している。

人の視力は、輝度対比によって異なるが、順応輝度が大であるほど良くなり（高くなり）、順応輝度が小であるほど悪くなる（低くなる）。すなわち、明るいほど、人の視力は良くなり、暗いほど、人の視力は悪くなる。

したがって、人の視力は、視聴環境の明るさ（照度）によって変化し、この視力の変化によって、視覚特性としてのCSF（図６）も変化する。

すなわち、人の視覚の感度は、視聴環境の照度によって変化し、明るいほど（照度が大であるほど）高く、暗いほど（照度が小であるほど）低い。

以上のように、人の視覚の感度は、視聴環境の照度によって変化するので、見た目の画質がより向上した階調変換後の画像を得る観点からは、視聴環境の照度を考慮することが望ましい。

そこで、図４の階調変換装置１０は、決定部１２において、視聴環境の照度を表す環境情報に応じて、階調変換処理の処理内容としての、例えば、フィルタ４のフィルタ係数を決定する。

視聴環境の照度に応じて、どのようなノイズシェーピングの特性となるフィルタ係数を採用するかは、例えば、シミュレーションによって求めておくことができる。すなわち、シミュレーションによって、各照度に対して、ノイズがより目立たない階調変換後の画像が得られるフィルタ係数を求め、照度とフィルタ係数とを対応付けたテーブル（以下、照度テーブルともいう）を作成しておき、決定部１２では、その照度テーブルにおいて、環境情報が表す照度に対応付けられているフィルタ係数を、フィルタ４のフィルタ係数に決定することができる。

なお、シミュレーションでは、各解像度に対応する空間周波数について、各照度に対し、ノイズがより目立たない階調変換後の画像が得られるフィルタ係数を求め、解像度に対応する空間周波数、及び照度の両方と、フィルタ係数とを対応付けたテーブルを作成することができる。そして、決定部１２では、テーブルにおいて、表示デバイスの解像度に対応する空間周波数、及び、環境情報が表す照度に対応付けられているフィルタ係数を、フィルタ４のフィルタ係数に決定することができる。

＜階調変換装置１０の動作＞

図１２を参照して、図４の階調変換装置１０の動作について説明する。

ステップＳ１１において、環境情報取得部１１は、階調変換後の画像を表示する表示デバイス（図示せず）が設置されている視聴環境の明るさに関する環境情報を取得し、決定部１２に供給して、処理は、ステップＳ１２に進む。

すなわち、環境情報取得部１１は、例えば、表示デバイスの近くに設置された、照度センサから、視聴環境の照度のセンシング結果を、環境情報として取得し、決定部１２に供給する。

ステップＳ１２では、決定部１２は、例えば、照度テーブルにおいて、環境情報取得部１１からの環境情報が表す照度に対応付けられているフィルタ係数を、階調変換処理の処理内容としての、フィルタ４（図５）のフィルタ係数に決定する。さらに、決定部１２は、そのフィルタ係数でのフィルタリングを行うように、適応的階調変換部１３を制御し、すなわち、環境情報取得部１１からの環境情報が表す照度に対応付けられているフィルタ係数を、フィルタ４に設定し、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、適応的階調変換部１３は、決定部１２の制御（決定部１２で決定された処理内容）に従い、階調変換装置１０に供給される対象画像の階調変換を行い、その結果得られる階調変換後の画像を出力する。

すなわち、適応的階調変換部１３は、決定部１２において環境情報に応じて決定されたフィルタ係数によるフィルタリングをフィルタ４（図５）で行う階調変換処理を、対象画像に施し、その結果得られる階調変換後の画像を出力する。

＜本発明を適用した階調変換装置の第２実施の形態＞

図１３は、本発明を適用した画像処理装置としての階調変換装置の第２実施の形態の構成例を示している。

なお、図中、図４の階調変換装置１０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図１３の階調変換装置２０は、環境情報取得部１１及び決定部１２を有する点で、階調変換装置１０と共通する。但し、階調変換部２０は、１つの適応的階調変換部１３に代えて、３つの適応的階調変換部２３₁，２３₂、及び２３₃を有する点で、階調変換装置１０と相違する。

図１３では、階調変換装置２０に対して、対象画像として、複数種類の信号成分、すなわち、例えば、Lab(La^*b^*)で表される画素値を有する画像が供給される。

そして、階調変換装置２０に供給される対象画像のLabの信号成分のうちの、輝度成分Lが、適応的階調変換部２３₁に、色成分aが、適応的階調変換部２３₂に、色成分bが、適応的階調変換部２３₃に、それぞれ供給される。

適応的階調変換部２３₁ないし２３₃は、図４の適応的階調変換部１３と同様に構成され、決定部１２において環境情報に応じて決定される処理内容に従い、例えば、誤差拡散法による階調変換処理を行う。

すなわち、適応的階調変換部２３₁は、決定部１２において環境情報に応じて決定される処理内容に従い、対象画像の輝度成分Lに、その処理内容の階調変換処理を施し、階調変換後の画像の輝度成分Lを出力する。

適応的階調変換部２３₂は、決定部１２において環境情報に応じて決定される処理内容に従い、対象画像の色成分aに、その処理内容の階調変換処理を施し、階調変換後の画像の色成分aを出力する。

適応的階調変換部２３₃は、決定部１２において環境情報に応じて決定される処理内容に従い、対象画像の色成分bに、その処理内容の階調変換処理を施し、階調変換後の画像の色成分bを出力する。

以上のように、階調変換装置２０では、対象画像が、複数種類の信号成分を画素値として有する画像である場合に、信号成分ごとに、階調変換処理が行われる。

そのため、図１３では、決定部１２は、対象画像の信号成分ごとに、環境情報取得部１１から供給される環境情報に応じて、階調変換処理の処理内容を決定する。

図１４は、Labの信号成分ごとの視覚特性としてのCSFを示している。

すなわち、図１４Ａは、輝度成分LのCSFを示しており、図１４Ｂは、色成分a及びbのCSFを示している。

輝度成分Lと、色成分a及びbとについては、一般に、輝度成分Lの方が、色成分a及びbよりも、人の視覚の感度が高いといわれている。

但し、図１４のCSFによれば、空間周波数が0に近い低域では、輝度成分L（図１４Ａ）よりも、色成分a及びb（図１４Ｂ）それぞれに対する感度の方が高くなっている。

図１４に示すように、輝度成分Lと、色成分a及びbそれぞれとでは、視覚特性としてのCSFが異なる。なお、輝度成分LのCSF（図１４Ａ）は、図６に示したCSFと同様に、9cpd付近まで上昇し、9cpd付近をピークとして、その後、緩やかに下降する曲線になっている。

輝度成分Lと、色成分a及びbとのそれぞれに対する人の視覚の感度は、視聴環境の照度によって変化する。

したがって、対象画像が、Labの信号成分を画素値として有する場合に、見た目の画質がより向上した階調変換後の画像を得るためには、輝度成分Lと、色成分a及びbとのそれぞれごとに、視聴環境の照度を考慮することが望ましい。

そこで、図１３の階調変換装置２０は、決定部１２において、視聴環境の照度を表す環境情報に応じて、階調変換処理の処理内容としてのフィルタ４のフィルタ係数を、輝度成分Lと、色成分a及びbとのそれぞれごとに決定する。

すなわち、例えば、シミュレーションにおいて、各照度に対し、ノイズがより目立たない階調変換後の画像が得られるフィルタ係数を求め、照度と、フィルタ係数とを対応付けた照度テーブルを、輝度成分Lと、色成分a及びbとのそれぞれについて作成しておく。そして、決定部１２では、照度テーブルにおいて、環境情報が表す照度に対応付けられているフィルタ係数が、適応的階調変換部２３₁ないし２３₃それぞれのノイズシェーピング用のフィルタ（図５のフィルタ４に相当するフィルタ）のフィルタ係数に決定される。

なお、階調変換処理の処理内容としてのノイズシェーピング用のフィルタのフィルタ係数は、上述したように、シミュレーションの結果（照度テーブル等）を用いて決定する他、例えば、以下のように決定することができる。

すなわち、図１１で説明したように、人の視覚の感度は、明るいほど（照度が大であるほど）高く、暗いほど（照度が小であるほど）低い。

したがって、人の視覚の感度が低くない低域や中域のノイズが対象画像に加算された場合に、階調変換後の画像においては、視聴環境が明るければ、ノイズが目立つが、視聴環境が暗ければ、ノイズは目立たない（視認（知覚）されない）。

そこで、視聴環境が暗い場合には、決定部１２では、ノイズシェーピングの特性が低域や中域である程度高くなるフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。すなわち、視聴環境が暗い場合には、例えば、Jarvisフィルタ（図９）によるノイズシェーピングの特性や、その特性に近い特性が得られるフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。この場合、階調変換後の画像の見た目の階調の滑らかさを向上させることができる。

一方、視聴環境が明るい場合には、ノイズシェーピングの特性が低域及び中域で低く、高域で高くなるフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。すなわち、視聴環境が明るい場合には、例えば、SBMフィルタ（図９）によるノイズシェーピングの特性や、その特性に近い特性が得られるフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。この場合、階調変換後の画像にノイズが目立つことを防止することができる。

なお、SBMフィルタは、中域以上が、CSFの逆の特性となるノイズシェーピングが行われるフィルタであるが、ノイズシェーピング用のフィルタとしては、その他、例えば、すべての帯域において、CSFの逆の特性となるノイズシェーピングが行われるフィルタを採用することができる。

すなわち、輝度成分Lの階調変換処理には、図１４Ａの輝度成分LのCSFの逆の特性となるノイズシェーピングが行われるフィルタのフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。

また、色成分aの階調変換処理には、図１４Ｂの色成分a(red-green)のCSFの逆の特性となるノイズシェーピングが行われるフィルタのフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。

さらに、色成分bの階調変換処理には、図１４Ｂの色成分b(blue-yellow)のCSFの逆の特性となるノイズシェーピングが行われるフィルタのフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に決定することができる。

その他、ある視聴環境においては、簡易的に、輝度成分Lの階調変換処理には、SBMフィルタやFloydフィルタ（のフィルタ係数）を、ノイズシェーピング用のフィルタ（のフィルタ係数）に決定することができる。さらに、輝度成分Lよりも低域で人の視覚の感度が高い色成分a及びbの階調変換処理には、Jarvisフィルタを、ノイズシェーピング用のフィルタに決定することができる。

図１５は、図１３の決定部１２で用いられる照度テーブルを模式的に示している。

図１５の照度テーブルにおいては、視聴環境の５つの照度である環境光強度#1,#2,#3,#4,#5のそれぞれに対して、輝度成分Lと、色成分a及びbのそれぞれの階調変換処理に用いるノイズシェーピング用のフィルタのフィルタ係数（のセット）が対応付けられている。

図１３の階調変換装置２０において、決定部１２は、照度テーブルの５つの環境光強度#1,#2,#3,#4,#5の中から、環境情報取得部１１からの環境情報が表す照度に最も近い環境光強度を検出する。さらに、決定部１２は、その環境光強度に対応付けられている、輝度成分Lと、色成分a及びbのそれぞれについてのフィルタ係数を、輝度成分Lと、色成分a及びbのそれぞれの階調変換処理に用いるノイズシェーピング用のフィルタのフィルタ係数に決定する。そして、適応階調変換部２３₁ないし２３₃において、決定部１２で決定されたフィルタ係数を用いて、輝度成分Lと、色成分a及びbのそれぞれの階調変換処理が行われる。

＜本発明を適用したTS処理装置の一実施の形態＞

図１６は、本発明を適用した画像処理装置としてのTS(Transport Stream)処理装置の一実施の形態の構成例を示している。

図１６において、TS処理装置は、デコーダ３１、信号処理部３２、及び、階調変換装置３３から構成される。

デコーダ３１には、例えば、図示せぬチューナが出力するTSや、記録媒体から再生されたTSが供給される。

デコーダ３１は、そこに供給されるTSをMPEG(Moving Picture Experts Group)デコードし、8ビットの輝度成分Y、8ビットの色差成分Cb、及び、8ビットの色差成分Crを画素値として有する画像（データ）を出力する。

すなわち、デコーダ３１に供給されるTSは、8ビットの輝度成分Y、8ビットの色差成分Cb、及び、8ビットの色差成分Crを画素値として有する画像をMPEGエンコードして得られるエンコードデータが配置された複数のTSパケットから構成される。

デコーダ３１は、そこに供給されるTSを構成するTSパケットに配置されたエンコードデータをMPEGデコードし、8ビットの輝度成分Y、8ビットの色差成分Cb、及び、8ビットの色差成分Crを画素値として有する画像を出力する。

デコーダ３１が出力する画像は、信号処理部３２に供給される。

信号処理部３２は、デコーダ３１からの画像に対して、ノイズを除去するNR(Noise Reduction)処理、エッジ等を強調するエンハンス(Enhance)処理等の信号処理を施す。

信号処理後の画像は、信号処理部３２から階調変換装置３３に供給される。

ここで、信号処理部３２では、信号処理の過程で、8ビットの輝度成分Y、8ビットの色差成分Cb、及び、8ビットの色差成分Crを画素値として有する画像が、14ビットの輝度成分Y、14ビットの色差成分Cb、及び、14ビットの色差成分Crを画素値として有する画像にされる。

信号処理部３２から階調変換装置３３に対しては、14ビットの輝度成分Y、14ビットの色差成分Cb、及び、14ビットの色差成分Crを画素値として有する画像が供給される。

階調変換装置３３は、例えば、図１３の階調変換装置２０と同様に構成される。但し、図１３の階調変換装置２０は、輝度成分L、並びに、色成分a及びbを画素値として有する画像を、対象画像として、その輝度成分Lと色成分a及びbのそれぞれとについて、階調変換処理を行うが、階調変換装置３３は、輝度成分Y、並びに、色差成分Cb及びCrを画素値として有する画像を、対象画像として、その輝度成分Yと色差成分Cb及びCrのそれぞれとについて、階調変換処理を行う。

すなわち、階調変換装置３３は、信号処理部３２からの、14ビットの輝度成分Y、14ビットの色差成分Cb、及び、14ビットの色差成分Crを画素値として有する画像を、画素値が元（MPEGエンコード前）のビットの数の画像、つまり、8ビットの輝度成分Y、8ビットの色差成分Cb、及び、8ビットの色差成分Crを画素値として有する画像に階調変換して出力する。

＜本発明を適用した表示装置の一実施の形態＞

図１７は、本発明を適用した画像処理装置としての表示装置の一実施の形態の構成例を示している。

図１７において、表示装置は、ビデオプロセッサ４１、解像度変換部４２、色変換部４３、パネルコントローラ４４、及び、表示デバイス４５から構成される。

また、図１７において、ビデオプロセッサ４１と解像度変換部４２との間、及び、解像度変換部４２と色変換部４３との間は、３つの信号成分を画素値として有する10ビットの画像のやりとりが可能なバス（以下、10ビットバスともいう）で接続されている。ここで、３つの信号成分を画素値として有する10ビットの画像とは、３つの信号成分のそれぞれが10ビットの画像である。

さらに、図１７において、色変換部４３とパネルコントローラ４４との間、及び、パネルコントローラ４４と表示デバイス４５との間は、３つの信号成分を画素値として有する8ビットの画像のやりとりが可能なバス（以下、8ビットバスともいう）で接続されている。

ビデオプロセッサ４１には、例えば、信号成分YCCを画素値として有する10ビットの画像が供給される。ここで、信号成分YCCを画素値として有する10ビットの画像とは、各信号成分（ここでは、輝度成分Y、並びに、色差成分Cb及びCr）が10ビットの画像である。

ビデオプロセッサ４１は、そこに供給される信号成分YCCを画素値として有する10ビットの画像に対して、所定の画像処理を施す。ビデオプロセッサ４１では、画像処理の過程で、信号成分YCCを画素値として有する10ビットの画像が、信号成分YCCを画素値として有する12ビットの画像にされる。

ここで、上述したように、ビデオプロセッサ４１と解像度変換部４２との間は、10ビットバスで接続されているため、ビデオプロセッサ４１で得られる12ビットの画像は、そのままでは、10ビットバスを介して、解像度変換部４２に供給することができない。

そこで、ビデオプロセッサ４１では、画像処理の結果られた、信号成分YCCを画素値として有する12ビットの画像が、信号成分YCCを画素値として有する10ビットの画像に階調変換され、10ビットバスを介して、解像度変換部４２に供給される。

解像度変換部４２は、ビデオプロセッサ４１からの信号成分YCCを画素値として有する10ビットの画像を対象として、解像度変換処理を行う。

すなわち、解像度変換部４２は、画像の画素数を増加させる処理（Up Scalerの処理）や、インターレースの画像をプログレッシブ（ノンインターレース）の画像に変換する処理（I/P(Interlace/Progressive)変換処理）等の解像度変換処理を行う。

解像度変換部４２では、解像度変換処理の過程で、信号成分YCCを画素値として有する10ビットの画像が、信号成分YCCを画素値として有する12ビットの画像にされる。

ここで、上述したように、解像度変換部４２と色変換部４３との間は、10ビットバスで接続されているため、解像度変換部４２で得られる12ビットの画像は、そのままでは、10ビットバスを介して、色変換部４３に供給することができない。

そこで、解像度変換部４２では、解像度変換処理の結果られた、信号成分YCCを画素値として有する12ビットの画像が、信号成分YCCを画素値として有する10ビットの画像に階調変換され、10ビットバスを介して、色変換部４３に供給される。

色変換部４３は、解像度変換部４２からの信号成分YCCを画素値として有する10ビットの画像を対象として、色変換処理を行う。

すなわち、色変換部４３は、信号成分YCCと、信号成分RGBとを対応付けたカラーLUT(Look Up Table)を内蔵している。色変換部４３は、カラーLUTを用いて、ビデオプロセッサ４１からの信号成分YCCを画素値として有する10ビットの画像を、信号成分RGBを画素値として有する14ビットの画像に変換する色変換処理を行う。

ここで、上述したように、色変換部４３とパネルコントローラ４４との間は、8ビットバスで接続されているため、色変換部４３で得られる14ビットの画像は、そのままでは、8ビットバスを介して、パネルコントローラ４４に供給することができない。

そこで、色変換部４３では、色変換処理の結果られた、信号成分RGBを画素値として有する14ビットの画像が、信号成分RGBを画素値として有する8ビットの画像に階調変換され、8ビットバスを介して、パネルコントローラ４４に供給される。

パネルコントローラ４４は、色変換部４３からの信号成分RGBを画素値として有する8ビットの画像を対象として、その8ビットの画像が表示デバイス４５で適切に表示されるようにするための加工処理を行う。

パネルコントローラ４４では、加工処理の過程で、信号成分RGBを画素値として有する8ビットの画像が、信号成分RGBを画素値として有する10ビットの画像にされる。

ここで、上述したように、パネルコントローラ４４と表示デバイス４５との間は、8ビットバスで接続されているため、パネルコントローラ４４で得られる10ビットの画像は、そのままでは、8ビットバスを介して、表示デバイス４５に供給することができない。

そこで、パネルコントローラ４４では、加工処理の結果られた、信号成分RGBを画素値として有する10ビットの画像が、信号成分RGBを画素値として有する8ビットの画像に階調変換され、8ビットバスを介して、表示デバイス４５に供給される。

表示デバイス４５は、例えば、LCDや、プラズマディスプレイ(Plasma Display)、OELディスプレイ(Organic Electro Luminescence Display)、FED(Field Emission Display)等で構成される。表示デバイス４５では、パネルコントローラ４４からの、信号成分RGBを画素値として有する8ビットの画像が表示される。

以上のように、図１７において、表示装置を構成するビデオプロセッサ４１、解像度変換部４２、色変換部４３、及び、パネルコントローラ４４では、画像の画素値を、少ないビット数の画素値に階調変換する階調変換処理が行われる。この階調変換処理は、図４の階調変換装置１０や、図１３の階調変換装置２０と同様に行われる。

＜本発明を適用したレコーダの一実施の形態＞

図１８は、本発明を適用した画像処理装置としてのレコーダの一実施の形態の構成例を示している。

図１８において、レコーダ５１には、センサ５２とアンテナ５３が接続されている。

レコーダ５１は、画像の記録（録画）や再生、階調変換処理等を行う。

すなわち、レコーダ５１は、CPU(Central Processing Unit)６１，ROM(Read Only Memory)６２，RAM(Random Access Memory)６３、ネットワークI/F(Interface)６４，チューナ６５、デコーダ６６、階調変換装置６７、トランスミッタ６８、グラフィックコントローラ６９、VRAM(Video RAM)７０、ドライブコントローラ７１、HDD(Hard Disk Drive)７２、及び、光学ディスク７３から構成される。

また、レコーダ５１において、CPU６１，ROM６２，RAM６３、ネットワークI/F６４、デコーダ６６、階調変換装置６７、グラフィックコントローラ６９、及び、ドライブコントローラ７１は、バスを介して、相互に接続されている。

CPU６１は、ROM６２やHDD７２に記憶（記録）されたプログラムを実行することで、各種の処理を行う。

すなわち、CPU６１は、レコーダ５１を構成する各部を、バスを介して制御する。

また、CPU６１には、センサ５２からセンサ信号が供給される。

すなわち、センサ５２は、例えば、レコーダ５１から再生された画像を表示する表示装置（例えば、後述する図１９のTV１０１等）の近くに設置されている。センサ５２は、視聴環境の照度をセンシングし、その照度を表す環境情報を、センサ信号として、CPU６１に供給する。

CPU６１は、センサ５２からのセンサ信号としての環境情報を取得（受信）し、バスを介して、階調変換装置６７に供給する。

ROM６２は、CPU６１が実行するプログラムを記憶している。RAM６３は、CPU６１の動作上必要なデータ（プログラムを含む）を一時記憶する。

ネットワークI/F６４は、例えば、LAN(Local Area Networ)（無線LAN（IEEE(Institute of Electrical and Electronics Engineers)802.11aやIEEE802.11b等）を含む）や、ADSL(Asymmetric Digital Subscriber Line)，FTTH(Fiber To The Home)等のネットワークを介しての通信を制御する。

チューナ６５は、アンテナ５３から供給される信号から、所定のチャンネルのTSを抽出し、デコーダ６６に供給する。

すなわち、アンテナ５３は、例えば、ディジタルテレビジョン放送の信号を受信し、チューナ６５に供給する。チューナ６５は、アンテナ５３から供給される信号の復調等を行うことで、所定のチャンネルのTSを得て、デコーダ６６に供給する。

デコーダ６６は、チューナ６５からのTS（又は、バスを介して供給されるTS）をデコードし、その結果得られる画像（データ）をバス上に出力する。

階調変換装置６７は、図４の階調変換装置１０や、図１３の階調変換装置２０と同様に構成され、バスを介して供給される画像の階調を変換する階調変換処理を、必要に応じて行い、階調変換後の画像（又は、バスを介して供給される画像そのもの）を、トランスミッタ６８に供給する（又は、バス上に出力する）。

トランスミッタ６８は、DVIやHDMIの送信側のI/Fであり、階調変換装置６７から供給される画像を、そこに接続されたTV（テレビジョン受像機）等のモニタその他の装置に送信する。

ここで、DVIは、例えば、PCの本体とディスプレイとの接続等に採用される。また、HDMIは、例えば、いわゆるディジタル家電（家庭用電化製品）どうしの接続等に採用される。

グラフィックコントローラ６９は、例えば、画像に重畳するOSD(On Screen Display)用の画像を生成し、バスを介して供給される画素に重畳する。

VRAM７０は、グラフィックコントローラ６９が生成する画像を一時記憶する。

ドライブコントローラ７１は、HDD７２や光学ディスク７３に対する画像その他のデータの記録と再生を制御する。

HDD７２は、ドライブコントローラ７１の制御に従い、図示せぬHDに対するデータの記録や再生を行う。

光学ディスク７３は、例えば、DVD(Digital Versatile Disc)や、BD(Blu-Ray Disc)等であり、ドライブコントローラ７１によって、データの記録や再生が行われる。なお、光学ディスク７３は、ドライブコントローラ７１に対して着脱可能になっている。

以上のように構成されるレコーダ５１では、例えば、ドライブコントローラ７１が、HDD７２に記録された画像を再生し、バスを介して、階調変換装置６７に供給する。

また、CPU６１が、センサ５２からのセンサ信号としての環境情報を取得し、バスを介して、階調変換装置６７に供給する。

階調変換装置６７は、CPU６１からの環境情報を取得する。さらに、階調変換装置６７は、その環境情報に応じて、階調変換処理の処理内容を決定し、その処理内容に従い、HDD７２から再生された画像に階調変換処理を施す。

すなわち、図１８では、例えば、HDD７２から再生された画像が、HDMIでは伝送することができない多ビットの画像になっており、階調変換装置６７は、その多ビットの画像を、HDMIで伝送することができるビット数の画像に、階調変換する。

階調変換装置６７で得られた階調変換後の画像は、トランスミッタ６８に供給される。トランスミッタ６８は、階調変換装置６７からの画像を、そこに接続されたTV（テレビジョン受像機）等のモニタその他の装置に送信する。

以上のように、階調変換装置６７では、環境情報が取得され、その環境情報に応じて、階調変換処理の処理内容が決定される。そして、その処理内容に従い、HDD７２から再生された画像に階調変換処理が施される。したがって、トランスミッタ６８に接続されたモニタでは、見た目の画質が良い画像が表示される。

＜本発明を適用したレコーダの一実施の形態＞

図１９は、本発明を適用した画像処理装置としてのTVの一実施の形態の構成例を示している。

図１９において、TV１０１には、センサ１０２とアンテナ１０３が接続されている。

TV１０１は、画像の表示や、階調変換処理等を行う。

すなわち、TV１０１は、CPU１１１，ROM１１２，RAM１１３、ネットワークI/F１１４，チューナ１１５、デコーダ１１６、階調変換装置１１７、レシーバ１１８、グラフィックコントローラ１１９、VRAM１２０、及び、表示デバイス１２１から構成される。

また、TV１０１において、CPU１１１，ROM１１２，RAM１１３、ネットワークI/F１１４、デコーダ１１６、階調変換装置１１７、及び、グラフィックコントローラ１１９は、バスを介して、相互に接続されている。

CPU１１１は、ROM１１２に記憶（記録）されたプログラムを実行することで、各種の処理を行う。

すなわち、CPU１１１は、TV１０１を構成する各部を、バスを介して制御する。

また、CPU１１１には、センサ１０２からセンサ信号が供給される。

すなわち、センサ１０２は、例えば、TV１０１の近くに設置されている。センサ１０２は、視聴環境の照度をセンシングし、その照度を表す環境情報を、センサ信号として、CPU１１１に供給する。

CPU１１１は、センサ１０２からのセンサ信号としての環境情報を取得し、バスを介して、階調変換装置１１７に供給する。

ROM１１２は、CPU１１１が実行するプログラムを記憶している。RAM１１３は、CPU１１１の動作上必要なデータを一時記憶する。

ネットワークI/F１１４は、図１８のネットワークI/F６４と同様に、ネットワークを介しての通信を制御する。

チューナ１１５は、アンテナ１０３から供給される信号から、所定のチャンネルのTSを抽出し、デコーダ１１６に供給する。

すなわち、アンテナ１０３は、例えば、ディジタルテレビジョン放送の信号を受信し、チューナ１１５に供給する。チューナ１１５は、アンテナ１０３から供給される信号の復調等を行うことで、所定のチャンネルのTSを得て、デコーダ１１６に供給する。

デコーダ１１６は、チューナ１１５からの（又は、バスを介して供給される）TSをデコードし、その結果得られる画像をバス上に出力する。

階調変換装置１１７は、図４の階調変換装置１０や、図１３の階調変換装置２０と同様に構成され、レシーバ１１８から供給される（又は、バスを介して供給される）画像の階調を変換する階調変換処理を、必要に応じて行う。そして、階調変換装置１１７は、階調変換後の画像（又は、レシーバ１１８から供給される画像そのもの）を、バス上に出力する。

レシーバ１１８は、DVIやHDMIの受信側のI/Fであり、そこに接続された、例えば、図１８のレコーダ５１、その他のDVI又はHDMIに対応した機器（例えば、画像を再生するプレーヤや、ゲーム機、PC（パーソナルコンピュータ）等）から送信されている画像を受信し、階調変換装置１１７に供給する。

グラフィックコントローラ１１９は、例えば、画像に重畳するOSD用の画像を生成し、表示デバイス１２１に表示させる。また、グラフィックコントローラ１１９は、バス上に出力された画像を受信し、表示デバイス１２１に表示させる。

VRAM１２０は、グラフィックコントローラ１１９が表示デバイス１２１に表示させる画像を一時記憶する。

表示デバイス１２１は、例えば、LCDや、OELディスプレイ、PDP(Plasma Display Panel)等で構成され、グラフィックコントローラ１１９の制御に従って、画像を表示する。

以上のように構成されるTV１０１では、例えば、レシーバ１１８が、そこに接続された、HDMIに対応した機器から送信されてくる画像を受信し、階調変換装置１１７に供給する。

また、CPU１１１が、センサ１０２からのセンサ信号としての環境情報を取得し、バスを介して、階調変換装置１１７に供給する。

階調変換装置１１７は、CPU１１１からの環境情報を取得する。さらに、階調変換装置１１７は、その環境情報に応じて、階調変換処理の処理内容を決定し、その処理内容に従い、レシーバ１１８からの画像に階調変換処理を施す。

すなわち、図１９では、例えば、レシーバ１１８で受信された画像が、表示デバイス１２１では表示することができない多ビットの画像になっており、階調変換装置１１７は、その多ビットの画像を、表示デバイス１２１で表示することができるビット数の画像に、階調変換する。

階調変換装置１１７で得られた階調変換後の画像は、バス上に出力され、グラフィックコントローラ１１９を介して、表示デバイス１２１に供給されて表示される。

以上のように、階調変換装置１１７では、環境情報が取得され、その環境情報に応じて、階調変換処理の処理内容が決定される。さらに、その処理内容に従い、レシーバ１１８で受信された画像に階調変換処理が施される。したがって、表示デバイス１２１では、見た目の画質が良い画像が表示される。

なお、図１８のレコーダ５１（のトランスミッタ６８）と、TV１０１（のレシーバ１１８）とが接続されている場合、センサ５２をレコーダ５１に設けるだけか、又は、センサ１０２をTV１０１に設けるだけにすることができる。

センサ５２をレコーダ５１に設けるだけの場合（センサ１０２をTV１０１に設けない場合）、レコーダ５１では、センサ５２で得られたセンサ信号としての環境情報が、TV１０１に送信される。

そして、TV１０１の階調変換装置１１７では、レコーダ５１から送信されてくる環境情報に応じて、階調変換処理の処理内容が決定される。

逆に、センサ１０２をTV１０１に設けるだけの場合、TV１０１では、センサ１０２で得られたセンサ信号としての環境情報が、レコーダ５１に送信される。レコーダ５１の階調変換装置６７では、TV１０１から送信されてくる環境情報に応じて、階調変換処理の処理内容が決定される。

ここで、レコーダ５１とTV１０１との間の環境情報のやりとりは、例えば、HDMIのCECラインや、ネットワークI/F６４及び１１４を介して行うことができる。

＜本発明を適用したネットワークシステムの一実施の形態＞

図２０は、本発明を適用した画像処理装置としてのネットワークシステム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。

図２０において、ネットワークシステムは、ユーザ端末２０１、ネットワーク２０２、窓口サーバ２０３、並びに、コンテンツサーバ２０４₁，２０４₂，２０４₃、及び、２０４₄から構成される。

図２０のネットワークシステムでは、ユーザ端末２０１と、窓口サーバ２０３とが、ネットワーク２０２を介して接続されている。

ユーザ端末２０１は、例えば、ユーザ宅（ユーザの自宅）に設置されている。ユーザ端末２０１は、例えば、ディジタルTVや、ディジタルSTB(Set Top Box)等であり、ここでは、例えば、図１９に示したTV１０１である。

TV１０１であるユーザ端末２０１は、例えば、ユーザの操作に応じ、ネットワーク２０２を介して、窓口サーバ２０３に、画像のコンテンツを要求する。

さらに、ユーザ端末２０１は、画像のコンテンツの要求に応じて、窓口サーバ２０３から、ネットワーク２０２を介して送信されている画像のコンテンツを受信して表示する。

ネットワーク２０２は、例えば、FTTHや、ADSL、インターネット等のネットワークであり、図２０では、ユーザ端末２０１と窓口サーバ２０３とを接続している。

窓口サーバ２０３は、ユーザ端末２０１に対して、画像のコンテンツを提供する、いわば窓口となるサーバであり、ユーザ端末２０１からの画像のコンテンツの要求を受信する。さらに、窓口サーバ２０３は、コンテンツサーバ２０４₁ないし２０４₄のうちのいずれかから、ユーザ端末２０１から要求があった画像のコンテンツを取得（受信）し、ネットワーク２０２を介して、ユーザ端末２０１に送信（提供）する。

コンテンツサーバ２０４₁ないし２０４₄は、画像のコンテンツを記憶しており、窓口サーバ２０３からの要求に応じて、画像のコンテンツを、窓口サーバ２０３に提供（送信）する。

なお、画像のコンテンツを記憶するコンテンツサーバは、コンテンツサーバ２０４₁ないし２０４₄の４つに限定されるものではなく、４つ以外の任意の個数だけ設けることができる。

図２１を参照して、図２０のネットワークシステムの処理の第１実施の形態について説明する。

図２１Ａは、図２０のユーザ端末２０１の処理の第１実施の形態を説明するフローチャートである。

ユーザ端末２０１である、例えば、TV１０１（図１９）では、ステップＳ１０１において、センサ１０２が、視聴環境の照度をセンシングし、その照度を表す環境情報を、CPU１１１に供給する。CPU１１１は、センサ１０２からの環境情報を取得し、バスを介して、ネットワークI/F１１４に供給する。

その後、ユーザが、所望の画像のコンテンツを要求するように、TV１０１を操作するのを待って、CPU１１１は、その画像のコンテンツの要求を表す要求情報を、バスを介して、ネットワークI/F１１４に供給し、処理は、ステップＳ１０１からステップＳ１０２に進む。

ステップＳ１０２では、ネットワークI/F１１４は、環境情報と要求情報とを、ネットワーク２０２を介して、窓口サーバ２０３に送信する。

そして、窓口サーバ２０３から、要求情報によって要求した画像のコンテンツがエンコードされたエンコードデータが、ネットワーク２０２を介して送信されてくるのを待って、処理は、ステップＳ１０２からステップＳ１０３に進み、ネットワークI/F１１４は、窓口サーバ２０３からのエンコードデータを受信する。

さらに、ネットワークI/F１１４は、エンコードデータを、バスを介して、デコーダ１１６に供給する。

その後、処理は、ステップＳ１０３からステップＳ１０４に進み、デコーダ１１６は、ネットワークI/F１１４からのエンコードデータをデコードし、そのデコードの結果得られる画像を、バスを介して、グラフィックコントローラ１１９に供給する。グラフィックコントローラ１１９は、デコーダ１１６からの画像を、表示デバイス１２１に供給して表示させ、処理は終了する。

図２１Ｂは、図２０の窓口サーバ２０３の処理の第１実施の形態を説明するフローチャートである。

窓口サーバ２０３は、ユーザ端末２０１から、ネットワーク２０２を介して、環境情報と要求情報が送信されてくるのを待って、ステップＳ１１１において、ユーザ端末２０１からの環境情報と要求情報を取得（受信）し、処理は、ステップＳ１１２に進む。

ステップＳ１１２では、窓口サーバ２０３は、ユーザ端末２０１からの要求情報によって要求された画像のコンテンツを、コンテンツサーバ２０４₁ないし２０４₄のうちのいずれかから取得し、その画像のコンテンツに、NR処理等の必要な画像処理を施す。

そして、処理は、ステップＳ１１２からステップＳ１１３に進み、窓口サーバ２０３は、ユーザ端末２０１からの環境情報に応じて、要求情報によって要求された画像のコンテンツの階調を変換する階調変換処理の処理内容を決定し、処理は、ステップＳ１１４に進む。

ステップＳ１１４では、窓口サーバ２０３は、ステップＳ１１３で決定した処理内容に従い、要求情報によって要求された画像のコンテンツの階調を変換し、処理は、ステップＳ１１５に進む。

すなわち、窓口サーバ２０３は、例えば、図１５に示したような照度テーブルを記憶しており、ユーザ端末２０１からの環境情報に応じて、ノイズシェーピング用のフィルタのフィルタ係数を、階調変換処理の処理内容として決定する。

さらに、窓口サーバ２０３は、環境情報に応じて決定したフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に設定し、要求情報によって要求された画像のコンテンツの階調変換を、誤差拡散法（ΔΣ変調）によって行う。

ステップＳ１１５では、窓口サーバ２０３は、階調変換後の画像をエンコードし、処理は、ステップＳ１１６に進む。

ステップＳ１１６では、窓口サーバ２０３は、階調変換後の画像をエンコードしたエンコードデータを、ネットワーク２０２を介して、ユーザ端末２０１に送信し、処理は終了する。

ユーザ端末２０１であるTV１０１（図１９）では、以上のようにして、窓口サーバ２０３から送信されてくるエンコードデータが、ステップＳ１０３において受信され、ステップＳ１０４においてデコードされて表示される。

以上のように、窓口サーバ２０３において、環境情報を取得し、その環境情報に応じて、階調変換処理の処理内容を決定し、その処理内容に従って、階調変換を行う場合には、ユーザ端末２０１の負担を軽減することができる。

なお、図２１では、ユーザ端末２０１が窓口サーバ２０３に送信する要求情報には、表示デバイス１２１が表示する画像の画素値のビット数が含まれており、窓口サーバ２０３では、要求情報によって要求された画像のコンテンツが、要求情報に含まれるビット数の画素値の画像に階調変換される。

図２２を参照して、図２０のネットワークシステムの処理の第２実施の形態について説明する。

図２２Ａは、図２０のユーザ端末２０１の処理の第２実施の形態を説明するフローチャートである。

ユーザ端末２０１である、例えば、TV１０１（図１９）では、ステップＳ１２１において、センサ１０２が、視聴環境の照度をセンシングし、その照度を表す環境情報を、CPU１１１に供給する。CPU１１１は、センサ１０２からの環境情報を取得し、バスを介して、ネットワークI/F１１４に供給する。

その後、ユーザが、所望の画像のコンテンツを要求するように、TV１０１を操作するのを待って、CPU１１１は、その画像のコンテンツの要求を表す要求情報を、バスを介して、ネットワークI/F１１４に供給し、処理は、ステップＳ１２１からステップＳ１２２に進む。

ステップＳ１２２では、ネットワークI/F１１４は、環境情報と要求情報とを、ネットワーク２０２を介して、窓口サーバ２０３に送信する。

そして、窓口サーバ２０３から、フィルタ係数と、要求情報によって要求した画像のコンテンツがエンコードされたエンコードデータとが、ネットワーク２０２を介して送信されてくるのを待って、処理は、ステップＳ１２２からステップＳ１２３に進み、ネットワークI/F１１４は、窓口サーバ２０３からのフィルタ係数とエンコードデータを受信する。

さらに、ネットワークI/F１１４は、エンコードデータを、バスを介して、デコーダ１１６に供給するとともに、フィルタ係数を、バスを介して、階調変換装置１１７に供給する。

その後、処理は、ステップＳ１２３からステップＳ１２４に進み、デコーダ１１６は、ネットワークI/F１１４からのエンコードデータをデコードし、そのデコードの結果得られる画像を、バスを介して、階調変換装置１１７に供給して、処理は、ステップＳ１２５に進む。

ステップＳ１２５では、階調変換装置１１７は、ネットワークI/F１１４からのフィルタ係数を、ノイズシェーピング用のフィルタのフィルタ係数に設定し、デコーダ１１６からの画像の階調変換を、誤差拡散法（ΔΣ変調）によって行う。すなわち、階調変換部１１７は、デコーダ１１６からの画像を、表示デバイス１２１で表示可能なビット数の画像に階調変換する。そして、階調変換装置１１７は、階調変換後の画像を、バスを介して、グラフィックコントローラ１１９に供給し、処理は、ステップＳ１２５からステップＳ１２６に進む。

ステップＳ１２６では、グラフィックコントローラ１１９は、デコーダ１１６からの画像を、表示デバイス１２１に供給して表示させ、処理は終了する。

図２２Ｂは、図２０の窓口サーバ２０３の処理の第２実施の形態を説明するフローチャートである。

窓口サーバ２０３は、ユーザ端末２０１から、ネットワーク２０２を介して、環境情報と要求情報が送信されてくるのを待って、ステップＳ１３１において、ユーザ端末２０１からの環境情報と要求情報を取得（受信）し、処理は、ステップＳ１３２に進む。

ステップＳ１３２では、窓口サーバ２０３は、ユーザ端末２０１からの要求情報によって要求された画像のコンテンツを、コンテンツサーバ２０４₁ないし２０４₄のうちのいずれかから取得し、その画像のコンテンツに、NR処理等の必要な画像処理を施す。

そして、処理は、ステップＳ１３２からステップＳ１３３に進み、窓口サーバ２０３は、ユーザ端末２０１からの環境情報に応じて、要求情報によって要求された画像のコンテンツの階調を変換する階調変換処理の処理内容を決定し、処理は、ステップＳ１３４に進む。

ステップＳ１３４では、窓口サーバ２０３は、要求情報によって要求された画像のコンテンツをエンコードし、処理は、ステップＳ１３５に進む。

ステップＳ１３５では、窓口サーバ２０３は、要求情報によって要求された画像のコンテンツをエンコードしたエンコードデータと、ステップＳ１３３で決定したフィルタ係数を、ネットワーク２０２を介して、ユーザ端末２０１に送信し、処理は終了する。

ユーザ端末２０１であるTV１０１（図１９）では、以上のようにして、窓口サーバ２０３から送信されてくるエンコードデータとフィルタ係数が、ステップＳ１２３において受信される。さらに、ユーザ端末２０１であるTV１０１では、ステップＳ１２４において、窓口サーバ２０３からのエンコードデータがデコードされる。また、ステップＳ１２５において、窓口サーバ２０３からのフィルタ係数が、ノイズシェーピング用のフィルタのフィルタ係数に設定され、デコード後の画像の階調変換が行われる。そして、ステップＳ１２６において、階調変換後の画像が表示される。

以上のように、窓口サーバ２０３において、ユーザ端末２０１からの環境情報に応じて、階調変換処理の処理内容としての、ノイズシェーピング用のフィルタのフィルタ係数を決定する一方、ユーザ端末２０１において、環境情報を取得し、その環境情報に応じて、窓口サーバ２０３で決定されたフィルタ係数を用いて階調変換を行う場合には、いわば繊細な階調変換を行うことができる。

すなわち、サーバである窓口サーバ２０３には、多くの照度とフィルタ係数とを対応付けた、容量が大きい照度テーブルを記憶させておくことが可能であり、そのような照度テーブルを用いて、様々な特性のノイズシェーピングが行われる、繊細な階調変換を行うことができる。

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やROM３０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。

コンピュータは、CPU３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース１１０が接続されており、CPU３０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それに従って、ROM３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCDやスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

ビットシフトによって、Nビットの画素値の、下位N-Mビットを切り捨てて、Mビットの画素値とする方法を説明する図である。画素値の下位ビットを切り捨てるだけの階調変換によって得られる画像、ディザ法による階調変換によって得られる画像、及び、誤差拡散法による階調変換によって得られる画像を示す図である。 10ビットの画像を対象画像として、その対象画像を、8ビットの画像に階調変換したときの、対象画像の画素値と、階調変換後の画像の画素値とを示す図である。本発明を適用した階調変換装置の第１実施の形態の構成例を示すブロック図である。誤差拡散法による階調変換を行う適応的階調変換部１３の構成例を示すブロック図である。人間の視覚特性を説明する図である。 Jarvisフィルタを用いた場合と、Floydフィルタを用いた場合の、ノイズシェーピングの特性を示す図である。 Jarvisフィルタを用いた場合と、Floydフィルタを用いた場合の、ノイズシェーピングの特性を示す図である。ノイズシェーピング用のフィルタとして、SBM(Super Bit Mapping)フィルタを採用した場合のノイズシェーピングの特性を示す図である。解像度に対応する空間周波数が、30cpd程度である場合の、Jarvisフィルタ、Floydフィルタ、及び、SBMフィルタのそれぞれによるノイズシェーピングの特性を示す図である。順応輝度と人の視力との関係を示す図である。階調変換装置１０の動作を説明する風呂チャートである。本発明を適用した階調変換装置の第２実施の形態の構成例を示すブロック図である。 Labの信号成分ごとの視覚特性としてのCSFを示す図である。照度テーブルを示す図である。本発明を適用したTS処理装置の一実施の形態の構成例を示すブロック図である。本発明を適用した表示装置の一実施の形態の構成例を示すブロック図である。本発明を適用したレコーダの一実施の形態の構成例を示すブロック図である。本発明を適用したTVの一実施の形態の構成例を示すブロック図である。本発明を適用したネットワークシステムの一実施の形態の構成例を示すブロック図である。ネットワークシステムの処理の第１実施の形態を説明するフローチャートである。ネットワークシステムの処理の第２実施の形態を説明するフローチャートである。本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１演算部，２量子化部，３演算部，４フィルタ，１０階調変換装置，１１環境情報取得部，１２決定部，１３適応的階調変換部，２３₁ないし２３₃ 適応的階調変換部，３１デコーダ，３２信号処理部，３３階調変換装置，４１ビデオプロセッサ，４２解像度変換部，４３色変換部，４４パネルコントローラ，４５表示デバイス，５１レコーダ，５２センサ，５３アンテナ，６１ CPU，６２ ROM，６３ RAM，６４ネットワークI/F，６５チューナ，６６デコーダ，６７階調変換装置，６８トランスミッタ，６９グラフィックコントローラ，７０ VRAM，７１ドライブコントローラ，７２ HDD，７３光学ディスク，１０１ TV，１０２センサ，１０３アンテナ，１１１ CPU，１１２ ROM，１１３ RAM，１１４ネットワークI/F，１１５チューナ，１１６デコーダ，１１７階調変換装置，１１８トランスミッタ，１１９グラフィックコントローラ，１２０ VRAM，１２１表示デバイス，２０１ユーザ端末，２０２ネットワーク，２０３窓口サーバ，２０４₁ないし２０４₄ コンテンツサーバ，３０１バス，３０２ CPU，３０３ ROM，３０４ RAM，３０５ハードディスク，３０６出力部，３０７入力部，３０８通信部，３０９ドライブ，３１０入出力インタフェース，３１１リムーバブル記録媒体

Claims

画像を表示する環境の明るさに関する環境情報を取得する環境情報取得手段と、
前記環境情報に応じて決定される、前記画像の階調を変換する階調変換処理の処理内容に従い、前記画像に階調変換処理を施す階調変換手段と
を備える画像処理装置。
前記環境情報に応じて、前記画像の階調を変換する階調変換処理の処理内容を決定する決定手段をさらに備える
請求項１に記載の画像処理装置。
前記階調変換手段は、前記画像にΔΣ変調を施すことにより、前記画像の階調を変換し、
前記決定手段は、前記環境情報に応じて、前記ΔΣ変調によるノイズシェービングの特性を決めるフィルタのフィルタ係数を、前記処理内容として決定する
請求項２に記載の画像処理装置。
画像の階調変換を行う画像処理装置が、
前記画像を表示する環境の明るさに関する環境情報を取得し、
前記環境情報に応じて決定される、前記画像の階調を変換する階調変換処理の処理内容に従い、前記画像に階調変換処理を施す
ステップを含む画像処理方法。
画像を表示する環境の明るさに関する環境情報を取得する環境情報取得手段と、
前記環境情報に応じて決定される、前記画像の階調を変換する階調変換処理の処理内容に従い、前記画像に階調変換処理を施す階調変換手段と
して、コンピュータを機能させるためのプログラム。