JP2006129105A - 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 - Google Patents

Abstract

【課題】 空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することを課題とする。
【解決手段】 視覚処理装置１０６１は、入力信号ＩＳを階調処理する視覚処理装置であって、抽出部１０６５と空間処理実行部１０６６と視覚処理部１０６３とを備えている。抽出部１０６５は、外部のメモリ１０００に保持された縮小画像から対象画像領域の対象データと、対象画像領域の周辺画像領域の周辺画像データとを抽出する。空間処理実行部１０６６は、対象画像領域の階調変換特性として、空間処理信号ＵＳ３を出力する。視覚処理部１０６３は、空間処理信号ＵＳ３に基づいて、入力信号ＩＳにおける対象画像領域の階調処理を行う。
【選択図】 図２９

Description

本発明は、視覚処理装置、特に、画像信号の階調処理を行う視覚処理装置に関する。また、別の本発明は、視覚処理方法、視覚処理プログラムおよび半導体装置に関する。

原画像の画像信号の視覚処理として、空間処理と階調処理とが知られている。

空間処理とは、処理対象となる対象画素の周辺の画素を用い、対象画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ（ＤＲ）圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分（画像の鮮鋭成分）を原画像に加え、画像の鮮鋭化が行われる。ＤＲ圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。

階調処理とは、対象画素の周辺の画素とは無関係に、対象画素毎にルックアップテーブル（ＬＵＴ）などを用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高い階調レベルの階調を強調するＬＵＴを用いて画素値の変換が行われる。ＬＵＴを用いた階調処理として、原画像全体に１つのＬＵＴを決定して用いる階調処理（ヒストグラム均等化法）と、原画像を複数に分割した画像領域のそれぞれについてＬＵＴを決定して用いる階調処理（局所的ヒストグラム均等化法）とが知られている（例えば、特許文献１参照。）。

図４２〜図４５を用いて、原画像を複数に分割した画像領域のそれぞれについてＬＵＴを決定して用いる階調処理について説明する。

図４２に、原画像を複数に分割した画像領域のそれぞれについてＬＵＴを決定して用いる視覚処理装置３００を示す。視覚処理装置３００は、入力信号ＩＳとして入力される原画像を複数の画像領域Ｓｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）に分割する画像分割部３０１と、それぞれの画像領域Ｓｍに対して階調変換曲線Ｃｍを導出する階調変換曲線導出部３１０と、階調変換曲線Ｃｍをロードしそれぞれの画像領域Ｓｍに対して階調処理した出力信号ＯＳを出力する階調処理部３０４とを備えている。階調変換曲線導出部３１０は、それぞれの画像領域Ｓｍ内の明度ヒストグラムＨｍを作成するヒストグラム作成部３０２と、作成された明度ヒストグラムＨｍからそれぞれの画像領域Ｓｍに対する階調変換曲線Ｃｍを作成する階調曲線作成部３０３とから構成される。

図４３〜図４５を用いて、各部の動作について説明を加える。画像分割部３０１は、入力信号ＩＳとして入力される原画像を複数（ｎ個）の画像領域に分割する（図４３（ａ）参照。）。ヒストグラム作成部３０２は、それぞれの画像領域Ｓｍの明度ヒストグラムＨｍを作成する（図４４参照。）。それぞれの明度ヒストグラムＨｍは、画像領域Ｓｍ内の全画素の明度値の分布状態を示している。すなわち、図４４（ａ）〜（ｄ）に示す明度ヒストグラムＨｍにおいて、横軸は入力信号ＩＳの明度レベルを、縦軸は画素数を示している。階調曲線作成部３０３は、明度ヒストグラムＨｍの「画素数」を明度の順に累積し、この累積曲線を階調変換曲線Ｃｍとする（図４５参照。）。図４５に示す階調変換曲線Ｃｍにおいて、横軸は入力信号ＩＳにおける画像領域Ｓｍの画素の明度値を、縦軸は出力信号ＯＳにおける画像領域Ｓｍの画素の明度値を示している。階調処理部３０４は、階調変換曲線Ｃｍをロードし階調変換曲線Ｃｍに基づいて、入力信号ＩＳにおける画像領域Ｓｍの画素の明度値を変換する。こうすることにより、各ブロックにおいて出現頻度の高い階
調の傾きを立てることとなり、ブロックごとのコントラスト感が向上するものである。

ヒストグラム作成部３０２では、画像領域Ｓｍ内の画素の明度ヒストグラムＨｍから階調変換曲線Ｃｍを作成する。画像領域Ｓｍに適用する階調変換曲線Ｃｍをより適切に作成するには、画像の暗部（シャドー）から明部（ハイライト）までを満遍なく有していることが必要であり、より多くの画素を参照する必要がある。このため、それぞれの画像領域Ｓｍをあまり小さくすることができない、すなわち原画像の分割数ｎをあまり大きくすることができない。分割数ｎとしては、画像内容によって異なるが、経験的に、４〜１６の分割数が用いられている。

それぞれの画像領域Ｓｍをあまり小さくすることができないため、階調処理後の出力信号ＯＳにおいては、次の問題が発生することがある。すなわち、それぞれの画像領域Ｓｍごとに１つの階調変換曲線Ｃｍを用いて階調処理するため、それぞれの画像領域Ｓｍの境界のつなぎ目が不自然に目立ったり、画像領域Ｓｍ内で疑似輪郭が発生する場合がある。また、分割数がせいぜい４〜１６では画像領域Ｓｍが大きいため、画像領域間で極端に異なる画像が存在する場合、画像領域間の濃淡変化が大きく、擬似輪郭の発生を防止することが難しい。例えば、図４３（ｂ）、図４３（ｃ）のように、画像（例えば、画像中の物体など）と画像領域Ｓｍとの位置関係で極端に濃淡が変化する。

この疑似輪郭の発生は、階調処理のみならず、空間処理された信号を用いて行われる視覚処理においても問題となっている。

具体的には、対象画素の周辺の画素を用いてボケ信号を導出する際に、周辺の画素が対象画素と大きく濃度の異なる画素を含むと、ボケ信号は、濃度の異なる画素の影響を受ける。すなわち、画像において物体のエッジ近傍の画素を空間処理する場合、本来エッジでない画素がエッジの濃度の影響を受ける。このため、空間処理により、擬似輪郭の発生など、視覚処理後の画質の劣化が発生する。

このような空間処理に基づく画質の劣化を抑制するため、画像の内容に適応した空間しょりを行う技術が知られている。例えば、ボケ度合いの異なる複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることにより適切なボケ信号を出力する技術が知られている（例えば、特許文献２参照）。この技術では、空間処理のフィルタサイズを変更し、濃度の異なる画素の影響を抑制することを目的としている。
特開２０００−５７３３５号公報（第３頁，第１３図〜第１６図） 特開平１０−７５３９５号公報

一方、この技術では、複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることとなるため、装置における回路規模あるいは処理負荷が大きくなる。

そこで、本発明では、視覚処理において、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することを課題とする。

請求項１に記載の視覚処理装置は、入力された画像信号を階調処理する視覚処理装置であって、抽出手段と、階調変換特性導出手段と、階調処理手段とを備えている。抽出手段は、画像信号の縮小画像を装置外部から取得し、階調処理の対象となる対象画像領域の対
象画像データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、縮小画像から抽出する。階調変換特性導出手段は、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

対象画像領域とは、例えば、画像信号に含まれる画素や、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域などである。周辺画像領域とは、例えば、対象画像領域の周辺に位置する画素や、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域である。なお、周辺画像領域は、対象画像領域の周辺に位置すればよく、対象画像領域を取り囲む領域である必要はない。対象画像データとは、対象画像領域のそれぞれに関連づけられるデータであり、縮小画像から取得される画素値あるいはその画素値を空間処理したデータなどである。周辺画像データとは、周辺画像領域のそれぞれに関連づけられるデータであり、縮小画像から取得される画素値あるいはその画素値を空間処理したデータなどである。階調変換特性とは、対象画像データと周辺画像データとを用いて導出されるデータであり、例えば、対象画像データを周辺画像データを用いて空間処理（単純平均・加重平均）したデータ、あるいは、対象画像データと周辺画像データとの階調特性（ヒストグラム）を示すデータである。すなわち、階調変換特性は、対象画像データと周辺画像データとを用いて求められた対象画像データの空間特性を示している。なお、以上の文言の定義は、以下、本欄における他の発明においても同様である。

本発明では、原画像の縮小画像を用いる。このため、階調変換特性導出手段における階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、縮小画像を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことなどが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための回路を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

請求項２に記載の視覚処理装置は、請求項１に記載の視覚処理装置であって、縮小画像は、階調処理を実行する前に、予め装置外部に保持されている画像である。

ここで、装置外部に予め保持されている縮小画像とは、例えば、デジタルスチルカメラなどにおいて作成されるサムネイルファイルなどである。

請求項３に記載の視覚処理装置は、入力された圧縮画像信号を復号化して階調処理する視覚処理装置であって、抽出手段と、階調変換特性導出手段と、階調処理手段とを備えている。抽出手段は、階調処理の対象となる対象画像領域の対象画像データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、圧縮画像信号から抽出した低周波成分信号より生成する。階調変換特性導出手段は、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

ここで、低周波成分信号とは、例えば、圧縮画像信号のＤＣ成分を示す信号などである（以下、この欄において同じ）。

本発明では、圧縮画像信号から抽出した低周波成分信号により、対象画像データと周辺画像データとを生成する。このため、階調変換特性導出手段における階調変換特性導出の
処理の処理負荷を軽減することが可能となる。すなわち、低周波成分信号を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための回路を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

請求項４に記載の視覚処理装置は、請求項１または３に記載の視覚処理装置であって、階調変換特性導出手段は、特徴パラメータ導出手段と、階調変換特性決定手段とを有している。特徴パラメータ導出手段は、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する。階調変換特性決定手段は、特徴パラメータ導出手段で導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する。

特徴パラメータとは、例えば、対象画像データおよび周辺画像データなどの平均値（単純平均値、加重平均値など）や、代表値（最大値、最小値、中央値など）や、ヒストグラムなどである。ここで、ヒストグラムとは、例えば、対象画像データおよび周辺画像データの階調特性の分布である。なお、以上の文言の定義は、以下、この欄における他の発明においても同様である。

本発明では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項５に記載の視覚処理装置は、請求項４に記載の視覚処理装置であって、特徴パラメータは、ヒストグラムであることを特徴とする。

階調変換特性決定手段は、例えば、ヒストグラムの値を累積した累積曲線を階調変換特性として決定する、あるいはヒストグラムに応じた階調変換特性を選択する。

請求項６に記載の視覚処理装置は、請求項４に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予めテーブル化された階調変換特性を選択することを特徴とする。

ここで、階調変換特性は、テーブル化されたデータであり、テーブルには、対象画像データに対する階調処理後の対象画像データの特性が格納されている。

階調変換特性決定手段は、特徴パラメータの値のそれぞれに対応するテーブルを選択する。

本発明では、テーブル化された階調変換特性を用いて階調処理を行う。このため、階調処理を高速化することが可能となる。また、複数のテーブルから１つのテーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。

請求項７に記載の視覚処理装置は、請求項６に記載の視覚処理装置であって、予めテーブル化された階調変換特性は、変更可能なことを特徴とする。

本発明では、階調変換特性を変更することにより、ハードウェア構成を変更せずに階調処理の特性を様々に変更することが可能となる。

請求項８に記載の視覚処理装置は、請求項７に記載の視覚処理装置であって、階調変換特性の変更は、階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする。

本発明では、階調変換特性の少なくとも一部を補正することにより階調変換特性の変更を行う。このため、階調変換特性のための記憶容量を削減しつつ、様々な階調処理を実現することが可能となる。

請求項９に記載の視覚処理装置は、請求項４に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予め決定された演算により階調変換特性を生成することを特徴とする。

ここで、階調変換特性は、対象画像データに対する階調処理後の対象画像データを与える。また、階調変換特性を生成する演算は、特徴パラメータを用いて予め決定されている。より詳しくは、例えば、特徴パラメータの値のそれぞれに対応する演算が選択される、あるいは特徴パラメータの値に応じて演算が生成される。

本発明では、階調変換特性を予め記憶しておく必要が無く、階調変換特性を記憶するための記憶容量を削減することが可能となる。

請求項１０に記載の視覚処理装置は、請求項９に記載の視覚処理装置であって、予め決定された演算は、変更可能なことを特徴とする。

本発明では、演算を変更することにより、階調処理の特性を様々に変更することが可能となる。

請求項１１に記載の視覚処理装置は、請求項１０に記載の視覚処理装置であって、演算の変更は、演算の少なくとも一部を補正することによって実現されることを特徴とする。

本発明では、演算の少なくとも一部を補正することにより階調変換特性が変更される。このため、演算を記憶するための記憶容量が同じであっても、さらに多様な階調処理を実現することが可能となる。

請求項１２に記載の視覚処理装置は、請求項４に記載の視覚処理装置であって、階調変換特性は、複数の階調変換特性を内挿または外挿して得られるものであることを特徴とする。

ここで、階調変換特性とは、例えば、対象画像データに対する階調処理後の対象画像データの特性である。階調変換特性は、例えば、テーブル形式、あるいは演算形式で与えられている。

本発明の視覚処理装置では、複数の階調変換特性を内挿あるいは外挿することにより得られる新たな階調変換特性を用いて、階調処理を行うことが可能となる。このため、階調変換特性を記憶するための記憶容量を削減しても、より多様な階調処理を実現することが可能となる。

請求項１３に記載の視覚処理方法は、入力された画像信号を階調処理する視覚処理方法であって、抽出ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。抽出ステップは、画像信号の縮小画像を外部から取得し、階調処理の対象となる対象画像領域の対象画像データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、縮小画像から抽出する。階調変換特性導出ステップは、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明では、原画像の縮小画像を用いる。このため、階調変換特性導出ステップにおける階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、縮小画像を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことなどが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための回路を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

請求項１４に記載の視覚処理装置は、入力された圧縮画像信号を復号化して階調処理する視覚処理方法であって、抽出ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。抽出ステップは、階調処理の対象となる対象画像領域の対象画像データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、圧縮画像信号から抽出した低周波成分信号より生成する。階調変換特性導出ステップは、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明では、圧縮画像信号から抽出した低周波成分信号により、対象画像データと周辺画像データとを生成する。このため、階調変換特性導出ステップにおける階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、低周波成分信号を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための回路を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

請求項１５に記載の視覚処理方法は、請求項１３または１４に記載の視覚処理方法であって、階調変換特性導出ステップは、特徴パラメータ導出ステップと、階調変換特性決定ステップとを有している。特徴パラメータ導出ステップは、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する。階調変換特性決定ステップは、特徴パラメータ導出ステップで導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する。

本発明では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項１６に記載の視覚処理プログラムは、コンピュータを用いて、入力された画像信号を階調処理する視覚処理方法を行うための視覚処理プログラムである。視覚処理方法は、抽出ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。抽出ステップは、画像信号の縮小画像を外部から取得し、階調処理の対象となる対象画像領域の対象画像データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、縮小画像から抽出する。階調変換特性導出ステップは、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明では、原画像の縮小画像を用いる。このため、階調変換特性導出ステップにおける階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、縮小画像を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことなどが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための処理負荷を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、処理負荷を低減することが可能となる。

請求項１７に記載の視覚処理プログラムは、コンピュータを用いて、入力された圧縮画像信号を復号化して階調処理する視覚処理方法を行うための視覚処理プログラムである。視覚処理方法は、抽出ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。抽出ステップは、階調処理の対象となる対象画像領域の対象画像領域データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、圧縮画像信号から抽出した低周波成分信号より生成する。階調変換特性導出ステップは、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明では、圧縮画像信号から抽出した低周波成分信号により、対象画像データと周辺画像データとを生成する。このため、階調変換特性導出ステップにおける階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、低周波成分信号を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための処理負荷を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、処理負荷を低減することが可能となる。

請求項１８に記載の視覚処理プログラムは、請求項１６または１７に記載の視覚処理プログラムであって、階調変換特性導出ステップは、特徴パラメータ導出ステップと、階調変換特性決定ステップとを有している。特徴パラメータ導出ステップは、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する。階調変換特性決定ステップは、特徴パラメータ導出ステップで導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する。

本発明では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項１９に記載の半導体装置は、入力された画像信号を階調処理する半導体装置であって、抽出部と、階調変換特性導出部と、階調処理部とを備えている。抽出部は、画像信号の縮小画像を装置外部から取得し、階調処理の対象となる対象画像領域の対象画像領域データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、縮小画像から抽出する。階調変換特性導出部は、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理部は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明では、原画像の縮小画像を用いる。このため、階調変換特性導出部における階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、縮小画像を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことなどが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための回路を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

請求項２０に記載の半導体装置は、入力された圧縮画像信号を復号化して階調処理する半導体装置であって、抽出部と、階調変換特性導出部と、階調処理部とを備えている。抽出部は、階調処理の対象となる対象画像領域の対象画像領域データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、圧縮画像信号から抽出した低周波成分信号より生成する。階調変換特性導出部は、対象画像データと周辺画像データとを用いて、対象画像領域の階調変換特性を導出する。階調処理部は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明では、圧縮画像信号から抽出した低周波成分信号により、対象画像データと周辺画像データとを生成する。このため、階調変換特性導出部における階調変換特性導出の処理の処理負荷を軽減することが可能となる。すなわち、低周波成分信号を用いることにより、階調変換特性導出の際に処理対象となる画素数を削減することや、原画像におけるより広い範囲の空間処理を少ない処理量で行うことが可能となる。また、例えば、階調変換特性導出の際に用いられる対象画像データと周辺画像データとを記憶するためのメモリなどの容量を削減することや、対象画像データと周辺画像データとを作成するための回路を削減することが可能となる。よって、本発明により、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

請求項２１に記載の半導体装置は、請求項１９または２１に記載の半導体装置であって、階調変換特性導出部は、特徴パラメータ導出部と、階調変換特性決定部とを有している。特徴パラメータ導出部は、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する。階調変換特性決定部は、特徴パラメータ導出部で導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する。

本発明では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

本発明により、視覚処理において、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することが可能となる。

［第１実施形態］
本発明の第１実施形態としての視覚処理装置１について図１〜図５を用いて説明する。視覚処理装置１は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置１は、従来に比して細かく分割された画像領域のそれぞれについて階調処理を行う点を特徴として有している。

〈構成〉
図１に、視覚処理装置１の構造を説明するブロック図を示す。視覚処理装置１は、入力信号ＩＳとして入力される原画像を複数の画像領域Ｐｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）に分割する画像分割部２と、それぞれの画像領域Ｐｍに対して階調変換曲線Ｃｍを導出する階調変換曲線導出部１０と、階調変換曲線Ｃｍをロードしそれぞれの画像領域Ｐｍに対して階調処理した出力信号ＯＳを出力する階調処理部５とを備えている。階調変換曲線導出部１０は、それぞれの画像領域Ｐｍと画像領域Ｐｍ周辺の画像領域とから構成される広域画像領域Ｅｍの画素の明度ヒストグラムＨｍを作成するヒストグラム作成部３と、作成された明度ヒストグラムＨｍからそれぞれの画像領域Ｐｍに対する階調変換曲線Ｃｍを作成する階調曲線作成部４とから構成される。

〈作用〉
図２〜図４を用いて、各部の動作について説明を加える。画像分割部２は、入力信号ＩＳとして入力される原画像を複数（ｎ個）の画像領域Ｐｍに分割する（図２参照。）。ここで、原画像の分割数は、図４２に示す従来の視覚処理装置３００の分割数（例えば、４〜１６分割）よりも多く、例えば、横方向に８０分割し縦方向に６０分割する４８００分割などである。

ヒストグラム作成部３は、それぞれの画像領域Ｐｍに対して広域画像領域Ｅｍの明度ヒストグラムＨｍを作成する。ここで、広域画像領域Ｅｍとは、それぞれの画像領域Ｐｍを含む複数の画像領域の集合であり、例えば、画像領域Ｐｍを中心とする縦方向５ブロック、横方向５ブロックの２５個の画像領域の集合である。なお、画像領域Ｐｍの位置によっては、画像領域Ｐｍの周辺に縦方向５ブロック、横方向５ブロックの広域画像領域Ｅｍを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Ｐｌに対して、画像領域Ｐｌの周辺に縦方向５ブロック、横方向５ブロックの広域画像領域Ｅｌを取ることができない。この場合には、画像領域Ｐｌを中心とする縦方向５ブロック横方向５ブロックの領域と原画像とが重なる領域が広域画像領域Ｅｌとして採用される。ヒストグラム作成部３が作成する明度ヒストグラムＨｍは広域画像領域Ｅｍ内の全画素の明度値の分布状態を示している。すなわち、図３（ａ）〜（ｃ）に示す明度ヒストグラムＨｍにおいて、横軸は入力信号ＩＳの明度レベルを、縦軸は画素数を示している。

階調曲線作成部４は、広域画像領域Ｅｍの明度ヒストグラムＨｍの「画素数」を明度の順に累積し、この累積曲線を画像領域Ｐｍの階調変換曲線Ｃｍとする（図４参照。）。図４に示す階調変換曲線Ｃｍにおいて、横軸は入力信号ＩＳにおける画像領域Ｐｍの画素の明度値を、縦軸は出力信号ＯＳにおける画像領域Ｐｍの画素の明度値を示している。階調処理部５は、階調変換曲線Ｃｍをロードし階調変換曲線Ｃｍに基づいて、入力信号ＩＳにおける画像領域Ｐｍの画素の明度値を変換する。

〈視覚処理方法および視覚処理プログラム〉
図５に、視覚処理装置１における視覚処理方法を説明するフローチャートを示す。図５に示す視覚処理方法は、視覚処理装置１においてハードウェアにより実現され、入力信号ＩＳ（図１参照）の階調処理を行う方法である。図５に示す視覚処理方法では、入力信号ＩＳは、画像単位で処理される（ステップＳ１０〜Ｓ１６）。入力信号ＩＳとして入力される原画像は、複数の画像領域Ｐｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）に分割され（ステップＳ１１）、画像領域Ｐｍ毎に階調処理される（ステップＳ１２〜Ｓ１５）。

それぞれの画像領域Ｐｍと画像領域Ｐｍ周辺の画像領域とから構成される広域画像領域Ｅｍの画素の明度ヒストグラムＨｍが作成される（ステップＳ１２）。さらに、明度ヒストグラムＨｍに基づいて、それぞれの画像領域Ｐｍに対する階調変換曲線Ｃｍが作成される（ステップＳ１３）。ここで、明度ヒストグラムＨｍおよび階調変換曲線Ｃｍについては、説明を省略する（上記〈作用〉の欄参照。）。作成された階調変換曲線Ｃｍを用いて、画像領域Ｐｍの画素について階調処理が行われる（ステップＳ１４）。さらに、全ての画像領域Ｐｍについての処理が終了したか否かを判定し（ステップＳ１５）、処理が終了したと判定されるまで、ステップＳ１２〜Ｓ１５の処理を原画像の分割数回繰り返す。以上により、画像単位の処理が終了する（ステップＳ１６）。

なお、図５に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。

〈効果〉
（１）
階調変換曲線Ｃｍは、それぞれの画像領域Ｐｍに対して作成される。このため、原画像全体に対して同一の階調変換を行う場合に比して、適切な階調処理を行うことが可能となる。

（２）
それぞれの画像領域Ｐｍに対して作成される階調変換曲線Ｃｍは、広域画像領域Ｅｍの明度ヒストグラムＨｍに基づいて作成される。このため、画像領域Ｐｍ毎の大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Ｐｍに対しても、適切な階調変換曲線Ｃｍを作成することが可能となる。

（３）
隣接する画像領域に対する広域画像領域は、重なりを有している。このため、隣接する画像領域に対する階調変換曲線は、お互いに似通った傾向を示すことが多い。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり隣接する画像領域の境界のつなぎ目が不自然に目立つことが防止可能となる。

（４）
それぞれの画像領域Ｐｍの大きさは、従来に比して小さい。このため、画像領域Ｐｍ内での疑似輪郭の発生を抑えることが可能となる。

〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（１）
上記実施形態では、原画像の分割数の一例として、４８００分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能
である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果（例えば、疑似輪郭の抑制など）を得ることが可能となる。

（２）
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、２５個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。

［第２実施形態］
本発明の第２実施形態としての視覚処理装置１１について図６〜図１８を用いて説明する。視覚処理装置１１は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置１１は、あらかじめＬＵＴとして記憶した複数の階調変換曲線を切り換えて用いる点を特徴として有している。

〈構成〉
図６に、視覚処理装置１１の構造を説明するブロック図を示す。視覚処理装置１１は、画像分割部１２と、選択信号導出部１３と、階調処理部２０とを備えている。画像分割部１２は、入力信号ＩＳを入力とし、入力信号ＩＳとして入力される原画像を複数に分割した画像領域Ｐｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）を出力とする。選択信号導出部１３は、それぞれの画像領域Ｐｍの階調処理に適用される階調変換曲線Ｃｍを選択するための選択信号Ｓｍを出力する。階調処理部２０は、階調処理実行部１４と、階調補正部１５とを備えている。階調処理実行部１４は、複数の階調変換曲線候補Ｇ１〜Ｇｐ（ｐは候補数）を２次元ＬＵＴとして備えており、入力信号ＩＳと選択信号Ｓｍとを入力とし、それぞれの画像領域Ｐｍ内の画素について階調処理した階調処理信号ＣＳを出力とする。階調補正部１５は、階調処理信号ＣＳを入力とし、階調処理信号ＣＳの階調を補正した出力信号ＯＳを出力とする。

（階調変換曲線候補について）
図７を用いて、階調変換曲線候補Ｇ１〜Ｇｐについて説明する。階調変換曲線候補Ｇ１〜Ｇｐは、入力信号ＩＳの画素の明度値と階調処理信号ＣＳの画素の明度値との関係を与える曲線である。図７において、横軸は入力信号ＩＳにおける画素の明度値を、縦軸は階調処理信号ＣＳにおける画素の明度値を示している。階調変換曲線候補Ｇ１〜Ｇｐは、添え字について単調減少する関係にあり、全ての入力信号ＩＳの画素の明度値に対して、Ｇ１≧Ｇ２≧・・・≧Ｇｐの関係を満たしている。例えば、階調変換曲線候補Ｇ１〜Ｇｐがそれぞれ入力信号ＩＳの画素の明度値を変数とする「べき関数」であり、Ｇｍ＝ｘ＾（δｍ）と表される場合（１≦ｍ≦ｐ、ｘは変数、δｍは定数）、δ１≦δ２≦・・・≦δｐの関係を満たしている。ここで、入力信号ＩＳの明度値は、値［０．０〜１．０］の範囲であるとする。

なお、以上の階調変換曲線候補Ｇ１〜Ｇｐの関係は、添え字の大きい階調変換曲線候補について、入力信号ＩＳが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号ＩＳが大きい場合、において、成立していなくてもよい。このような場合は、ほとんど無く、画質への影響が小さいためである。

階調処理実行部１４は、階調変換曲線候補Ｇ１〜Ｇｐを２次元ＬＵＴとして備えている。すなわち、２次元ＬＵＴは、入力信号ＩＳの画素の明度値と階調変換曲線候補Ｇ１〜Ｇｐを選択する選択信号Ｓｍとに対して、階調処理信号ＣＳの画素の明度値を与えるルックアップテーブル（ＬＵＴ）である。図８に、この２次元ＬＵＴの一例を示す。図８に示す
２次元ＬＵＴ４１は、６４行６４列のマトリクスであり、それぞれの階調変換曲線候補Ｇ１〜Ｇ６４を行方向（横方向）に並べたものとなっている。マトリクスの列方向（縦方向）には、例えば１０ビットで表される入力信号ＩＳの画素値の上位６ビットの値、すなわち６４段階に分けられた入力信号ＩＳの値に対する階調処理信号ＣＳの画素値が並んでいる。階調処理信号ＣＳの画素値は、階調変換曲線候補Ｇ１〜Ｇｐが「べき関数」である場合、例えば、値［０．０〜１．０］の範囲の値を有する。

〈作用〉
各部の動作について説明を加える。画像分割部１２は、図１の画像分割部２とほぼ同様に動作し、入力信号ＩＳとして入力される原画像を複数（ｎ個）の画像領域Ｐｍに分割する（図２参照）。ここで、原画像の分割数は、図４２に示す従来の視覚処理装置３００の分割数（例えば、４〜１６分割）よりも多く、例えば、横方向に８０分割し縦方向に６０分割する４８００分割などである。

選択信号導出部１３は、それぞれの画像領域Ｐｍに対して適用される階調変換曲線Ｃｍを階調変換曲線候補Ｇ１〜Ｇｐの中から選択する。具体的には、選択信号導出部１３は、画像領域Ｐｍの広域画像領域Ｅｍの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補Ｇ１〜Ｇｐのいずれかの選択を行う。すなわち、階調変換曲線候補Ｇ１〜Ｇｐは、広域画像領域Ｅｍの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補Ｇ１〜Ｇｐが選択される。

ここで、広域画像領域Ｅｍとは、［第１実施形態］において図２を用いて説明したのと同様である。すなわち、広域画像領域Ｅｍは、それぞれの画像領域Ｐｍを含む複数の画像領域の集合であり、例えば、画像領域Ｐｍを中心とする縦方向５ブロック、横方向５ブロックの２５個の画像領域の集合である。なお、画像領域Ｐｍの位置によっては、画像領域Ｐｍの周辺に縦方向５ブロック、横方向５ブロックの広域画像領域Ｅｍを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Ｐｌに対して、画像領域Ｐｌの周辺に縦方向５ブロック、横方向５ブロックの広域画像領域Ｅｌを取ることができない。この場合には、画像領域Ｐｌを中心とする縦方向５ブロック横方向５ブロックの領域と原画像とが重なる領域が広域画像領域Ｅｌとして採用される。

選択信号導出部１３の選択結果は、階調変換曲線候補Ｇ１〜Ｇｐのいずれかを示す選択信号Ｓｍとして出力される。より具体的には、選択信号Ｓｍは、階調変換曲線候補Ｇ１〜Ｇｐの添え字（１〜ｐ）の値として出力される。

階調処理実行部１４は、入力信号ＩＳが含む画像領域Ｐｍの画素の明度値と選択信号Ｓｍとを入力とし、例えば、図８に示す２次元ＬＵＴ４１を用いて、階調処理信号ＣＳの明度値を出力する。

階調補正部１５は、階調処理信号ＣＳが含む画像領域Ｐｍの画素の明度値を画素の位置と画像領域Ｐｍおよび画像領域Ｐｍの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正する。例えば、画像領域Ｐｍが含む画素に適用された階調変換曲線Ｃｍと画像領域Ｐｍの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値を求める。

図９を用いて、階調補正部１５の動作についてさらに詳しく説明する。図９は、画像領域Ｐｏ，Ｐｐ，Ｐｑ，Ｐｒ（ｏ，ｐ，ｑ，ｒは分割数ｎ（図２参照。）以下の正整数）の階調変換曲線Ｃｏ，Ｃｐ，Ｃｑ，Ｃｒが階調変換曲線候補Ｇｓ，Ｇｔ，Ｇｕ，Ｇｖ（ｓ，ｔ，ｕ，ｖは階調変換曲線の候補数ｐ以下の正整数）と選択されたことを示している。

ここで、階調補正の対象となる画像領域Ｐｏの画素ｘ（明度値［ｘ］とする）の位置を、画像領域Ｐｏの中心と画像領域Ｐｐの中心とを［ｉ：１−ｉ］に内分し、かつ、画像領域Ｐｏの中心と画像領域Ｐｑの中心とを［ｊ：１−ｊ］に内分する位置であるとする。この場合、階調補正後の画素ｘの明度値［ｘ’］は、［ｘ’］＝｛（１−ｊ）・（１−ｉ）・［Ｇｓ］＋（１−ｊ）・（ｉ）・［Ｇｔ］＋（ｊ）・（１−ｉ）・［Ｇｕ］＋（ｊ）・（ｉ）・［Ｇｖ］｝・｛［ｘ］／［Ｇｓ］｝と求められる。なお、［Ｇｓ］，［Ｇｔ］，［Ｇｕ］，［Ｇｖ］は、明度値［ｘ］に対して、階調変換曲線候補Ｇｓ，Ｇｔ，Ｇｕ，Ｇｖを適用した場合の明度値であるとする。

〈視覚処理方法および視覚処理プログラム〉
図１０に、視覚処理装置１１における視覚処理方法を説明するフローチャートを示す。図１０に示す視覚処理方法は、視覚処理装置１１においてハードウェアにより実現され、入力信号ＩＳ（図６参照）の階調処理を行う方法である。図１０に示す視覚処理方法では、入力信号ＩＳは、画像単位で処理される（ステップＳ２０〜Ｓ２６）。入力信号ＩＳとして入力される原画像は、複数の画像領域Ｐｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）に分割され（ステップＳ２１）、画像領域Ｐｍ毎に階調処理される（ステップＳ２２〜Ｓ２４）。

画像領域Ｐｍ毎の処理では、それぞれの画像領域Ｐｍに対して適用される階調変換曲線Ｃｍが階調変換曲線候補Ｇ１〜Ｇｐの中から選択される（ステップＳ２２）。具体的には、画像領域Ｐｍの広域画像領域Ｅｍの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補Ｇ１〜Ｇｐのいずれかの選択が行われる。階調変換曲線候補Ｇ１〜Ｇｐは、広域画像領域Ｅｍの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補Ｇ１〜Ｇｐが選択される。ここで、広域画像領域Ｅｍについては、説明を省略する（上記〈作用〉の欄参照。）。

入力信号ＩＳが含む画像領域Ｐｍの画素の明度値と階調変換曲線候補Ｇ１〜ＧｐのうちステップＳ２２で選択された階調変換曲線候補を示す選択信号Ｓｍとに対して、例えば、図８に示す２次元ＬＵＴ４１を用いて、階調処理信号ＣＳの明度値が出力される（ステップＳ２３）。さらに、全ての画像領域Ｐｍについての処理が終了したか否かを判定し（ステップＳ２４）、処理が終了したと判定されるまで、ステップＳ２２〜Ｓ２４の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。

階調処理信号ＣＳが含む画像領域Ｐｍの画素の明度値は、画素の位置と画像領域Ｐｍおよび画像領域Ｐｍの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正される（ステップＳ２５）。例えば、画像領域Ｐｍが含む画素に適用された階調変換曲線Ｃｍと画像領域Ｐｍの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値が求められる。補正の詳細な内容については、説明を省略する（上記〈作用〉の欄、図９参照。）。

以上により、画像単位の処理が終了する（ステップＳ２６）。

なお、図１０に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。

〈効果〉
本発明により、上記［第１実施形態］の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第２実施形態特有の効果を記載する。

（１）
それぞれの画像領域Ｐｍに対して選択される階調変換曲線Ｃｍは、広域画像領域Ｅｍの平均明度値に基づいて作成される。このため、画像領域Ｐｍの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Ｐｍに対しても、適切な階調変換曲線Ｃｍを選択して適用することが可能となる。

（２）
階調処理実行部１４は、あらかじめ作成された２次元ＬＵＴを有している。このため、階調処理に要する処理負荷、より具体的には、階調変換曲線Ｃｍの作成に要する処理負荷を削減することが可能となる。この結果、画像領域Ｐｍの階調処理に要する処理を高速化することが可能となる。

（３）
階調処理実行部１４は、２次元ＬＵＴを用いて階調処理を実行する。２次元ＬＵＴは、視覚処理装置１１が備えるハードディスクあるいはＲＯＭなどの記憶装置から読み出されて階調処理に用いられる。読み出す２次元ＬＵＴの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。

（４）
階調補正部１５は、１つの階調変換曲線Ｃｍを用いて階調処理された画像領域Ｐｍの画素の階調を補正する。このため、より適切に階調処理された出力信号ＯＳを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号ＯＳにおいては、それぞれの画像領域Ｐｍの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。

〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（１）
上記実施形態では、原画像の分割数の一例として、４８００分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果（例えば、疑似輪郭の抑制された画像など）を得ることが可能となる。

（２）
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、２５個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。

（３）
上記実施形態では、６４行６４列のマトリクスからなる２次元ＬＵＴ４１を２次元ＬＵＴの一例とした。ここで、本発明の効果は、このサイズの２次元ＬＵＴに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ＩＳの画素値をさらに細かいステップに区切った値に対する階調処理信号ＣＳの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば１０ビットで表される入力信号ＩＳのそれぞれの画素値に対して、階調処理信号ＣＳの画素値を並べたもので有っても良い。

２次元ＬＵＴのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、２次元ＬＵＴを記憶するメモリの削減などが可能となる。

（４）
上記実施形態では、マトリクスの列方向には、例えば１０ビットで表される入力信号ＩＳの画素値の上位６ビットの値、すなわち６４段階に分けられた入力信号ＩＳの値に対する階調処理信号ＣＳの画素値が並んでいる、と説明した。ここで、階調処理信号ＣＳは、階調処理実行部１４により、入力信号ＩＳの画素値の下位４ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば１０ビットで表される入力信号ＩＳの画素値の上位６ビットの値に対するマトリクスの成分が並んでおり、入力信号ＩＳの画素値の上位６ビットの値に対するマトリクスの成分と、入力信号ＩＳの画素値の上位６ビットの値に［１］を加えた値に対するマトリクスの成分（例えば、図８では、１行下の成分）とを入力信号ＩＳの画素値の下位４ビットの値を用いて線形補間し、階調処理信号ＣＳとして出力する。

これにより、２次元ＬＵＴ４１（図８参照）のサイズが小さくとも、より適切な階調処理を行うことが可能となる。

（５）
上記実施形態では、広域画像領域Ｅｍの平均明度値に基づいて、画像領域Ｐｍに適用する階調変換曲線Ｃｍを選択すると説明した。ここで、階調変換曲線Ｃｍの選択方法は、この方法に限られない。例えば、広域画像領域Ｅｍの最大明度値、あるいは最小明度値に基づいて、画像領域Ｐｍに適用する階調変換曲線Ｃｍを選択してもよい。なお、階調変換曲線Ｃｍの選択に際して、選択信号Ｓｍの値［Ｓｍ］は、広域画像領域Ｅｍの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。この場合、選択信号Ｓｍの取りうる値を６４段階に分けたそれぞれの値に対して、階調変換曲線候補Ｇ１〜Ｇ６４が関連付けられていることとなる。

また例えば、次のようにして画像領域Ｐｍに適用する階調変換曲線Ｃｍを選択してもよい。すなわち、それぞれの画像領域Ｐｍについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域Ｐｍについての仮の選択信号Ｓｍ’を求める。ここで、仮の選択信号Ｓｍ’は、階調変換曲線候補Ｇ１〜Ｇｐの添え字の番号を値としている。さらに、広域画像領域Ｅｍが含むそれぞれの画像領域について、仮の選択信号Ｓｍ’の値を平均し、画像領域Ｐｍの選択信号Ｓｍの値［Ｓｍ］を求め、階調変換曲線候補Ｇ１〜Ｇｐのうち値［Ｓｍ］に最も近い整数を添え字とする候補を階調変換曲線Ｃｍとして選択する。

（６）
上記実施形態では、広域画像領域Ｅｍの平均明度値に基づいて、画像領域Ｐｍに適用する階調変換曲線Ｃｍを選択すると説明した。ここで、広域画像領域Ｅｍの単純平均でなく、加重平均（重み付き平均）に基づいて、画像領域Ｐｍに適用する階調変換曲線Ｃｍを選択してもよい。例えば、図１１に示すように、広域画像領域Ｅｍを構成するそれぞれの画像領域の平均明度値を求め、画像領域Ｐｍの平均明度値と大きく異なる平均明度値を持つ画像領域Ｐｓ１，Ｐｓ２，・・・については、重み付けを軽くして、あるいは除外して、広域画像領域Ｅｍの平均明度値を求める。

これにより、広域画像領域Ｅｍが明度的に特異的な領域を含む場合（例えば、広域画像領域Ｅｍが２つの明度値の異なる物体の境界を含む場合）であっても、画像領域Ｐｍに適用される階調変換曲線Ｃｍの選択に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な階調処理が行われることとなる。

（７）
上記実施形態において、階調補正部１５の存在は任意としても良い。すなわち、階調処理信号ＣＳを出力とした場合であっても、従来の視覚処理装置３００（図４２参照）に比して、［第１実施形態］の〈効果〉に記載したのと同様の効果、および［第２実施形態］の〈効果〉（１）および（２）に記載したのと同様の効果を得ることが可能である。

（８）
上記実施形態では、階調変換曲線候補Ｇ１〜Ｇｐは、添え字について単調減少する関係にあり、全ての入力信号ＩＳの画素の明度値に対して、Ｇ１≧Ｇ２≧・・・≧Ｇｐの関係を満たしていると説明した。ここで、２次元ＬＵＴが備える階調変換曲線候補Ｇ１〜Ｇｐは、入力信号ＩＳの画素の明度値の一部に対して、Ｇ１≧Ｇ２≧・・・≧Ｇｐの関係を満たしていなくてもよい。すなわち、階調変換曲線候補Ｇ１〜Ｇｐのいずれかが、互いに交差する関係にあってもよい。

例えば、暗い夜景の中にある小さい明かりの部分など（夜景の中にあるネオン部分など）、入力信号ＩＳの値は大きいが、広域画像領域Ｅｍの平均明度値は小さい場合、階調処理された画像信号の値が画質に与える影響は小さい。このような場合には、２次元ＬＵＴが備える階調変換曲線候補Ｇ１〜Ｇｐは、入力信号ＩＳの画素の明度値の一部に対して、Ｇ１≧Ｇ２≧・・・≧Ｇｐの関係を満たしていなくてもよい。すなわち、階調処理後の値が画質に与える影響が小さい部分では、２次元ＬＵＴが格納する値は、任意であってよい。

なお、２次元ＬＵＴが格納する値が任意である場合にも、同じ値の入力信号ＩＳと選択信号Ｓｍとに対して格納されている値は、入力信号ＩＳと選択信号Ｓｍとの値に対して、単調増加、あるいは単調減少する関係を維持していることが望ましい。

また、上記実施形態では、２次元ＬＵＴが備える階調変換曲線候補Ｇ１〜Ｇｐは、「べき関数」であると説明した。ここで、階調変換曲線候補Ｇ１〜Ｇｐは、厳密に「べき関数」として定式化されるもので無くともよい。また、Ｓ字、逆Ｓ字などといった形状を有する関数であってもよい。

（９）
視覚処理装置１１では、２次元ＬＵＴが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置１（図１参照）における画像分割部２と階調変換曲線導出部１０とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして２次元ＬＵＴに格納する。

また、２次元ＬＵＴに格納される階調変換曲線のそれぞれは、空間処理された入力信号ＩＳに関連づけられていてもかまわない。この場合、視覚処理装置１１では、画像分割部１２と選択信号導出部１３とを、入力信号ＩＳを空間処理する空間処理部に置き換えても良い。

（１０）
上記実施形態において、入力信号ＩＳの画素の明度値は、値［０．０〜１．０］の範囲の値でなくてもよい。入力信号ＩＳが他の範囲の値として入力される場合には、その範囲の値を値［０．０〜１．０］に正規化して用いてもよい。また、正規化は行わず、上記した処理において取り扱う値を適宜変更してもよい。

（１１）
階調変換曲線候補Ｇ１〜Ｇｐのそれぞれは、通常のダイナミックレンジよりも広いダイナミックレンジを有する入力信号ＩＳを階調処理し、通常のダイナミックレンジの階調処理信号ＣＳを出力する階調変換曲線であってもよい。

近年、Ｓ／Ｎの良いＣＣＤを光量を絞って使用する、電子シャッタを長短２回開く、あるいは低感度・高感度の画素を持つセンサを使用する、などの方法により、通常のダイナミックレンジよりも１〜３桁広いダイナミックレンジを扱うことができる機器の開発が進んでいる。

これに伴って、入力信号ＩＳが通常のダイナミックレンジ（例えば、値［０．０〜１．０］の範囲の信号）よりも広いダイナミックレンジを有する場合にも、適切に階調処理することが求められている。

ここで、図１２に示すように、値［０．０〜１．０］を超える範囲の入力信号ＩＳに対しても、値［０．０〜１．０］の階調処理信号ＣＳを出力するような階調変換曲線を用いる。

これにより、広いダイナミックレンジを有する入力信号ＩＳに対しても、適切な階調処理を行い、通常のダイナミックレンジの階調処理信号ＣＳを出力することが可能となる。

また、上記実施形態では、「階調処理信号ＣＳの画素値は、階調変換曲線候補Ｇ１〜Ｇｐが「べき関数」である場合、例えば、値［０．０〜１．０］の範囲の値を有する。」と記載した。ここで、階調処理信号ＣＳの画素値は、この範囲に限られない。例えば、値［０．０〜１．０］の入力信号ＩＳに対して、階調変換曲線候補Ｇ１〜Ｇｐは、ダイナミックレンジ圧縮を行うものであってもよい。

（１２）
上記実施形態では、「階調処理実行部１４は、階調変換曲線候補Ｇ１〜Ｇｐを２次元ＬＵＴとして有している。」と説明した。ここで、階調処理実行部１４は、階調変換曲線候補Ｇ１〜Ｇｐを特定するための曲線パラメータと選択信号Ｓｍとの関係を格納する１次元ＬＵＴを有するものであってもよい。

《構成》
図１３に、階調処理実行部１４の変形例としての階調処理実行部４４の構造を説明するブロック図を示す。階調処理実行部４４は、入力信号ＩＳと選択信号Ｓｍとを入力とし、階調処理された入力信号ＩＳである階調処理信号ＣＳを出力とする。階調処理実行部４４は、曲線パラメータ出力部４５と演算部４８とを備えている。

曲線パラメータ出力部４５は、第１ＬＵＴ４６と第２ＬＵＴ４７から構成される。第１ＬＵＴ４６および第２ＬＵＴ４７は、選択信号Ｓｍを入力とし、選択信号Ｓｍが指定する階調変換曲線候補Ｇｍの曲線パラメータＰ１およびＰ２をそれぞれ出力する。

演算部４８は、曲線パラメータＰ１およびＰ２と、入力信号ＩＳとを入力とし、階調処理信号ＣＳを出力とする。

《１次元ＬＵＴについて》
第１ＬＵＴ４６および第２ＬＵＴ４７は、それぞれ選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値を格納する１次元ＬＵＴである。第１ＬＵＴ４６および第２ＬＵＴ４７について詳しく説明する前に、曲線パラメータＰ１およびＰ２の内容について説明する。

図１４を用いて、曲線パラメータＰ１およびＰ２と、階調変換曲線候補Ｇ１〜Ｇｐとの関係について説明する。図１４は、階調変換曲線候補Ｇ１〜Ｇｐを示している。ここで、階調変換曲線候補Ｇ１〜Ｇｐは、添え字について単調減少する関係にあり、全ての入力信号ＩＳの画素の明度値に対して、Ｇ１≧Ｇ２≧・・・≧Ｇｐの関係を満たしている。なお、以上の階調変換曲線候補Ｇ１〜Ｇｐの関係は、添え字の大きい階調変換曲線候補について、入力信号ＩＳが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号ＩＳが大きい場合、などにおいて成立していなくてもよい。

曲線パラメータＰ１およびＰ２は、入力信号ＩＳの所定の値に対する階調処理信号ＣＳの値として出力される。すなわち、選択信号Ｓｍにより階調変換曲線候補Ｇｍが指定された場合、曲線パラメータＰ１の値は、入力信号ＩＳの所定の値［Ｘ１］に対する階調変換曲線候補Ｇｍの値［Ｒ１ｍ］として出力され、曲線パラメータＰ２の値は、入力信号ＩＳの所定の値［Ｘ２］に対する階調変換曲線候補Ｇｍの値［Ｒ２ｍ］として出力される。ここで、値［Ｘ２］は、値［Ｘ１］よりも大きい値である。

次に、第１ＬＵＴ４６および第２ＬＵＴ４７について説明する。

第１ＬＵＴ４６および第２ＬＵＴ４７は、それぞれ選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値を格納している。より具体的には、例えば、６ビットの信号として与えられるそれぞれの選択信号Ｓｍに対して、曲線パラメータＰ１およびＰ２の値がそれぞれ６ビットで与えられる。ここで、選択信号Ｓｍや曲線パラメータＰ１およびＰ２にたいして確保されるビット数はこれに限られない。

図１５を用いて、曲線パラメータＰ１およびＰ２と、選択信号Ｓｍとの関係について説明する。図１５は、選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値の変化を示している。第１ＬＵＴ４６および第２ＬＵＴ４７には、それぞれの選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値が格納されている。例えば、選択信号Ｓｍに対する曲線パラメータＰ１の値として、値［Ｒ１ｍ］が格納されており、曲線パラメータＰ２の値として、値［Ｒ２ｍ］が格納されている。

以上の第１ＬＵＴ４６および第２ＬＵＴ４７により、入力された選択信号Ｓｍに対して、曲線パラメータＰ１およびＰ２が出力される。

《演算部４８について》
演算部４８は、取得した曲線パラメータＰ１およびＰ２（値［Ｒ１ｍ］および値［Ｒ２ｍ］）に基づいて、入力信号ＩＳに対する階調処理信号ＣＳを導出する。具体的な手順を以下記載する。ここで、入力信号ＩＳの値は、値［０．０〜１．０］の範囲で与えられるものとする。また、階調変換曲線候補Ｇ１〜Ｇｐは、値［０．０〜１．０］の範囲で与えられる入力信号ＩＳを、値［０．０〜１．０］の範囲に階調変換するものとする。なお、本発明は、入力信号ＩＳをこの範囲に限定しない場合にも適用可能である。

まず、演算部４８は、入力信号ＩＳの値と、所定の値［Ｘ１］，［Ｘ２］との比較を行う。

入力信号ＩＳの値（値［Ｘ］とする）が［０．０］以上［Ｘ１］未満である場合、図１４における原点と座標（［Ｘ１］，［Ｒ１ｍ］）とを結ぶ直線上において、値［Ｘ］に対する階調処理信号ＣＳの値（値［Ｙ］とする）が求められる。より具体的には、値［Ｙ］は、次式［Ｙ］＝（［Ｘ］／［Ｘ１］）＊［Ｒ１ｍ］、により求められる。

入力信号ＩＳの値が［Ｘ１］以上［Ｘ２］未満である場合、図１４における座標（［Ｘ１］，［Ｒ１ｍ］）と座標（［Ｘ２］，［Ｒ２ｍ］）とを結ぶ直線上において、値［Ｘ］に対する値［Ｙ］が求められる。より具体的には、値［Ｙ］は、次式［Ｙ］＝［Ｒ１ｍ］＋｛（［Ｒ２ｍ］−［Ｒ１ｍ］）／（［Ｘ２］−［Ｘ１］）｝＊（［Ｘ］−［Ｘ１］）、により求められる。

入力信号ＩＳの値が［Ｘ２］以上［１．０］以下である場合、図１４における座標（［Ｘ２］，［Ｒ２ｍ］）と座標（［１．０］，［１．０］）とを結ぶ直線上において、値［Ｘ］に対する値［Ｙ］が求められる。より具体的には、値［Ｙ］は、次式［Ｙ］＝［Ｒ２ｍ］＋｛（［１．０］−［Ｒ２ｍ］）／（［１．０］−［Ｘ２］）｝＊（［Ｘ］−［Ｘ２］）、により求められる。

以上の演算により、演算部４８は、入力信号ＩＳに対する階調処理信号ＣＳを導出する。

《階調処理方法・プログラム》
上述の処理は、階調処理プログラムとして、コンピュータなどにより実行されるものであってもよい。階調処理プログラムは、以下記載する階調処理方法をコンピュータに実行させるためのプログラムである。

階調処理方法は、入力信号ＩＳと選択信号Ｓｍとを取得し、階調処理信号ＣＳを出力する方法であって、入力信号ＩＳを１次元ＬＵＴを用いて階調処理する点に特徴を有している。

まず、選択信号Ｓｍが取得されると、第１ＬＵＴ４６および第２ＬＵＴ４７から曲線パラメータＰ１およびＰ２が出力される。第１ＬＵＴ４６、第２ＬＵＴ４７、曲線パラメータＰ１およびＰ２については、詳細な説明を省略する。

さらに、曲線パラメータＰ１およびＰ２に基づいて、入力信号ＩＳの階調処理が行われる。階調処理の詳しい内容は、演算部４８についての説明のなかで記載したため省略する。

以上の階調処理方法により、入力信号ＩＳに対する階調処理信号ＣＳが導出される。

《効果》
階調処理実行部１４の変形例としての階調処理実行部４４では、２次元ＬＵＴではなく、２つの１次元ＬＵＴを備えている。このため、ルックアップテーブルを記憶するための記憶容量を削減することが可能となる。

《変形例》
（１）
上記変形例では、「曲線パラメータＰ１およびＰ２の値は、入力信号ＩＳの所定の値に対する階調変換曲線候補Ｇｍの値である。」、と説明した。ここで、曲線パラメータＰ１およびＰ２は、階調変換曲線候補Ｇｍの他の曲線パラメータであってもよい。以下、具体的に説明を加える。

（１−１）
曲線パラメータは、階調変換曲線候補Ｇｍの傾きであってもよい。図１４を用いて具体的に説明する。選択信号Ｓｍにより階調変換曲線候補Ｇｍが指定された場合、曲線パラメータＰ１の値は、入力信号ＩＳの所定の範囲［０．０〜Ｘ１］における階調変換曲線候補
Ｇｍの傾きの値［Ｋ１ｍ］であり、曲線パラメータＰ２の値は、入力信号ＩＳの所定の範囲［Ｘ１〜Ｘ２］における階調変換曲線候補Ｇｍの傾きの値［Ｋ２ｍ］である。

図１６を用いて、曲線パラメータＰ１およびＰ２と、選択信号Ｓｍとの関係について説明する。図１６は、選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値の変化を示している。第１ＬＵＴ４６および第２ＬＵＴ４７には、それぞれの選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値が格納されている。例えば、選択信号Ｓｍに対する曲線パラメータＰ１の値として、値［Ｋ１ｍ］が格納されており、曲線パラメータＰ２の値として、値［Ｋ２ｍ］が格納されている。

以上の第１ＬＵＴ４６および第２ＬＵＴ４７により、入力された選択信号Ｓｍに対して、曲線パラメータＰ１およびＰ２が出力される。

演算部４８では、取得した曲線パラメータＰ１およびＰ２に基づいて、入力信号ＩＳに対する階調処理信号ＣＳを導出する。具体的な手順を以下記載する。

まず、演算部４８は、入力信号ＩＳの値と、所定の値［Ｘ１］，［Ｘ２］との比較を行う。

入力信号ＩＳの値（値［Ｘ］とする）が［０．０］以上［Ｘ１］未満である場合、図１４における原点と座標（［Ｘ１］，［Ｋ１ｍ］＊［Ｘ１］（以下、［Ｙ１］と記載する））とを結ぶ直線上において、値［Ｘ］に対する階調処理信号ＣＳの値（値［Ｙ］とする）が求められる。より具体的には、値［Ｙ］は、次式［Ｙ］＝［Ｋ１ｍ］＊［Ｘ］、により求められる。

入力信号ＩＳの値が［Ｘ１］以上［Ｘ２］未満である場合、図１４における座標（［Ｘ１］，［Ｙ１］）と座標（［Ｘ２］，［Ｋ１ｍ］＊［Ｘ１］＋［Ｋ２ｍ］＊（［Ｘ２］−［Ｘ１］）（以下、［Ｙ２］と記載する））とを結ぶ直線上において、値［Ｘ］に対する値［Ｙ］が求められる。より具体的には、値［Ｙ］は、次式［Ｙ］＝［Ｙ１］＋［Ｋ２ｍ］＊（［Ｘ］−［Ｘ１］）、により求められる。

入力信号ＩＳの値が［Ｘ２］以上［１．０］以下である場合、図１４における座標（［Ｘ２］，［Ｙ２］）と座標（１．０，１．０）とを結ぶ直線上において、値［Ｘ］に対する値［Ｙ］が求められる。より具体的には、値［Ｙ］は、次式［Ｙ］＝［Ｙ２］＋｛（［１．０］−［Ｙ２］）／（［１．０］−［Ｘ２］）｝＊（［Ｘ］−［Ｘ２］）、により求められる。

以上の演算により、演算部４８は、入力信号ＩＳに対する階調処理信号ＣＳを導出する。

（１−２）
曲線パラメータは、階調変換曲線候補Ｇｍ上の座標であってもよい。図１７を用いて具体的に説明する。選択信号Ｓｍにより階調変換曲線候補Ｇｍが指定された場合、曲線パラメータＰ１の値は、階調変換曲線候補Ｇｍ上の座標の一方の成分の値［Ｍｍ］であり、曲線パラメータＰ２の値は、階調変換曲線候補Ｇｍ上の座標の他方の成分の値［Ｎｍ］である。さらに、階調変換曲線候補Ｇ１〜Ｇｐは、全て座標（Ｘ１，Ｙ１）を通過する曲線である。

図１８を用いて、曲線パラメータＰ１およびＰ２と、選択信号Ｓｍとの関係について説明する。図１８は、選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値の変化を示
している。第１ＬＵＴ４６および第２ＬＵＴ４７には、それぞれの選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値が格納されている。例えば、選択信号Ｓｍに対する曲線パラメータＰ１の値として、値［Ｍｍ］が格納されており、曲線パラメータＰ２の値として、値［Ｎｍ］が格納されている。

以上の第１ＬＵＴ４６および第２ＬＵＴ４７により、入力された選択信号Ｓｍに対して、曲線パラメータＰ１およびＰ２が出力される。

演算部４８では、図１４を用いて説明した変形例と同様の処理により、入力信号ＩＳから階調処理信号ＣＳが導出される。詳しい説明は、省略する。

（１−３）
以上の変形例は、一例であり、曲線パラメータＰ１およびＰ２は、階調変換曲線候補Ｇｍのさらに他の曲線パラメータであってもよい。

また、曲線パラメータの個数も上記に限られない。さらに少なくてもよいし、さらに多くてもよい。

演算部４８についての説明では、階調変換曲線候補Ｇ１〜Ｇｐが直線の線分から構成される曲線である場合についての演算について記載した。ここで、階調変換曲線候補Ｇ１〜Ｇｐ上の座標が曲線パラメータとして与えられる場合には、与えられた座標を通過する滑らかな曲線が作成され（カーブフィッティング）、作成された曲線を用いて、階調変換処理が行われるものであってもよい。

（２）
上記変形例では、「曲線パラメータ出力部４５は、第１ＬＵＴ４６と第２ＬＵＴ４７から構成される。」と説明した。ここで、曲線パラメータ出力部４５は、選択信号Ｓｍの値に対する曲線パラメータＰ１およびＰ２の値を格納するＬＵＴを備えないものであってもよい。

この場合、曲線パラメータ出力部４５は、曲線パラメータＰ１およびＰ２の値を演算する。より具体的には、曲線パラメータ出力部４５は、図１５、図１６、図１８などに示される曲線パラメータＰ１およびＰ２のグラフを表すパラメータを記憶している。曲線パラメータ出力部４５は、記憶されたパラメータから曲線パラメータＰ１およびＰ２のグラフを特定する。さらに、曲線パラメータＰ１およびＰ２のグラフを用いて、選択信号Ｓｍに対する曲線パラメータＰ１およびＰ２の値を出力する。

ここで、曲線パラメータＰ１およびＰ２のグラフを特定するためのパラメータとは、グラフ上の座標、グラフの傾き、曲率などである。例えば、曲線パラメータ出力部４５は、図１５に示す曲線パラメータＰ１およびＰ２のグラフ上のそれぞれ２点の座標を記憶しており、この２点の座標を結ぶ直線を、曲線パラメータＰ１およびＰ２のグラフとして用いる。

ここで、パラメータから曲線パラメータＰ１およびＰ２のグラフを特定する際には、直線近似だけでなく、折れ線近似、曲線近似などを用いてもよい。

これにより、ＬＵＴを記憶するためのメモリを用いずに曲線パラメータを出力することが可能となる。すなわち、装置が備えるメモリの容量をさらに削減することが可能となる。

［第３実施形態］
本発明の第３実施形態としての視覚処理装置２１について図１９〜図２１を用いて説明する。視覚処理装置２１は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置２１は、あらかじめＬＵＴとして記憶した複数の階調変換曲線を階調処理の対象となる画素ごとに切り換えて用いる点を特徴として有している。

〈構成〉
図１９に、視覚処理装置２１の構造を説明するブロック図を示す。視覚処理装置２１は、画像分割部２２と、選択信号導出部２３と、階調処理部３０とを備えている。画像分割部２２は、入力信号ＩＳを入力とし、入力信号ＩＳとして入力される原画像を複数に分割した画像領域Ｐｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）を出力とする。選択信号導出部２３は、それぞれの画像領域Ｐｍに対して階調変換曲線Ｃｍを選択するための選択信号Ｓｍを出力する。階調処理部３０は、選択信号補正部２４と、階調処理実行部２５とを備えている。選択信号補正部２４は、選択信号Ｓｍを入力とし、それぞれの画像領域Ｐｍ毎の選択信号Ｓｍを補正した信号である画素毎の選択信号ＳＳを出力する。階調処理実行部２５は、複数の階調変換曲線候補Ｇ１〜Ｇｐ（ｐは候補数）を２次元ＬＵＴとして備えており、入力信号ＩＳと画素毎の選択信号ＳＳとを入力とし、それぞれの画素について階調処理した出力信号ＯＳを出力とする。

（階調変換曲線候補について）
階調変換曲線候補Ｇ１〜Ｇｐについては、［第２実施形態］において図７を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、階調変換曲線候補Ｇ１〜Ｇｐは、入力信号ＩＳの画素の明度値と出力信号ＯＳの画素の明度値との関係を与える曲線である。

階調処理実行部２５は、階調変換曲線候補Ｇ１〜Ｇｐを２次元ＬＵＴとして備えている。すなわち、２次元ＬＵＴは、入力信号ＩＳの画素の明度値と階調変換曲線候補Ｇ１〜Ｇｐを選択する選択信号ＳＳとに対して、出力信号ＯＳの画素の明度値を与えるルックアップテーブル（ＬＵＴ）である。具体例は、［第２実施形態］において図８を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、マトリクスの列方向には、例えば１０ビットで表される入力信号ＩＳの画素値の上位６ビットの値に対する出力信号ＯＳの画素値が並んでいる。

〈作用〉
各部の動作について説明を加える。画像分割部２２は、図１の画像分割部２とほぼ同様に動作し、入力信号ＩＳとして入力される原画像を複数（ｎ個）の画像領域Ｐｍに分割する（図２参照）。ここで、原画像の分割数は、図４２に示す従来の視覚処理装置３００の分割数（例えば、４〜１６分割）よりも多く、例えば、横方向に８０分割し縦方向に６０分割する４８００分割などである。

選択信号導出部２３は、それぞれの画像領域Ｐｍに対して階調変換曲線Ｃｍを階調変換曲線候補Ｇ１〜Ｇｐの中から選択する。具体的には、選択信号導出部２３は、画像領域Ｐｍの広域画像領域Ｅｍの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補Ｇ１〜Ｇｐのいずれかの選択を行う。すなわち、階調変換曲線候補Ｇ１〜Ｇｐは、広域画像領域Ｅｍの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補Ｇ１〜Ｇｐが選択される。

ここで、広域画像領域Ｅｍとは、［第１実施形態］において図２を用いて説明したのと同様である。すなわち、広域画像領域Ｅｍは、それぞれの画像領域Ｐｍを含む複数の画像
領域の集合であり、例えば、画像領域Ｐｍを中心とする縦方向５ブロック、横方向５ブロックの２５個の画像領域の集合である。なお、画像領域Ｐｍの位置によっては、画像領域Ｐｍの周辺に縦方向５ブロック、横方向５ブロックの広域画像領域Ｅｍを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Ｐｌに対して、画像領域Ｐｌの周辺に縦方向５ブロック、横方向５ブロックの広域画像領域Ｅｌを取ることができない。この場合には、画像領域Ｐｌを中心とする縦方向５ブロック横方向５ブロックの領域と原画像とが重なる領域が広域画像領域Ｅｌとして採用される。

選択信号導出部２３の選択結果は、階調変換曲線候補Ｇ１〜Ｇｐのいずれかを示す選択信号Ｓｍとして出力される。より具体的には、選択信号Ｓｍは、階調変換曲線候補Ｇ１〜Ｇｐの添え字（１〜ｐ）の値として出力される。

選択信号補正部２４は、それぞれの画像領域Ｐｍに対して出力されたそれぞれの選択信号Ｓｍを用いた補正により、入力信号ＩＳを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号ＳＳを出力する。例えば、画像領域Ｐｍに含まれる画素に対する選択信号ＳＳは、画像領域Ｐｍおよび画像領域Ｐｍの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。

図２０を用いて、選択信号補正部２４の動作についてさらに詳しく説明する。図２０は、画像領域Ｐｏ，Ｐｐ，Ｐｑ，Ｐｒ（ｏ，ｐ，ｑ，ｒは分割数ｎ（図２参照。）以下の正整数）に対して選択信号Ｓｏ，Ｓｐ，Ｓｑ，Ｓｒが出力された状態を示している。

ここで、階調補正の対象となる画素ｘの位置を、画像領域Ｐｏの中心と画像領域Ｐｐの中心とを［ｉ：１−ｉ］に内分し、かつ、画像領域Ｐｏの中心と画像領域Ｐｑの中心とを［ｊ：１−ｊ］に内分する位置であるとする。この場合、画素ｘに対する選択信号ＳＳの値［ＳＳ］は、［ＳＳ］＝｛（１−ｊ）・（１−ｉ）・［Ｓｏ］＋（１−ｊ）・（ｉ）・［Ｓｐ］＋（ｊ）・（１−ｉ）・［Ｓｑ］＋（ｊ）・（ｉ）・［Ｓｒ］｝と求められる。なお、［Ｓｏ］，［Ｓｐ］，［Ｓｑ］，［Ｓｒ］は、選択信号Ｓｏ，Ｓｐ，Ｓｑ，Ｓｒの値であるとする。

階調処理実行部２５は、入力信号ＩＳが含む画素の明度値と選択信号ＳＳとを入力とし、例えば図８に示す２次元ＬＵＴ４１を用いて、出力信号ＯＳの明度値を出力する。

なお、選択信号ＳＳの値［ＳＳ］が、２次元ＬＵＴ４１の備える階調変換曲線候補Ｇ１〜Ｇｐの添え字（１〜ｐ）と等しい値にならない場合、値［ＳＳ］に最も近い整数を添え字とする階調変換曲線候補Ｇ１〜Ｇｐが入力信号ＩＳの階調処理に用いられる。

〈視覚処理方法および視覚処理プログラム〉
図２１に、視覚処理装置２１における視覚処理方法を説明するフローチャートを示す。図２１に示す視覚処理方法は、視覚処理装置２１においてハードウェアにより実現され、入力信号ＩＳ（図１９参照）の階調処理を行う方法である。図２１に示す視覚処理方法では、入力信号ＩＳは、画像単位で処理される（ステップＳ３０〜Ｓ３７）。入力信号ＩＳとして入力される原画像は、複数の画像領域Ｐｍ（１≦ｍ≦ｎ：ｎは原画像の分割数）に分割され（ステップＳ３１）、画像領域Ｐｍ毎に階調変換曲線Ｃｍが選択され（ステップＳ３２〜Ｓ３３）、画像領域Ｐｍ毎に階調変換曲線Ｃｍを選択するための選択信号Ｓｍに基づいて、原画像の画素毎に階調変換曲線が選択され、画素単位での階調処理が行われる（ステップＳ３４〜Ｓ３６）。

それぞれのステップについて具体的に説明を加える。

それぞれの画像領域Ｐｍに対して階調変換曲線Ｃｍが階調変換曲線候補Ｇ１〜Ｇｐの中から選択される（ステップＳ３２）。具体的には、画像領域Ｐｍの広域画像領域Ｅｍの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補Ｇ１〜Ｇｐのいずれかの選択が行われる。階調変換曲線候補Ｇ１〜Ｇｐは、広域画像領域Ｅｍの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補Ｇ１〜Ｇｐが選択される。ここで、広域画像領域Ｅｍについては、説明を省略する（上記〈作用〉の欄参照。）。選択結果は、階調変換曲線候補Ｇ１〜Ｇｐのいずれかを示す選択信号Ｓｍとして出力される。より具体的には、選択信号Ｓｍは、階調変換曲線候補Ｇ１〜Ｇｐの添え字（１〜ｐ）の値として出力される。さらに、全ての画像領域Ｐｍについての処理が終了したか否かを判定し（ステップＳ３３）、処理が終了したと判定されるまで、ステップＳ３２〜Ｓ３３の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。

それぞれの画像領域Ｐｍに対して出力されたそれぞれの選択信号Ｓｍを用いた補正により、入力信号ＩＳを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号ＳＳが出力される（ステップＳ３４）。例えば、画像領域Ｐｍに含まれる画素に対する選択信号ＳＳは、画像領域Ｐｍおよび画像領域Ｐｍの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。補正の詳細な内容については、説明を省略する（上記〈作用〉の欄、図２０参照。）。

入力信号ＩＳが含む画素の明度値と選択信号ＳＳとを入力とし、例えば図８に示す２次元ＬＵＴ４１を用いて、出力信号ＯＳの明度値が出力される（ステップＳ３５）。さらに、全ての画素についての処理が終了したか否かを判定し（ステップＳ３６）、処理が終了したと判定されるまで、ステップＳ３４〜Ｓ３６の処理を画素数回繰り返す。以上により、画像単位の処理が終了する。

なお、図２１に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。

〈効果〉
本発明により、上記［第１実施形態］および［第２実施形態］の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第３実施形態特有の効果を記載する。

（１）
それぞれの画像領域Ｐｍに対して選択される階調変換曲線Ｃｍは、広域画像領域Ｅｍの平均明度値に基づいて作成される。このため、画像領域Ｐｍの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Ｐｍに対しても、適切な階調変換曲線Ｃｍが選択される。

（２）
選択信号補正部２４は、画像領域単位で出力される選択信号Ｓｍに基づいた補正により、画素毎の選択信号ＳＳを出力する。入力信号ＩＳを構成する原画像の画素は、画素毎の選択信号ＳＳが指定する階調変換曲線候補Ｇ１〜Ｇｐを用いて、階調処理される。このため、より適切に階調処理された出力信号ＯＳを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号ＯＳにおいては、それぞれの画像領域Ｐｍの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。

（３）
階調処理実行部２５は、あらかじめ作成された２次元ＬＵＴを有している。このため、階調処理に要する処理負荷を削減すること、より具体的には、階調変換曲線Ｃｍの作成に
要する処理負荷を削減することが可能となる。この結果、階調処理を高速化することが可能となる。

（４）
階調処理実行部２５は、２次元ＬＵＴを用いて階調処理を実行する。ここで、２次元ＬＵＴの内容は、視覚処理装置２１が備えるハードディスクあるいはＲＯＭなどの記憶装置から読み出されて階調処理に用いられる。読み出す２次元ＬＵＴの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。

〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。例えば、上記［第２実施形態］〈変形例〉とほぼ同様の変形を第３実施形態に適用することが可能である。特に、［第２実施形態］〈変形例〉の（１０）〜（１２）では、選択信号Ｓｍを選択信号ＳＳと、階調処理信号ＣＳを出力信号ＯＳと読み替えることにより、同様に適用可能である。

以下、第３実施形態特有の変形例を記載する。

（１）
上記実施形態では、６４行６４列のマトリクスからなる２次元ＬＵＴ４１を２次元ＬＵＴの一例とした。ここで、本発明の効果は、このサイズの２次元ＬＵＴに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ＩＳの画素値をさらに細かいステップに区切った値に対する出力信号ＯＳの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば１０ビットで表される入力信号ＩＳのそれぞれの画素値に対して、出力信号ＯＳの画素値を並べたもので有っても良い。

２次元ＬＵＴのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、２次元ＬＵＴを記憶するメモリの削減などが可能となる。

（２）
上記実施形態では、選択信号ＳＳの値［ＳＳ］が、２次元ＬＵＴ４１（図８参照）の備える階調変換曲線候補Ｇ１〜Ｇｐの添え字（１〜ｐ）と等しい値にならない場合、値［ＳＳ］に最も近い整数を添え字とする階調変換曲線候補Ｇ１〜Ｇｐが入力信号ＩＳの階調処理に用いられる、と説明した。ここで、選択信号ＳＳの値［ＳＳ］が、２次元ＬＵＴ４１の備える階調変換曲線候補Ｇ１〜Ｇｐの添え字（１〜ｐ）と等しい値にならない場合、選択信号ＳＳの値［ＳＳ］を超えない最大の整数（ｋ）を添え字とする階調変換曲線候補Ｇｋ（１≦ｋ≦ｐ−１）と、［ＳＳ］を超える最小の整数（ｋ＋１）を添え字とする階調変換曲線候補Ｇｋ＋１との双方を用いて階調処理した入力信号ＩＳの画素値を、選択信号ＳＳの値［ＳＳ］の小数点以下の値を用いて加重平均（内分）し、出力信号ＯＳを出力してもよい。

（３）
上記実施形態では、マトリクスの列方向には、例えば１０ビットで表される入力信号ＩＳの画素値の上位６ビットの値に対する出力信号ＯＳの画素値が並んでいる、と説明した。ここで、出力信号ＯＳは、階調処理実行部２５により、入力信号ＩＳの画素値の下位４ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば１０ビットで表される入力信号ＩＳの画素値の上位６ビットの値に対するマトリクスの成分が並んでおり、入力信号ＩＳの画素値の上位
６ビットの値に対するマトリクスの成分と、入力信号ＩＳの画素値の上位６ビットの値に［１］を加えた値に対するマトリクスの成分（例えば、図８では、１行下の成分）とを入力信号ＩＳの画素値の下位４ビットの値を用いて線形補間し、出力信号ＯＳとして出力する。

これにより、２次元ＬＵＴ４１（図８参照）のサイズが小さくとも、より適切な階調処理を行うことが可能となる。

（４）
上記実施形態では、広域画像領域Ｅｍの平均明度値に基づいて、画像領域Ｐｍに対する選択信号Ｓｍを出力すると説明した。ここで、選択信号Ｓｍの出力方法は、この方法に限られない。例えば、広域画像領域Ｅｍの最大明度値、あるいは最小明度値に基づいて、画像領域Ｐｍに対する選択信号Ｓｍを出力してもよい。なお、選択信号Ｓｍの値［Ｓｍ］は、広域画像領域Ｅｍの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。

また例えば、次のようにして画像領域Ｐｍに対する選択信号Ｓｍを出力してもよい。すなわち、それぞれの画像領域Ｐｍについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域Ｐｍについての仮の選択信号Ｓｍ’を求める。ここで、仮の選択信号Ｓｍ’は、階調変換曲線候補Ｇ１〜Ｇｐの添え字の番号を値としている。さらに、広域画像領域Ｅｍが含むそれぞれの画像領域について、仮の選択信号Ｓｍ’の値を平均し、画像領域Ｐｍの選択信号Ｓｍとする。

（５）
上記実施形態では、広域画像領域Ｅｍの平均明度値に基づいて、画像領域Ｐｍに対する選択信号Ｓｍを出力すると説明した。ここで、広域画像領域Ｅｍの単純平均でなく、加重平均（重み付き平均）に基づいて、画像領域Ｐｍに対する選択信号Ｓｍを出力しても良い。詳細は、上記［第２実施形態］で図１１を用いて説明したのと同様であり、広域画像領域Ｅｍを構成するそれぞれの画像領域の平均明度値を求め、画像領域Ｐｍの平均明度値と大きく異なる平均明度値を持つ画像領域Ｐｓ１，Ｐｓ２，・・・については、重み付けを軽くして広域画像領域Ｅｍの平均明度値を求める。

これにより、広域画像領域Ｅｍが明度的に特異的な領域を含む場合（例えば、広域画像領域Ｅｍが２つの明度値の異なる物体の境界を含む場合）であっても、選択信号Ｓｍの出力に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な選択信号Ｓｍの出力が行われることとなる。

（６）
視覚処理装置２１では、２次元ＬＵＴが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置１（図１参照）における画像分割部２と階調変換曲線導出部１０とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして２次元ＬＵＴに格納する。

また、２次元ＬＵＴに格納される階調変換曲線のそれぞれは、空間処理された入力信号ＩＳに関連づけられていてもかまわない。この場合、視覚処理装置２１では、画像分割部２２と選択信号導出部２３と選択信号補正部２４とを、入力信号ＩＳを空間処理する空間処理部に置き換えても良い。

［第４実施形態］
図２２〜図２５を用いて本発明の第４実施形態としての視覚処理装置６１について説明する。

図２２に示す視覚処理装置６１は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置６１は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。

視覚処理装置６１は、画像信号と、画像信号に対して空間処理（ボケフィルタ処理）を施したボケ信号とを用いた視覚処理を行う装置であり、空間処理において特徴を有している。

従来、対象画素の周辺の画素を用いてボケ信号を導出する際に、周辺の画素が対象画素と大きく濃度の異なる画素を含むと、ボケ信号は、濃度の異なる画素の影響を受ける。すなわち、画像において物体のエッジ近傍の画素を空間処理する場合、本来エッジでない画素がエッジの濃度の影響を受けることとなる。このため、この空間処理により、例えば、擬似輪郭の発生などが引き起こされることとなる。

そこで、空間処理を画像の内容に適応させて行うことが求められる。これに対して、例えば、特開平１０−７５３９５号公報は、ボケ度合いの異なる複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることにより適切なボケ信号を出力する。これにより、空間処理のフィルタサイズを変更し、濃度の異なる画素の影響を抑制することを目的とする。

一方、上記公報では、複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることとなるため、装置における回路規模、あるいは処理負荷が大きくなる。

そこで、本発明の第４実施形態としての視覚処理装置６１では、適切なボケ信号を出力することを目的とし、かつ、装置における回路規模、あるいは処理負荷を削減することを目的とする。

〈視覚処理装置６１〉
図２２に、画像信号（入力信号ＩＳ）に視覚処理を行い視覚処理画像（出力信号ＯＳ）を出力する視覚処理装置６１の基本構成を示す。視覚処理装置６１は、入力信号ＩＳとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号ＵＳを出力する空間処理部６２と、同じ画素についての入力信号ＩＳとアンシャープ信号ＵＳとを用いて、原画像の視覚処理を行い、出力信号ＯＳを出力する視覚処理部６３とを備えている。

〈空間処理部６２〉
図２３を用いて、空間処理部６２の空間処理について説明する。空間処理部６２は、空間処理の対象となる対象画素６５と、対象画素６５の周辺領域の画素（以下、周辺画素６６という）との画素値を入力信号ＩＳから取得する。

周辺画素６６は、対象画素６５の周辺領域に位置する画素であり、対象画素６５を中心として広がる縦９画素、横９画素の周辺領域に含まれる画素である。なお、周辺領域の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺画素６６は、対象画素６５からの距離に応じて近いものから第１周辺画素６７、第２周辺画素６８と分けられている。図２３では、第１周辺画素６７は、対象画素６５を中心とする縦５画素、横５画素の領域に含まれる画素であるとする。さらに第２周辺画素６８は、第１周辺画素６７の周辺に位置する画素であるとする。

空間処理部６２は、対象画素６５に対してフィルタ演算を行う。フィルタ演算では、対象画素６５と周辺画素６６との画素値とが、対象画素６５と周辺画素６６との画素値の差および距離に基づく重みを用いて、加重平均される。加重平均は、次式Ｆ＝（Σ［Ｗｉｊ］＊［Ａｉｊ］）／（Σ［Ｗｉｊ］）に基づいて計算される。ここで、［Ｗｉｊ］は、対象画素６５および周辺画素６６において、ｉ行ｊ列目に位置する画素の重み係数であり、［Ａｉｊ］は、対象画素６５および周辺画素６６において、ｉ行ｊ列目に位置する画素の画素値である。また、「Σ」は、対象画素６５および周辺画素６６のそれぞれの画素についての合計の計算を行うことを意味している。

図２４を用いて、重み係数［Ｗｉｊ］について説明する。重み係数［Ｗｉｊ］は、対象画素６５と周辺画素６６との画素値の差および距離に基づいて定められる値である。より具体的には、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。

例えば、対象画素６５に対しては、重み係数［Ｗｉｊ］は、値［１］である。

第１周辺画素６７のうち、対象画素６５の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数［Ｗｉｊ］は、値［１］である。第１周辺画素６７のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数［Ｗｉｊ］は、値［１／２］である。すなわち、第１周辺画素６７に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。

第２周辺画素６８のうち、対象画素６５の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数［Ｗｉｊ］は、値［１／２］である。第２周辺画素６８のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数［Ｗｉｊ］は、値［１／４］である。すなわち、第２周辺画素６８に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。また、対象画素６５からの距離が第１周辺画素６７よりも大きい第２周辺画素６８では、より小さい重み係数が与えられている。

ここで、所定の閾値とは、値［０．０〜１．０］の範囲の値をとる対象画素６５の画素値に対して、値［２０／２５６〜６０／２５６］などといった大きさの値である。

以上により計算された加重平均が、アンシャープ信号ＵＳとして出力される。

〈視覚処理部６３〉
視覚処理部６３では、同一の画素についての入力信号ＩＳとアンシャープ信号ＵＳとの値を用いて、視覚処理を行う。ここで行われる視覚処理は、入力信号ＩＳのコントラスト強調、あるいはダイナミックレンジ圧縮などといった処理である。コントラスト強調では、入力信号ＩＳとアンシャープ信号ＵＳとの差、あるいは比を強調する関数を用いて強調した信号を入力信号ＩＳに加え、画像の鮮鋭化が行われる。ダイナミックレンジ圧縮では、入力信号ＩＳからアンシャープ信号ＵＳが減算される。

視覚処理部６３における処理は、入力信号ＩＳとアンシャープ信号ＵＳとを入力として出力信号ＯＳを出力する２次元ＬＵＴを用いて行われても良い。

〈視覚処理方法・プログラム〉
上述の処理は、視覚処理プログラムとして、コンピュータなどにより実行されるものであってもよい。視覚処理プログラムは、以下記載する視覚処理方法をコンピュータに実行
させるためのプログラムである。

視覚処理方法は、入力信号ＩＳとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号ＵＳを出力する空間処理ステップと、同じ画素についての入力信号ＩＳとアンシャープ信号ＵＳとを用いて、原画像の視覚処理を行い、出力信号ＯＳを出力する視覚処理ステップとを備えている。

空間処理ステップでは、入力信号ＩＳの画素毎に、空間処理部６２の説明において記載した加重平均を行い、アンシャープ信号ＵＳを出力する。詳細については、上述したため省略する。

視覚処理ステップでは、同じ画素についての入力信号ＩＳとアンシャープ信号ＵＳとを用いて、視覚処理部６３の説明において記載した視覚処理を行い出力信号ＯＳを出力する。詳細については、上述したため省略する。

〈効果〉
図２５（ａ）〜（ｂ）を用いて、視覚処理装置６１による視覚処理の効果を説明する。図２５（ａ）と図２５（ｂ）とは、従来のフィルタによる処理を示している。図２５（ｂ）は、本発明のフィルタによる処理を示している。

図２５（ａ）は、周辺画素６６が濃度の異なる物体７１を含む様子を示している。対象画素６５の空間処理では、所定のフィルタ係数を持つ平滑化フィルタが用いられる。このため、本来物体７１の一部でない対象画素６５が物体７１の濃度の影響を受けることとなる。

図２５（ｂ）は、本発明の空間処理の様子を示している。本発明の空間処理では、周辺画素６６が物体７１を含む部分６６ａ、物体７１を含まない第１周辺画素６７、物体７１を含まない第２周辺画素６８、対象画素６５、のそれぞれに対して、異なる重み係数を用いて空間処理が行われる。このため、空間処理された対象画素６５が極端に濃度の異なる画素から受ける影響を抑えることが可能となり、より適切な空間処理が可能となる。

また、視覚処理装置６１では、特開平１０−７５３９５号公報のように複数のボケ信号を作成する必要が無い。このため、装置における回路規模、あるいは処理負荷を削減することが可能となる。

さらに、視覚処理装置６１では、実質的に、空間フィルタのフィルタサイズ、およびフィルタが参照する画像の形状を画像内容に応じて適応的に変更することが可能である。このため、画像内容に適した空間処理を行うことが可能となる。

〈変形例〉
（１）
上記した周辺画素６６、第１周辺画素６７、第２周辺画素などの大きさは、一例であり、他の大きさであってもよい。

上記した重み係数は、一例であり、他のものであっても良い。例えば、画素値の差の絶対値が所定の閾値を超える場合に、重み係数を値［０］として与えてもよい。これにより、空間処理された対象画素６５が極端に濃度の異なる画素から受ける影響を無くすことが可能となる。このことは、コントラスト強調を目的とした応用では、元々ある程度コントラストの大きい部分におけるコントラストを過剰に強調しないという効果がある。

また、重み係数は、次に示すような関数の値として与えられるものであってもよい。

（１−ａ）
画素値の差の絶対値を変数とする関数により重み係数の値を与えてもよい。関数は、例えば、画素値の差の絶対値が小さいときは重み係数が大きく（１に近く）、画素値の差の絶対値が大きいときは重み係数が小さく（０に近く）なるような、画素値の差の絶対値に対して単調減少する関数である。

（１−ｂ）
対象画素６５からの距離を変数とする関数により重み係数の値をあたえてもよい。関数は、例えば、対象画素６５からの距離が近いときには重み係数が大きく（１に近く）、対象画素６５からの距離が遠いときには重み係数が小さく（０に近く）なるような、対象画素６５からの距離に対して単調減少する関数である。

上記（１−ａ）、（１−ｂ）では、重み係数がより連続的に与えられることとなる。このため、閾値を用いた場合に比して、より適切な重み係数を与えることが可能となり、過剰なコントラスト強調を抑制し、擬似輪郭の発生などを抑制し、より視覚的効果の高い処理を行うことが可能となる。

（２）
上記したそれぞれの画素についての処理は、複数の画素を含むブロックを単位として行われても良い。具体的には、まず、空間処理の対象となる対象ブロックの平均画素値と、対象ブロックの周辺の周辺ブロックの平均画素値とが計算される。さらに、それぞれの平均画素値が上記と同様の重み係数を用いて加重平均される。これにより、対象ブロックの平均画素値がさらに空間処理されることとなる。

このような場合には、空間処理部６２を選択信号導出部１３（図６参照）あるいは選択信号導出部２３（図１９参照）として用いることも可能である。この場合、［第２実施形態］〈変形例〉（６）、あるいは［第３実施形態］〈変形例〉（５）に記載したのと同様である。

これに関し、図２６〜図２８を用いて説明を加える。

《構成》
図２６は、図２２〜図２５を用いて説明した処理を複数の画素を含むブロック単位で行う視覚処理装置９６１の構成を示すブロック図である。

視覚処理装置９６１は、入力信号ＩＳとして入力される画像を複数の画像ブロックに分割する画像分割部９６４と、分割された画像ブロック毎の空間処理を行う空間処理部９６２と、入力信号ＩＳと空間処理部９６２の出力である空間処理信号ＵＳ２とを用いて視覚処理を行う視覚処理部９６３とから構成されている。

画像分割部９６４は、入力信号ＩＳとして入力される画像を複数の画像ブロックに分割する。さらに、分割された画像ブロック毎の特徴パラメータを含む処理信号ＵＳ１を導出する。特徴パラメータとは、例えば、分割された画像ブロック毎の画像の特徴を表すパラメータであり、例えば、平均値（単純平均、加重平均など）や代表値（最大値、最小値、中央値など）である。

空間処理部９６２は、画像ブロック毎の特徴パラメータを含む処理信号ＵＳ１を取得し、空間処理を行う。

図２７を用いて、空間処理部９６２の空間処理について説明する。図２７は、複数画素を含む画像ブロックに分割された入力信号ＩＳを示している。ここで、それぞれの画像ブロックは、縦３画素・横３画素の９画素を含む領域に分割されている。なお、この分割方法は、一例であり、このような分割方法に限定されるわけではない。また、視覚処理効果を十分に発揮するためには、かなり広い領域を対象として空間処理信号ＵＳ２を生成することが好ましい。

空間処理部９６２は、空間処理の対象となる対象画像ブロック９６５と、対象画像ブロック９６５の周辺に位置する周辺領域９６６に含まれるそれぞれの周辺画像ブロックとの特徴パラメータを処理信号ＵＳ１から取得する。

周辺領域９６６は、対象画像ブロック９６５の周辺に位置する領域であり、対象画像ブロック９６５を中心として広がる縦５ブロック、横５ブロックの領域である。なお、周辺領域９６６の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺領域９６６は、対象画像ブロック９６５からの距離に応じて近いものから第１周辺領域９６７、第２周辺領域９６８と分けられている。

図２７では、第１周辺領域９６７は、対象画像ブロック９６５を中心とする縦３ブロック、横３ブロックの領域であるとする。さらに第２周辺領域９６８は、第１周辺領域９６７の周辺に位置する領域であるとする。

空間処理部９６２は、対象画像ブロック９６５の特徴パラメータに対してフィルタ演算を行う。

フィルタ演算では、対象画像ブロック９６５と周辺領域９６６の周辺画像ブロックとの特徴パラメータの値が加重平均される。ここで加重平均の重みは、対象画像ブロック９６５と周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められている。

より具体的には、加重平均は、次式Ｆ＝（Σ［Ｗｉｊ］＊［Ａｉｊ］）／（Σ［Ｗｉｊ］）に基づいて計算される。

ここで、［Ｗｉｊ］は、対象画像ブロック９６５および周辺領域９６６において、ｉ行ｊ列目に位置する画像ブロックに対する重み係数であり、［Ａｉｊ］は、対象画像ブロック９６５および周辺領域９６６において、ｉ行ｊ列目に位置する画像ブロックの特徴パラメータの値である。また、「Σ」は、対象画像ブロック９６５および周辺領域９６６のそれぞれの画像ブロックについての合計の計算を行うことを意味している。

図２８を用いて、重み係数［Ｗｉｊ］について説明する。

重み係数［Ｗｉｊ］は、対象画像ブロック９６５と周辺領域９６６の周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められる値である。より具体的には、特徴パラメータの値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。

例えば、対象画像ブロック９６５に対しては、重み係数［Ｗｉｊ］は、値［１］である。

第１周辺領域９６７のうち、対象画像ブロック９６５の特徴パラメータの値との差の絶
対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数［Ｗｉｊ］は、値［１］である。第１周辺領域９６７のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数［Ｗｉｊ］は、値［１／２］である。すなわち、第１周辺領域９６７に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。

第２周辺領域９６８のうち、対象画像ブロック９６５の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数［Ｗｉｊ］は、値［１／２］である。第２周辺領域９６８のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数［Ｗｉｊ］は、値［１／４］である。すなわち、第２周辺領域９６８に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。また、対象画像ブロック９６５からの距離が第１周辺領域９６７よりも大きい第２周辺領域９６８では、より小さい重み係数が与えられている。

ここで、所定の閾値とは、値［０．０〜１．０］の範囲の値をとる対象画像ブロック９６５の特徴パラメータの値に対して、値［２０／２５６〜６０／２５６］などといった大きさの値である。

以上により計算された加重平均が、空間処理信号ＵＳ２として出力される。

視覚処理部９６３では、視覚処理部６３（図２２参照）と同様の視覚処理が行われる。ただし、視覚処理部６３との相違点は、アンシャープ信号ＵＳの代わりに、視覚処理の対象となる対象画素を含む対象画像ブロックの空間処理信号ＵＳ２が用いられる点である。

また、視覚処理部９６３における処理は、対象画素を含む対象画像ブロック単位で一括して処理されてもよいが、入力信号ＩＳから取得される画素の順序で空間処理信号ＵＳ２を切り換えて処理されてもよい。

以上の処理が、入力信号ＩＳに含まれる全ての画素について行われる。

《効果》
空間処理部９６２の処理では、画像ブロックを単位とした処理が行われる。このため、空間処理部９６２の処理量を削減でき、より高速の視覚処理が実現可能となる。また、ハードウェア規模を小さくすることが可能となる。

《変形例》
上記では、正方のブロック単位で処理を行うと記載した。ここで、ブロックの形状は、任意としてもよい。

また、上記した重み係数、閾値なども適宜変更可能である。

ここで、重み係数の一部の値は、値［０］であってもよい。この場合には、周辺領域９６６の形状を任意の形状とすることと同じこととなる。

また、空間処理部９６２では、対象画像ブロック９６５と周辺領域９６６との特徴パラメータを用いて空間処理を行うと説明したが、空間処理は、周辺領域９６６のみの特徴パラメータを用いて行うものであってもよい。すなわち、空間処理の加重平均の重みにおいて、対象画像ブロック９６５の重みを値［０］としてもよい。

（３）
視覚処理部６３における処理は、上記したものに限られない。例えば、視覚処理部６３は、入力信号ＩＳの値Ａ、アンシャープ信号ＵＳの値Ｂ、ダイナミックレンジ圧縮関数Ｆ４、強調関数Ｆ５を用いて、次式Ｃ＝Ｆ４（Ａ）＊Ｆ５（Ａ／Ｂ）により演算される値Ｃを出力信号ＯＳの値として出力するものであってもかまわない。ここで、ダイナミックレンジ圧縮関数Ｆ４は、上に凸のべき関数などの単調増加関数であり、例えば、Ｆ４（ｘ）＝ｘ＾γ（０＜γ＜１）と表される。強調関数Ｆ５は、べき関数であり、例えば、Ｆ５（ｘ）＝ｘ＾α（０＜α≦１）と表される。

視覚処理部６３においてこのような処理が行われる場合、本発明の空間処理部６２により出力された適切なアンシャープ信号ＵＳが用いられれば、入力信号ＩＳのダイナミックレンジを圧縮しつつ、局所的なコントラストを強調することが可能となる。

一方、アンシャープ信号ＵＳが適切でなく、ボケが少なすぎる場合には、エッジ強調的ではあるがコントラストの強調が適切に行えない。また、ボケが多すぎる場合には、コントラストの強調は行えるが、ダイナミックレンジの圧縮が適切に行えない。

（４）
本実施形態または本実施形態の〈変形例〉（２）における空間処理は、以下の（４−ａ）〜（４−ｃ）のいずれかにより行われてもよい。以下の（４−ａ）〜（４−ｃ）は、空間処理で扱う画素の数を削減し、空間処理を行う回路規模を削減する、あるいは空間処理の処理負荷を低減するものである。

（４−ａ）
図２９を用いて説明する視覚処理装置１０６１は、外部で作成された縮小画像を利用して空間処理を行う点に特徴を有している。

《構成・作用》
図２９に、視覚処理装置１０６１のブロック図を示す。視覚処理装置１０６１は、例えば、デジタルスチルカメラなどに搭載され、あるいはデジタルスチルカメラなどと接続されるコンピュータなどに搭載され、撮影された画像（以下、原画像という）の視覚処理を行う装置である。視覚処理装置１０６１は、主に半導体部品により構成される。

視覚処理装置１０６１は、空間処理部１０６２（抽出手段・階調変換特性導出手段）と視覚処理部１０６３（階調処理手段）とから主に構成される。

空間処理部１０６２は、視覚処理装置１０６１の外部においてメモリ１０００などに保持されている縮小画像の縮小画像信号ＵＳ１０を取得する。ここで、縮小画像とは、原画像を縮小した画像であり、例えば、デジタルスチルカメラなどで撮影した画像を確認するプレビュー用の画像（サムネイル画像）などである。メモリ１０００に保持されている縮小画像は、表示用信号としてデジタルスチルカメラの表示部（図示せず）などに出力され、表示される。

空間処理部１０６２は、抽出部１０６５（抽出手段）と空間処理実行部１０６６（階調変換特性導出手段）とを含んでいる。抽出部１０６５は、縮小画像信号ＵＳ１０の明度信号ＵＳ１１（対象画像データ・周辺画像データ）を抽出し、空間処理実行部１０６６に出力する。空間処理実行部１０６６は、明度信号ＵＳ１１に対して、図２２を用いて説明した空間処理部６２と同様の空間処理を実行する。すなわち、空間処理実行部１０６６は、明度信号ＵＳ１１のそれぞれの画素値に対して、周辺画素の画素値との差を計算し、計算
された差が所定の閾値を超える場合と超えない場合とで重みを変えた重み付き平均（階調変換特性）を計算する。計算結果は、空間処理信号ＵＳ３として視覚処理部１０６３に出力される。

視覚処理部１０６３は、入力信号ＩＳと空間処理信号ＵＳ３とを取得し、出力信号ＯＳを出力する。ここで、入力信号ＩＳは、原画像の明度を表す信号である。なお、入力信号ＩＳは、原画像の信号であってもよい。この場合、視覚処理部１０６３において入力信号ＩＳから原画像の明度を表す信号が抽出される。視覚処理部１０６３の処理は、空間処理された信号に基づいて行われる処理であれば特に限定されるものではないが、図２２の視覚処理部６３や図２６の視覚処理部９６３と同様の処理を行う。

より具体的には、視覚処理部１０６３は、図６に示す階調処理実行部１４と同様に、入力信号ＩＳの値および空間処理信号ＵＳ３の値に対する出力信号ＯＳの値を格納する２次元ＬＵＴ（図８参照）を備えており、入力信号ＩＳと空間処理信号ＵＳとを取得し、出力信号ＯＳを出力する。

視覚処理部１０６３では、入力信号ＩＳと、それに対応する空間処理信号ＵＳとが同期的に処理される。例えば、空間処理実行部１０６６から出力された空間処理信号ＵＳ３は、図示しないメモリなどに格納されている。視覚処理部１０６３は、入力信号ＩＳのうち処理対象となる画素の画素値（対象画像領域の画像信号）を順次取得するとともに、処理対象となる画素に対応する空間処理信号ＵＳ３（階調変換特性）をメモリから読み出す。さらに、視覚処理部１０６３は、それぞれの値に関連付けられている出力信号ＯＳの値を、２次元ＬＵＴを参照して出力する。なお、２次元ＬＵＴは、視覚処理部１０６３が実行する視覚処理に応じて変更可能なものであってもよい。

ここで、図３０を用いて、入力信号ＩＳと同期的に処理される空間処理信号ＵＳ３について説明を加える。

まず、縮小画像は、例えば、原画像をダウンサンプリングして（あるいは、フィルタリングした後にダウンサンプリングして）得られている。すなわち、原画像の複数画素からなる画像領域と、縮小画像の画素とが関連づけられている（例えば、原画像の画像領域Ａ１と縮小画像の画素ａ１とが関連付けられている）。これは、言い換えれば、原画像の画素のそれぞれが縮小画像の画素と多対一の関係で関連づけられていることと同じである。さらに、空間処理信号ＵＳ３は、縮小画像を空間処理することによって得られており、縮小画像と同じ数の画素を含んでいる。よって、原画像の画素のそれぞれは、空間処理信号ＵＳ３の画素と関連づけられていることとなる。

視覚処理部１０６３では、原画像の画素値（入力信号ＩＳ）を取得すると、原画像の画素毎の位置に関連づけられた位置の空間処理信号ＵＳ３の画素値を同期的に取得する。この関連づけは、縮小画像の縮小率に応じて予め定められたアドレスマップなどにより規定されていてもよく、例えば、視覚処理部１０６３は、入力信号ＩＳの画素位置に応じて空間処理信号ＵＳ３を格納するメモリのアドレスを参照し空間処理信号ＵＳ３の画素値を取得する。

なお、原画像の画素毎の位置との関連づけにより、空間処理信号ＵＳ３を格納しているメモリから画素値を取得する際に、同一アドレスから複数回読み出すことで、原画像と空間処理信号ＵＳ３との解像度（画素数）を同じにしたが、空間処理信号ＵＳ３を補間演算（内分）し、補間画素を生成することで原画像と解像度を同じにしてもよい。

なお、視覚処理部１０６３の処理は、これに限らない。例えば、入力信号ＩＳが順次入
力されると、入力された画素の原画像内での位置を判断し、その位置に対応する縮小画像の画素を選択してもよい。具体的には、視覚処理部１０６３は、入力された画素の原画像内での垂直方向位置および水平方向位置を判断し、入力された画素の原画像内での相対位置を判断する。さらに、縮小画像内で、その相対位置に位置する画素を判断し、その画素を空間処理した結果としての空間処理信号ＵＳ３を取得する。ここで、入力された画素の原画像内での相対位置にちょうど位置する画素が無い場合には、空間処理信号ＵＳ３内でその相対位置周辺に位置する画素を平均（単純平均・加重平均）し、縮小画像の画素値としてもよい。

《視覚処理方法》
上記した視覚処理装置１０６１における視覚処理方法を図３１に示す。

まず、縮小画像信号ＵＳ１０が取得される（ステップＳ１００１）。

次に、縮小画像信号ＵＳ１０から、明度信号ＵＳ１１が抽出される（ステップＳ１００２）。具体的には、所定のフォーマットで明度、色度を格納している縮小画像信号ＵＳを解析し、明度に当たるデータを抽出する。抽出された明度信号ＵＳ１１は、メモリなどに格納される。

次に、明度信号ＵＳ１１が空間処理され、空間処理信号ＵＳ３として出力される（ステップＳ１００３）。具体的な処理は、上述したため省略するが、空間処理の処理対象となる画素とその周辺に位置する周辺画素とがメモリより読み出され、処理される。出力された空間処理信号ＵＳ３は、メモリなどに格納される。

入力信号ＩＳが順次入力されると、それに対応する空間処理信号ＵＳ３がメモリから読み出される（ステップＳ１００４）。ステップＳ１００４の処理は、入力信号ＩＳの入力が完了するまで（原画像がすべて入力されるまで）行われる。

なお、この視覚処理方法は、プログラムにより実行されるものであってもよい。

《効果》
視覚処理装置１０６１は、図２４や図２６を用いて説明した視覚処理装置の効果に加えて、さらに以下の効果を奏する。

視覚処理装置１０６１は、予め視覚処理装置１０６１の外部で作成された縮小画像を用いて空間処理を行う。このため、空間処理において処理する画素数を大幅に削減することが可能となる。この結果、空間処理のみならず視覚処理全体の処理の高速化を達成することが可能となる。また、空間処理に必要な回路規模の削減（具体的には、空間処理の際に信号を記憶するメモリなどの容量の削減）などが可能となる。

《変形例》
〈１〉
視覚処理部１０６３の処理は、上記実施形態で説明した処理に限定されない。

視覚処理部１０６３の行う処理は、入力信号ＩＳと空間処理信号ＵＳ３とのそれぞれの値からマトリクス演算などすることにより出力信号ＯＳを求めてもよい。ここで行われる演算は、例えば、入力信号ＩＳのコントラスト強調、あるいはダイナミックレンジ圧縮などといった処理であってもよい。コントラスト強調では、入力信号ＩＳと空間処理信号ＵＳ３との差、あるいは比を強調する関数を用いて強調した信号を入力信号ＩＳに加え、画像の鮮鋭化が行われる。ダイナミックレンジ圧縮では、入力信号ＩＳから空間処理信号Ｕ
Ｓ３が減算される。なお、このマトリクス演算に用いられる係数マトリクスは、変更可能なものであってもよい。この変更により、視覚処理部１０６３は、多様な視覚処理を実現することが可能となる。

〈２〉
空間処理部１０６２の処理は、上記実施形態で説明した処理に限定されない。

空間処理実行部１０６６は、図１を用いて説明した階調変換曲線導出部１０と同様の処理を行うものであってもよい。この場合、変形例としての空間処理実行部１０６６’は、図３２に示すように、ヒストグラム作成部１０７０と階調曲線作成部１０７１を備えるものであってもよい。

ヒストグラム作成部１０７０は、図１のヒストグラム作成部３とほぼ同様の処理を行う。ただし、ヒストグラム作成部１０７０は、明度信号１１の画素毎に周辺画素の画素値を参照してヒストグラム（特徴パラメータ）を作成する。なお、ヒストグラム作成部１０７０は、明度信号１１を画像領域に分割し、図１のヒストグラム作成部３と同様の処理を行ってもよい。

階調曲線作成部１０７１は、階調曲線作成部４とほぼ同様の処理を行い、空間処理信号ＵＳ３を出力する。ここで、空間処理信号ＵＳ３は、例えば、縮小画像のそれぞれの画素に対する階調変換曲線を表している。

視覚処理部１０６３は、入力信号ＩＳに対応する空間処理信号ＵＳ３をメモリなどから読み出し、視覚処理を行う。より具体的には、入力信号ＩＳが入力されると、その画素毎に関連付けられた縮小画像の画素が判断される。さらに、判断された縮小画像の画素に対する階調曲線が判断される。これにより、入力信号ＩＳに対する空間処理信号ＵＳ３が読み出される。

〈３〉
空間処理部１０６２は、前処理として縮小画像信号ＵＳ１０をさらに縮小変換する処理を含んでいてもよい。この場合、空間処理実行部１０６６の空間処理の処理負荷をさらに削減することが可能となる。

（４−ｂ）
図３３を用いて説明する視覚処理装置１１６１は、圧縮画像信号ＩＧを取得し、圧縮画像信号ＩＧ中に含まれるサムネイル画像を利用して空間処理を行う点に特徴を有している。

《構成・作用》
図３３に、視覚処理装置１１６１のブロック図を示す。視覚処理装置１１６１は、例えば、デジタルスチルカメラなどに搭載され、あるいはデジタルスチルカメラなどと接続されるコンピュータなどに搭載されており、撮影された画像（以下、原画像という）の視覚処理を行う装置である。視覚処理装置１１６１は、主に半導体部品により構成される。

視覚処理装置１１６１は、図２９を用いて説明した視覚処理装置１０６１に比して、サムネイル画像抽出部１１７５をさらに備える点において特徴を有している。すなわち、視覚処理装置１１６１は、サムネイル画像抽出部１１７５と空間処理部１１６２（抽出手段・階調変換特性導出手段）と視覚処理部１１６３（階調処理手段）とから主に構成されている。空間処理部１１６２と視覚処理部１１６３との機能は、図２９を用いて説明した視覚処理装置１０６１の空間処理部１０６２と視覚処理部１０６３との機能とそれぞれほぼ
同様である。このため、以下ではサムネイル画像抽出部１１７５の機能について主に説明する。

サムネイル画像抽出部１１７５は、圧縮画像信号ＩＧを取得し、原画像の画像信号である入力信号ＩＳと、サムネイル画像信号ＵＳ２０とを分離する。

ここで、圧縮画像信号ＩＧは、少なくとも原画像の圧縮データ、原画像の縮小画像の圧縮データを含んでいる。圧縮画像信号ＩＧについて、図３４を用いて詳しく説明する。

図３４に示す圧縮画像信号ＩＧは、ＤＣＦ規格（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）に準拠したデータ構造を有している。ＤＣＦ基本ファイルとしての圧縮画像信号ＩＧは、ＡＰＰ１（ａｐｐｌｉｃａｔｉｏｎ ｍａｒｋｅｒ ｓｅｇｍｅｎｔ １）（Ｅｘｉｆ情報）、ＤＣＦ基本サムネイル（ＪＰＥＧ圧縮データ）、およびＤＣＦ基本主画像（ＪＰＥＧ圧縮データ）から主に構成されており、これらの情報をＪＰＥＧ圧縮データの先頭を示すＳＯＩ（Ｓｔａｒｔ ｏｆ Ｉｍａｇｅ）からＪＰＥＧ圧縮データの終端を示すＥＯＩ（Ｅｎｄ ｏｆ Ｉｍａｇｅ）までに格納している。

ＡＰＰ１（Ｅｘｉｆ情報）は、圧縮画像信号ＩＧのヘッダ情報であり、画素数、圧縮モード、撮影日時、機種名、絞り値、色空間など、撮影時のカメラ情報を記述している。

ＤＣＦ基本サムネイルは、ＤＣＦ基本主画像のサムネイルファイルであり、Ｅｘｉｆ圧縮サムネイル規定に従った構造を有している。すなわち、ＳＯＩからＥＯＩまでにＪＰＥＧ圧縮データを格納している。ここで、画像サンプリングの組み合わせは、ＹＣｂＣｒ４：２：２であり、サムネイルファイルの画素数は、横１６０画素、縦１２０画素である。

ＤＣＦ基本主画像は、撮影された原画像のＪＰＥＧ圧縮データである。ＪＰＥＧ圧縮データの構造は、Ｅｘｉｆの規定に従った構造を有している。すなわち、ＳＯＩからＥＯＩまでにＪＰＥＧ圧縮データを格納している。

このような圧縮画像信号ＩＧを取得したサムネイル画像抽出部１１７５は、圧縮画像信号ＩＧを解析し、ＤＣＦ基本サムネイルとＤＣＦ基本主画像を抽出する。さらに、サムネイル画像抽出部１１７５は、ＤＣＦ基本サムネイルが格納するＪＰＥＧ圧縮データをデコードし、サムネイルファイル信号ＵＳ２０を出力する。またさらに、サムネイル画像抽出部１１７５は、ＤＣＦ基本主画像が格納するＪＰＥＧ圧縮データをデコードし、原画像の画像信号のうち明度をあらわす信号である入力信号ＩＳを出力する。なお、入力信号ＩＳは、原画像の画像信号であってもよい。この場合、視覚処理部１１６３において入力信号ＩＳから原画像の明度を表す信号が抽出される。

空間処理部１１６２は、図２９に示す空間処理部１０６２と同様の処理を行う。ここで、空間処理部１１６２は、縮小画像信号ＵＳ１０に変えてサムネイルファイル信号ＵＳ２０を取得する点において空間処理部１０６２と相違するが、具体的な処理は同様であるため説明は省略する。空間処理部１１６２は、空間処理後のサムネイルファイル信号ＵＳ２０を空間処理信号ＵＳ４として出力する。

視覚処理部１１６３は、図２９に示す視覚処理部１０６３と同様の処理を行う。詳しい処理は、上述したため省略するが、視覚処理部１１６３では、視覚処理部１０６３が入力信号ＩＳと空間処理信号ＵＳ３とに対して行った処理と同様の処理を、入力信号ＩＳと空間処理信号ＵＳ４とに対して行う。なお、視覚処理部１１６３では、原画像の画素毎の位置との関連づけにより、空間処理信号ＵＳ４を格納しているメモリから画素値を取得する
際に、同一アドレスから複数回読み出すことで、原画像と空間処理信号ＵＳ４との解像度（画素数）を同じにしてもよいが、空間処理信号ＵＳ４を補間演算（内分）し、補間画素を生成することで原画像と解像度を同じにしてもよい。

《効果》
視覚処理装置１１６１は、図２４や図２６を用いて説明した視覚処理装置の効果に加えて、さらに以下の効果を奏する。

視覚処理装置１１６１は、圧縮画像信号ＩＧから取得されるサムネイルファイルを用いて空間処理を行う。サムネイルファイルは、原画像に比して画像サイズの小さいファイルである。このため、空間処理において処理する画素数を大幅に削減することが可能となる。この結果、空間処理のみならず視覚処理全体の処理の高速化を達成することが可能となる。また、空間処理に必要な回路規模の削減（具体的には、空間処理の際に信号を記憶するメモリなどの容量の削減）などが可能となる。

《変形例》
本実施形態では、上記（４−ａ）の《変形例》と同様の変形を行うことが可能である。ここでは、本実施形態に特有の変形例について記載する。

〈１〉
空間処理部１１６２は、前処理としてサムネイルファイル信号ＵＳ２０をさらに縮小変換する処理を含んでいてもよい。この場合、空間処理の処理負荷をさらに削減することが可能となる。

〈２〉
サムネイル画像抽出部１１７５は、ＪＰＥＧ圧縮データをデコードする。ＪＰＥＧ圧縮データをデコードするための詳しい構成は、図３６を用いて後述する。ここで、図３６に示すＤＣ成分抽出部１２０３では、デコードしたデータをブロック展開部１２１０により元の画像における画素の順序に展開している。しかし、デコードしたブロック領域毎のデータを展開する前に、視覚処理してもよい。すなわち、入力信号ＩＳとして、ブロック領域毎のデータが出力され、視覚処理部１１６３でブロック領域毎に視覚処理されてもよい。このような処理は、空間処理部１１６２および視覚処理部１１６３においてブロック領域毎に階調変換曲線を特定して視覚処理する場合（例えば、（４−ａ）《変形例》〈２〉で説明した処理を用いる場合）に特に有効であり、処理負荷の削減に効果的である。

（４−ｃ）
図３５を用いて説明する視覚処理装置１２６１は、圧縮画像信号ＩＧを取得し、圧縮画像信号ＩＧ中に含まれる低周波成分を利用して空間処理を行う点に特徴を有している。

《構成・作用》
図３５に、視覚処理装置１２６１のブロック図を示す。視覚処理装置１２６１は、例えば、デジタルスチルカメラなどに搭載され、あるいはデジタルスチルカメラなどと接続されるコンピュータなどに搭載されており、撮影された画像（以下、原画像という）の視覚処理を行う装置である。視覚処理装置１２６１は、主に半導体部品により構成される。

視覚処理装置１２６１は、図２９を用いて説明した視覚処理装置１０６１に比して、ＤＣ成分抽出部１２０３をさらに備える点において特徴を有している。すなわち、視覚処理装置１２６１は、ＤＣ成分抽出部１２０３（抽出手段）と空間処理部１２６２（階調変換特性導出手段）と視覚処理部１２６３（階調処理手段）とから主に構成されている。空間処理部１２６２と視覚処理部１２６３との機能は、図２９を用いて説明した視覚処理装置
１０６１の空間処理部１０６２と視覚処理部１０６３との機能とそれぞれほぼ同様である。このため、以下ではＤＣ成分抽出部１２０３の機能について主に説明する。

ＤＣ成分抽出部１２０３は、圧縮画像信号ＩＧを取得し、原画像の画像信号である入力信号ＩＳと、原画像の低周波成分であるＤＣ成分信号ＵＳ３０とを分離する。

ここで、圧縮画像信号ＩＧは、原画像の画像信号を直交変換と量子化とを含む方法により符号化した信号である。本実施形態では、圧縮画像信号ＩＧは、例えば、ＪＰＥＧ圧縮データであるとするが、本発明がこの場合に限定されるものではない。

ＤＣ成分抽出部１２０３は、圧縮画像信号ＩＧを取得し、ＪＰＥＧ圧縮データをデコードして入力信号ＩＳを出力するとともに、低周波成分をＤＣ成分信号ＵＳ３０として出力する。

図３６に、ＤＣ成分抽出部１２０３の詳しい構造を示す。

ハフマン復号部１２０４は、入力された圧縮画像信号ＩＧを復号化する。具体的には、圧縮画像信号ＩＧにおいて、ハフマン符号化により符号化されているＡＣ成分とＤＣ成分とを復号化する。差分符号化復号部１２０５は、ＤＣ成分の差分値を順次ＤＣ成分用のハフマン符号化表に従って復号処理し、量子化されたＤＣ成分を出力する。さらに、逆量子化変換部１２０６は、差分符号化復号部１２０５の出力である量子化されたＤＣ成分を逆量子化し、所定ブロック領域のＤＣ成分信号ＵＳ３０を出力する。このＤＣ成分信号ＵＳ３０は、逆ＤＣＴ変換に用いられるとともに、空間処理部１２６２（図３５参照）に出力される。

一方、ハフマン復号部１２０４において復号化されたＡＣ成分は、Ｚｅｒｏ伸張部１２０７により、量子化されたＡＣ成分として出力される。逆量子化変換部１２０８は、この出力に対してＡＣ成分用の量子化テーブルを乗じ、所定ブロック領域のＡＣ成分信号を出力する。

逆ＤＣＴ変換部１２０９は、ＤＣ成分信号ＵＳ３０と、ＡＣ成分信号とを用いて、所定ブロック領域内の画素値を復号する。ブロック展開部１２１０は、ブロック領域内の各画素を元の画素位置に再配置する。再配置された信号は、入力信号ＩＳとして視覚処理部１２６３に出力される。

空間処理部１２６２は、図２９に示す空間処理部１０６２と同様の処理を行う。ここで、空間処理部１２６２は、縮小画像信号ＵＳ１０に変えてＤＣ成分信号ＵＳ３０を取得する点において空間処理部１０６２と相違するが、具体的な処理はほぼ同様であるため説明は省略する。空間処理部１２６２は、空間処理後のＤＣ成分信号ＵＳ３０を空間処理信号ＵＳ５として出力する。

視覚処理部１２６３は、図２９に示す視覚処理部１０６３とほぼ同様の処理を行う。詳しい処理は、上述したため省略するが、視覚処理部１２６３では、視覚処理部１０６３が入力信号ＩＳと空間処理信号ＵＳ３とに対して行った処理と同様の処理を、入力信号ＩＳと空間処理信号ＵＳ５とに対して行う。なお、空間処理信号ＵＳ５は、入力信号ＩＳを縦８画素・横８画素のブロック領域（ＭＣＵ：Ｍｉｎｉｍｕｍ Ｃｏｄｅｄ Ｕｎｉｔ）に分割した時のそれぞれのブロック領域のＤＣ成分を空間処理した信号である。このため、視覚処理部１２６３は、順次入力される入力信号ＩＳの画素毎の明度値に対して、その画素を含むブロック領域のＤＣ成分を空間処理した値を空間処理信号ＵＳ５から取得し、視覚処理を行う。なお、ここでは、入力信号ＩＳは、原画像の画像信号であるとして説明を
行ったため、視覚処理部１２６３では、入力信号ＩＳから原画像の明度を表す信号を抽出する必要がある。一方、この機能は、ＤＣ成分抽出部１２０３側に設けられていてもよい。

なお、視覚処理部１２６３では、原画像の画素毎の位置との関連づけにより、空間処理信号ＵＳ５を格納しているメモリから画素値を取得する際に、同一アドレスから複数回読み出すことで、原画像と空間処理信号ＵＳ５との解像度（画素数）を同じにしてもよいが、空間処理信号ＵＳ５を補間演算（内分）し、補間画素を生成することで原画像と解像度を同じにしてもよい。

《効果》
視覚処理装置１１６１は、図２４や図２６を用いて説明した視覚処理装置の効果に加えて、さらに以下の効果を奏する。

視覚処理装置１２６１は、圧縮画像信号ＩＧから取得される原画像の低周波成分であるＤＣ成分信号ＵＳ３０を用いて空間処理を行う。ＤＣ成分信号ＵＳ３０は、原画像をブロック領域に分割したそれぞれのブロック毎に取得される値である。このため、空間処理において処理する画素数を大幅に削減することが可能となる。この結果、空間処理のみならず視覚処理全体の処理の高速化を達成することが可能となる。また、空間処理に必要な回路規模の削減（具体的には、空間処理の際に信号を記憶するメモリなどの容量の削減）などが可能となる。また、同じＬＳＩ内に圧縮画像信号ＩＧの復号部と視覚処理部１２６３を持たせることで、回路規模の小さい視覚処理装置１２６１を構築できる。

《変形例》
本実施形態では、上記（４−ａ）の《変形例》と同様の変形を行うことが可能である。ここでは、本実施形態に特有の変形例について記載する。

〈１〉
空間処理部１２６２は、前処理としてＤＣ成分信号ＵＳ３０をさらに縮小変換（例えば、間引き処理など）する処理を含んでいてもよい。この場合、空間処理の処理負荷をさらに削減することが可能となる。

〈２〉
上記実施形態では、圧縮画像信号ＩＧがＪＰＥＧ圧縮されている場合を例に説明したが、圧縮画像信号ＩＧは、その他の圧縮形式で圧縮されていてもよい。

例えば、ＪＰＥＧ２０００で圧縮されていてもよい。この場合、図３７に示すように低周波成分を再帰的に分割していくオクターブ分割方式が採用されており、ＬＬ成分は画像のＤＣ成分を表している。このＤＣ成分を空間処理部１２６２の入力として利用することも可能である。

〈３〉
図３６に示すＤＣ成分抽出部１２０３では、デコードしたデータをブロック展開部１２１０により元の画像における画素の順序に展開している。しかし、デコードしたブロック領域毎のデータを展開する前に、視覚処理してもよい。すなわち、入力信号ＩＳとして、ブロック領域毎のデータが出力され、視覚処理部１２６３でブロック領域毎に視覚処理されてもよい。このような処理は、空間処理部１２６２および視覚処理部１２６３においてブロック領域毎に階調変換曲線を特定して視覚処理する場合（例えば、（４−ａ）《変形例》〈２〉で説明した処理を用いる場合）に特に有効であり、処理負荷の削減に効果的である。

［第５実施形態］
本発明の第５実施形態として、上記第１〜第４実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。

視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置であり、ＬＳＩなどの集積回路として実現される。

より詳しくは、上記実施形態の各機能ブロックは、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

図１、図６、図１９、図２２、図２６、図２９、図３３、図３５の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。また、図６、図１９、図２２、図２６、図２９、図３３、図３５の階調処理実行部１４，２５や視覚処理部１０６３，１１６３，１２６３において参照される２次元ＬＵＴは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、必要に応じて参照される。さらに、２次元ＬＵＴは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される２次元ＬＵＴの提供装置から提供されるものであってもよい。また、図１３の階調処理実行部４４において参照される１次元ＬＵＴについても同様である。

また、視覚処理装置は、動画像を取り扱う機器に内蔵、あるいは接続されて、フレーム毎（フィールド毎）の画像の階調処理を行う装置であってもよい。

また、それぞれの視覚処理装置では、上記第１〜第４実施形態で説明した視覚処理方法が実行される。

視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、ＲＯＭなどの記憶装置に記憶され、画像の階調処理を実行するプログラムであり、例えば、ＣＤ−ＲＯＭなどの記録媒体を介して、あるいはネットワークを介して提供される。

上記実施形態では、それぞれの画素の明度値について処理を行うと説明した。ここで、本発明は、入力信号ＩＳの色空間に依存するものではない。すなわち、上記実施形態における処理は、入力信号ＩＳがＹＣｂＣｒ色空間、ＹＵＶ色空間、Ｌａｂ色空間、Ｌｕｖ色空間、ＹＩＱ色空間、ＸＹＺ色空間、ＹＰｂＰｒ色空間、ＲＧＢ色空間などで表されている場合に、それぞれの色空間の輝度、明度に対して、同様に適用可能である。

また入力信号ＩＳがＲＧＢ色空間で表されている場合に、上記実施形態における処理は、ＲＧＢそれぞれの成分に対して独立に行われるものであってもよい。

［第６実施形態］
本発明の第６実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図３８〜図４１を用いて説明する。

図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３８のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division
Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライ
アントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

コンテンツの表示に際して、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを用いても良い。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであっても良い。

また、ストリーミングサーバｅｘ１０３は、視覚処理装置に対して、インターネットｅｘ１０１を介してプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバｅｘ１０３は、複数台存在し、それぞれ異なるプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバｅｘ１０３は、プロファイルの作成を行うものであっても良い。このように、インターネットｅｘ１０１を介して、視覚処理装置がプロファイルデータを取得できる場合、視覚処理装置は、あらかじめ視覚処理に用いるプロファイルデータを記憶しておく必要が無く、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットｅｘ１０１介して接続される複数のサーバからプロファイルデータを取得できるため、異なる視覚処理を実現することが可能となる。

一例として携帯電話について説明する。

図３９は、上記実施形態の視覚処理装置を備えた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図４０を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６で
スペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

以上の構成において、画像復号化部ｅｘ３０９は、上記実施形態の視覚処理装置を備えていても良い。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図４１に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図４０に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。

本発明にかかる視覚処理装置は、空間処理に基づく画質の劣化を抑制し、かつ、装置における回路規模の削減あるいは処理負荷を低減することを可能とし、視覚処理装置などの用途にも適用可能である。

視覚処理装置１の構造を説明するブロック図（第１実施形態） 画像領域Ｐｍについて説明する説明図（第１実施形態） 明度ヒストグラムＨｍについて説明する説明図（第１実施形態） 階調変換曲線Ｃｍについて説明する説明図（第１実施形態） 視覚処理方法について説明するフローチャート（第１実施形態） 視覚処理装置１１の構造を説明するブロック図（第２実施形態） 階調変換曲線候補Ｇ１〜Ｇｐについて説明する説明図（第２実施形態） ２次元ＬＵＴ４１について説明する説明図（第２実施形態） 階調補正部１５の動作について説明する説明図（第２実施形態） 視覚処理方法について説明するフローチャート（第２実施形態） 階調変換曲線Ｃｍの選択の変形例について説明する説明図（第２実施形態） 変形例としての階調処理について説明する説明図（第２実施形態） 階調処理実行部４４の構造を説明するブロック図（第２実施形態） 曲線パラメータＰ１およびＰ２と、階調変換曲線候補Ｇ１〜Ｇｐとの関係について説明する説明図（第２実施形態） 曲線パラメータＰ１およびＰ２と、選択信号Ｓｍとの関係について説明する説明図（第２実施形態） 曲線パラメータＰ１およびＰ２と、選択信号Ｓｍとの関係について説明する説明図（第２実施形態） 曲線パラメータＰ１およびＰ２と、階調変換曲線候補Ｇ１〜Ｇｐとの関係について説明する説明図（第２実施形態） 曲線パラメータＰ１およびＰ２と、選択信号Ｓｍとの関係について説明する説明図（第２実施形態） 視覚処理装置２１の構造を説明するブロック図（第３実施形態） 選択信号補正部２４の動作について説明する説明図（第３実施形態） 視覚処理方法について説明するフローチャート（第３実施形態） 視覚処理装置６１の構造を説明するブロック図（第４実施形態） 空間処理部６２の空間処理について説明する説明図（第４実施形態） 重み係数［Ｗｉｊ］について説明する表（第４実施形態） 視覚処理装置６１による視覚処理の効果を説明する説明図（第４実施形態） 視覚処理装置９６１の構造を説明するブロック図（第４実施形態） 空間処理部９６２の空間処理について説明する説明図（第４実施形態） 重み係数［Ｗｉｊ］について説明する表（第４実施形態） 視覚処理装置１０６１の構造を説明するブロック図（第４実施形態） 原画像と縮小画像との関係について説明する説明図（第４実施形態） 視覚処理方法について説明するフローチャート（第４実施形態） 空間処理実行部１０６６’の構造を説明するブロック図（第４実施形態） 視覚処理装置１１６１の構造を説明するブロック図（第４実施形態） 圧縮画像信号ＩＧの構造について説明するデータ構造図（第４実施形態） 視覚処理装置１２６１の構造を説明するブロック図（第４実施形態） ＤＣ成分抽出部１２０３の構造を説明するブロック図（第４実施形態） オクターブ分割方式におけるＤＣ成分について説明する説明図（第４実施形態） コンテンツ供給システムの全体構成について説明するブロック図（第６実施形態） 本発明の視覚処理装置を搭載する携帯電話の例（第６実施形態） 携帯電話の構成について説明するブロック図（第６実施形態） ディジタル放送用システムの例（第６実施形態） 視覚処理装置３００の構造を説明するブロック図（背景技術） 画像領域Ｓｍについて説明する説明図（背景技術） 明度ヒストグラムＨｍについて説明する説明図（背景技術） 階調変換曲線Ｃｍについて説明する説明図（背景技術）

符号の説明

１，１１，２１，６１ 視覚処理装置
２，１２，２２ 画像分割部
３ ヒストグラム作成部
４ 階調曲線作成部
５，２０，３０ 階調処理部
１０ 階調変換曲線導出部
１３，２３ 選択信号導出部
１４，２５ 階調処理実行部
１５ 階調補正部
２４ 選択信号補正部
１０６１，１１６１，１２６１ 視覚処理装置
１０６２，１１６２，１２６２ 空間処理部
１０６３，１１６３，１２６３ 視覚処理部
１０６５ 抽出部
１０６６ 空間処理実行部
１１７５ サムネイル画像抽出部
１２０３ ＤＣ成分抽出部
ＩＳ 入力信号
ＯＳ 出力信号
Ｐｍ 画像領域
Ｅｍ 広域画像領域
Ｈｍ 明度ヒストグラム
Ｃｍ 階調変換曲線
Ｓｍ 選択信号
ＳＳ 画素毎の選択信号
ＣＳ 階調処理信号
ＵＳ３，ＵＳ４，ＵＳ５ 空間処理信号
ＵＳ１０ 縮小画像信号
ＵＳ１１ 明度信号
ＵＳ２０ サムネイル画像信号
ＵＳ３０ ＤＣ成分信号
ＩＧ 圧縮画像信号

Claims (21)

1. 入力された画像信号を階調処理する視覚処理装置であって、
   前記画像信号の縮小画像を装置外部から取得し、前記階調処理の対象となる対象画像領域の対象画像データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記縮小画像から抽出する抽出手段と、
   前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
   導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、
   を備える視覚処理装置。
2. 前記縮小画像は、前記階調処理を実行する前に、予め装置外部に保持されている画像である、
   請求項１に記載の視覚処理装置。
3. 入力された圧縮画像信号を復号化して階調処理する視覚処理装置であって、
   前記階調処理の対象となる対象画像領域の対象画像データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記圧縮画像信号から抽出した低周波成分信号より生成する抽出手段と、
   前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
   導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、
   を備える視覚処理装置。
4. 前記階調変換特性導出手段は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出手段と、前記特徴パラメータ導出手段で導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定手段とを有している、請求項１または３に記載の視覚処理装置。
5. 前記特徴パラメータは、ヒストグラムであることを特徴とする、
   請求項４に記載の視覚処理装置。
6. 前記階調変換特性決定手段は、前記特徴パラメータを用いて予めテーブル化された前記階調変換特性を選択することを特徴とする、
   請求項４に記載の視覚処理装置。
7. 予めテーブル化された前記階調変換特性は、変更可能なことを特徴とする、
   請求項６に記載の視覚処理装置。
8. 前記階調変換特性の変更は、前記階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする、
   請求項７に記載の視覚処理装置。
9. 前記階調変換特性決定手段は、前記特徴パラメータを用いて予め決定された演算により前記階調変換特性を生成することを特徴とする、
   請求項４に記載の視覚処理装置。
10. 予め決定された前記演算は、変更可能なことを特徴とする、
    請求項９に記載の視覚処理装置。
11. 前記演算の変更は、前記演算の少なくとも一部を補正することによって実現されることを特徴とする、
    請求項１０に記載の視覚処理装置。
12. 前記階調変換特性は、複数の前記階調変換特性を内挿または外挿して得られるものであることを特徴とする、
    請求項４記載の視覚処理装置。
13. 入力された画像信号を階調処理する視覚処理方法であって、
    前記画像信号の縮小画像を外部から取得し、前記階調処理の対象となる対象画像領域の対象画像データと、対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記縮小画像から抽出する抽出ステップと、
    前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
    導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
    を備える視覚処理方法。
14. 入力された圧縮画像信号を復号化して階調処理する視覚処理方法であって、
    前記階調処理の対象となる対象画像領域の対象画像データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記圧縮画像信号から抽出した低周波成分信号より生成する抽出ステップと、
    前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
    導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
    を備える視覚処理方法。
15. 前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、
    請求項１３または１４に記載の視覚処理方法。
16. コンピュータを用いて、入力された画像信号を階調処理する視覚処理方法を行うための視覚処理プログラムであって、
    前記視覚処理方法は、
    前記画像信号の縮小画像を外部から取得し、前記階調処理の対象となる対象画像領域の対象画像データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記縮小画像から抽出する抽出ステップと、
    前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
    導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
    を備える視覚処理方法である、
    視覚処理プログラム。
17. コンピュータを用いて、入力された圧縮画像信号を復号化して階調処理する視覚処理方法を行うための視覚処理プログラムであって、
    前記視覚処理方法は、
    前記階調処理の対象となる対象画像領域の対象画像領域データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記圧縮画像信号から抽出した低周波成分信号より生成する抽出ステップと、
    前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
    導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
    を備える視覚処理方法である、
    視覚処理プログラム。
18. 前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、
    請求項１６または１７に記載の視覚処理プログラム。
19. 入力された画像信号を階調処理する半導体装置であって、
    前記画像信号の縮小画像を装置外部から取得し、前記階調処理の対象となる対象画像領域の対象画像領域データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記縮小画像から抽出する抽出部と、
    前記対象画像データと周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、
    導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、
    を備える半導体装置。
20. 入力された圧縮画像信号を復号化して階調処理する半導体装置であって、
    前記階調処理の対象となる対象画像領域の対象画像領域データと、前記対象画像領域の周辺に位置する周辺画像領域の周辺画像データとを、前記圧縮画像信号から抽出した低周波成分信号より生成する抽出部と、
    前記対象画像データと前記周辺画像データとを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、
    導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、
    を備える半導体装置。
21. 前記階調変換特性導出部は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出部と、前記特徴パラメータ導出部で導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定部とを有している、
    請求項１９または２１に記載の半導体装置。
    

Images