JP2008159069A5 - - Google Patents

Download PDF

Info

Publication number
JP2008159069A5
JP2008159069A5 JP2008012160A JP2008012160A JP2008159069A5 JP 2008159069 A5 JP2008159069 A5 JP 2008159069A5 JP 2008012160 A JP2008012160 A JP 2008012160A JP 2008012160 A JP2008012160 A JP 2008012160A JP 2008159069 A5 JP2008159069 A5 JP 2008159069A5
Authority
JP
Japan
Prior art keywords
signal
value
visual processing
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008012160A
Other languages
English (en)
Other versions
JP4481333B2 (ja
JP2008159069A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2008012160A priority Critical patent/JP4481333B2/ja
Priority claimed from JP2008012160A external-priority patent/JP4481333B2/ja
Publication of JP2008159069A publication Critical patent/JP2008159069A/ja
Publication of JP2008159069A5 publication Critical patent/JP2008159069A5/ja
Application granted granted Critical
Publication of JP4481333B2 publication Critical patent/JP4481333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ
本発明は、視覚処理装置、特に、画像信号の空間処理または階調処理などの視覚処理を行う視覚処理装置に関する。また別の本発明は、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末に関する。
原画像の画像信号の視覚処理として、空間処理と階調処理とが知られている。
空間処理とは、フィルタ適用の対象となる着目画素の周辺の画素を用い、着目画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ(DR)圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分(画像の鮮鋭成分)を原画像に加え、画像の鮮鋭化が行われる。DR圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。
階調処理とは、着目画素の周辺の画素とは無関係に、着目画素毎にルックアップテーブル(LUT)を用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高い(面積の大きい)階調レベルの階調を立てるLUTを用いて画素値の変換が行われる。LUTを用いた階調処理として、原画像全体に1つのLUTを決定して用いる階調処理(ヒストグラム均等化法)と、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる階調処理(局所的ヒストグラム均等化法)とが知られている(例えば、特許文献1参照。)。
図104〜図107を用いて、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる階調処理について説明する。
図104に、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる視覚処理装置300を示す。視覚処理装置300は、入力信号ISとして入力される原画像を複数の画像領域Sm(1≦m≦n:nは原画像の分割数)に分割する画像分割部301と、それぞれの画像領域Smに対して階調変換曲線Cmを導出する階調変換曲線導出部310と、階調変換曲線Cmをロードしそれぞれの画像領域Smに対して階調処理した出力信号OSを出力する階調処理部304とを備えている。階調変換曲線導出部310は、それぞれの画像領域Sm内の明度ヒストグラムHmを作成するヒストグラム作成部302と、作成された明度ヒストグラムHmからそれぞれの画像領域Smに対する階調変換曲線Cmを作成する階調曲線作成部303とから構成される。
図105〜図107を用いて、各部の動作について説明を加える。画像分割部301は、入力信号ISとして入力される原画像を複数(n個)の画像領域に分割する(図105(a)参照。)。ヒストグラム作成部302は、それぞれの画像領域Smの明度ヒストグラムHmを作成する(図106参照。)。それぞれの明度ヒストグラムHmは、画像領域Sm内の全画素の明度値の分布状態を示している。すなわち、図106(a)〜(d)に示す明度ヒストグラムHmにおいて、横軸は入力信号ISの明度レベルを、縦軸は画素数を示している。階調曲線作成部303は、明度ヒストグラムHmの「画素数」を明度の順に累積し、この累積曲線を階調変換曲線Cmとする(図107参照。)。図107に示す階調変換曲線Cmにおいて、横軸は入力信号ISにおける画像領域Smの画素の明度値を、縦軸は出力信号OSにおける画像領域Smの画素の明度値を示している。階調処理部304は、階調変換曲線Cmをロードし階調変換曲線Cmに基づいて、入力信号ISにおける画像領域Smの画素の明度値を変換する。こうすることにより、各ブロックにおいて出現頻度の高い階調の傾きを立てることとなり、ブロックごとのコントラスト感が向上するものである。
一方、空間処理と階調処理とを組み合わせた視覚処理についても知られている。図108〜図109を用いて、空間処理と階調処理とを組み合わせた従来の視覚処理について説明する。
図108にアンシャープマスキングを利用したエッジ強調、コントラスト強調を行う視覚処理装置400を示す。図108に示す視覚処理装置400は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する空間処理部401と、入力信号ISからアンシャープ信号USを減算し差分信号DSを出力する減算部402と、差分信号DSの強調処理を行い強調処理信号TSを出力する強調処理部403と、入力信号ISと強調処理信号TSとを加算し出力信号OSを出力する加算部404とを備えている。
ここで、強調処理は、差分信号DSに対して、線形あるいは非線形の強調関数を用いて行われる。図109に強調関数R1〜R3を示す。図109の横軸は、差分信号DS、縦軸は、強調処理信号TSを表している。強調関数R1は、差分信号DSに対して線形な強調関数である。強調関数R1は、例えば、R1(x)=0.5x(xは、差分信号DSの値)で表されるゲイン調整関数である。強調関数R2は、差分信号DSに対して非線形な強調関数であり、過度のコントラストを抑制する関数である。すなわち、絶対値の大きい入力x(xは、差分信号DSの値)に対して、より大きい抑制効果(より大きい抑制率による抑制効果)を発揮する。例えば、強調関数R2は、絶対値のより大きい入力xに対して、より小さい傾きを有するグラフで表される。強調関数R3は、差分信号DSに対して非線形な強調関数であり、小振幅のノイズ成分を抑制する。すなわち、絶対値の小さい入力x(xは、差分信号DSの値)に対して、より大きい抑制効果(より大きい抑制率による抑制効果)を発揮する。例えば、強調関数R3は、絶対値のより大きい入力xに対して、より大きい傾きを有するグラフで表される。強調処理部403では、これらの強調関数R1〜R3のいずれかが用いられている。
差分信号DSは、入力信号ISの鮮鋭成分である。視覚処理装置400では、差分信号DSの強度を変換し、入力信号ISに加算する。このため、出力信号OSでは、入力信号ISのエッジ、コントラストが強調される。
図110に、局所コントラスト(インテンシティ)の改善を行う視覚処理装置406を示す(例えば、特許文献2参照。)。図110に示す視覚処理装置406は、空間処理部407と、減算部408と、第1の変換部409と、乗算部410と、第2の変換部411と、加算部412とを備えている。空間処理部407は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する。減算部408は、入力信号ISからアンシャープ信号USを減算し差分信号DSを出力する。第1の変換部409は、アンシャープ信号USの強度に基づいて、差分信号DSを局所的に増幅する増幅係数信号GSを出力する。乗算部410は、差分信号DSに増幅係数信号GSを乗算し、差分信号DSを局所的に増幅したコントラスト強調信号HSを出力する。第2の変換部411は、アンシャープ信号USの強度を局所的に修正し、修正アンシャープ信号ASを出力する。加算部412は、コントラスト強調信号HSと修正アンシャープ信号ASとを加算し、出力信号OSを出力する。
増幅係数信号GSは、入力信号ISにおいてコントラストが適切で無い部分について、局所的にコントラストを適正化する非線形の重み係数である。このため、入力信号ISにおいてコントラストの適切な部分は、そのまま出力され、適切で無い部分は、適正化して出力される。
図111に、ダイナミックレンジの圧縮を行う視覚処理装置416を示す(例えば、特許文献3参照。)。図111に示す視覚処理装置416は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する空間処理部417と、アンシャープ信号USをLUTを用いて反転変換処理したLUT処理信号LSを出力するLUT演算部418と、入力信号ISとLUT処理信号LSとを加算し出力信号OSを出力する加算部419とを備えている。
LUT処理信号LSは、入力信号ISに加算され、入力信号ISの低周波成分(空間処理部417のカットオフ周波数より低い周波数成分)のダイナミックレンジを圧縮する。このため、入力信号ISのダイナミックレンジを圧縮しつつ、高周波成分は保持される。
特開2000−57335号公報(第3頁,第13図〜第16図) 特許第2832954号公報(第2頁,第5図) 特開2001−298619号公報(第3頁,第9図)
従来、階調処理と空間処理とを組み合わせた視覚処理を行う場合、異なる効果の視覚処理を実現するためには、例えば、図108,図110,図111のようにそれぞれ独立した回路で構成する必要がある。このため、実現される視覚処理に合わせて、専用のLSI設計が必要となり、回路規模が大きくなるという不都合がある。
そこで、本発明では、実現される視覚処理に依存しないハード構成を有する視覚処理装置を提供することを課題とする。
発明1の視覚処理装置は、入力信号処理手段と、視覚処理手段とを備えている。入力信号処理手段は、入力された画像信号に対して所定の処理を行い、処理信号を出力する。視覚処理手段は、入力された画像信号および処理信号と、視覚処理された画像信号である出力信号との変換関係を与える変換手段に基づいて、入力された画像信号を変換し、出力信号を出力する。
ここで、所定の処理とは、例えば、画像信号に対する直接的あるいは間接的な処理であって、空間処理や階調処理などの画像信号の画素値に変換を加える処理を含んでいる。
本発明の視覚処理装置では、画像信号および処理信号から視覚処理された出力信号への変換関係を与える変換手段を用いて視覚処理を行う。ここで、変換手段とは、例えば、画像信号と処理信号との値に対する出力信号の値を格納するルックアップテーブル(LUT)や、画像信号と処理信号との値に対して出力信号を出力するためのマトリクスデータなどを含む演算手段などである。このため、変換手段が実現する機能に依存しないハード構成を実現することが可能となる。すなわち、装置全体として実現される視覚処理に依存しないハードウェア構成を実現することが可能となる。
発明2の視覚処理装置は、発明1の視覚処理装置であって、処理信号は、画像信号が含む着目画素と着目画素の周囲画素とに対して所定の処理を行った信号である。
ここで、所定の処理とは、例えば、着目画素に対して周囲画素を用いた空間処理などであり、着目画素と周囲画素との平均値、最大値あるいは最小値などを導出する処理である。
本発明の視覚処理装置では、例えば、同じ値の着目画素に対する視覚処理であっても、周囲画素の影響により、異なる視覚処理を実現することが可能となる。
発明3の視覚処理装置は、発明1の視覚処理装置であって、変換手段が与える変換関係は、画像信号の少なくとも一部または処理信号の少なくとも一部と、出力信号の少なくとも一部とが非線形となる関係である。
ここで、非線形の関係とは、例えば、出力信号の少なくとも一部の値が、画像信号の少なくとも一部の値または処理信号の少なくとも一部の値を変数とする非線形の関数で表される、あるいは関数により定式化することが難しいことなどを意味している。
本発明の視覚処理装置では、例えば、画像信号の視覚特性にあった視覚処理あるいは出力信号を出力する機器の非線形特性にあった視覚処理を実現することなどが可能となる。
発明4の視覚処理装置は、発明3の視覚処理装置であって、変換手段が与える変換関係は、画像信号および処理信号の両方と、出力信号とが非線形となる関係である。
ここで、画像信号および処理信号の両方と、出力信号とが非線形の関係にあるとは、例えば、出力信号の値が、画像信号の値と処理信号の値とを2つの変数とする非線形の関数で表される、あるいは関数により定式化することが難しいことなどを意味している。
本発明の視覚処理装置では、例えば、画像信号の値が同じであっても、処理信号の値が異なる場合には、処理信号の値に応じて異なる視覚処理を実現することが可能となる。
発明5の視覚処理装置は、発明1〜4のいずれかの視覚処理装置であって、変換手段が与える変換関係は、画像信号と処理信号とから算出された値を強調する演算に基づいて定められている。
ここで、画像信号と処理信号とから算出された値とは、例えば、画像信号と処理信号との四則演算で得られる値、あるいは、画像信号や処理信号をある関数で変換した値を演算することにより得られる値などである。強調する演算とは、例えば、ゲインを調整する演算、過度のコントラストを抑制する演算、小振幅のノイズ成分を抑制する演算などである。
本発明の視覚処理装置では、画像信号と処理信号とから算出された値を強調することが可能となる。
発明6の視覚処理装置は、発明5の視覚処理装置であって、強調する演算は、非線形の関数である。
本発明の視覚処理装置では、例えば、画像信号の視覚特性にあった強調、あるいは出力信号を出力する機器の非線形特性にあった強調を実現することなどが可能となる。
発明7の視覚処理装置は、発明5または6の視覚処理装置であって、強調する演算は、画像信号または処理信号を変換した値を用いる変換である。
発明8の視覚処理装置は、発明5〜7のいずれかの視覚処理装置であって、強調する演算は、画像信号と処理信号とを変換したそれぞれの変換値の差を強調する強調関数である。
ここで、強調関数とは、例えば、ゲインを調整する関数、過度のコントラストを抑制する関数、小振幅のノイズ成分を抑制する関数などである。
本発明の視覚処理装置では、画像信号と処理信号とを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
発明9の視覚処理装置は、発明5〜8のいずれかの視覚処理装置であって、強調する演算は、画像信号と処理信号との比を強調する強調関数である。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比は、画像信号のシャープ成分を表している。このため、例えば、シャープ成分を強調する視覚処理を行うことが可能となる。
発明10の視覚処理装置は、発明1または2の視覚処理装置であって、変換手段が与える変換関係は、明るさを変える変換に基づいて定められている。
本発明の視覚処理装置では、画像信号の明るさを変える視覚処理を実現することが可能となる。
発明11の視覚処理装置は、発明10の視覚処理装置であって、明るさを変える変換は、画像信号のレベルまたはゲインを変化させる変換である。
ここで、画像信号のレベルを変化させる、とは、例えば、画像信号にオフセットを与えること、画像信号のゲインを変化させること、その他画像信号を変数として演算することなどにより、画像信号の値を変化させることを意味している。画像信号のゲインを変化させる、とは、画像信号に乗算される係数を変化させることを意味している。
発明12の視覚処理装置は、発明10の視覚処理装置であって、明るさを変える変換は、処理信号に基づいて定められる変換である。
本発明の視覚処理装置では、例えば、画像信号の値が同じであっても、処理信号の値が異なる場合には、処理信号の値に応じて、異なる変換を実現することが可能となる。
発明13の視覚処理装置は、発明10の視覚処理装置だって、明るさを変える変換は、処理信号に対して単調減少する出力信号を出力する変換である。
本発明の視覚処理装置では、例えば、処理信号が空間処理された画像信号などである場合には、画像中の暗くて面積の大きい部分は、明るく変換され、画像中の明るくて面積の大きい部分は、暗く変換される。このため、例えば、逆光補正や白飛びなどを補正することが可能となる。
発明14の視覚処理装置は、発明1〜13のいずれかの視覚処理装置であって、変換手段は、画像信号と出力信号との関係を、複数の階調変換曲線からなる階調変換曲線群として格納する。
ここで、階調変換曲線群とは、画像信号の輝度、明度といった画素値に階調処理を施す階調変換曲線の集合である。
本発明の視覚処理装置では、複数の階調変換曲線から選択された階調変換曲線を用いて、画像信号の階調処理を行うことが可能となる。このため、より適切な階調処理を行うことが可能となる。
発明15の視覚処理装置は、発明14の視覚処理装置であって、処理信号は、複数の階調変換曲線群から対応する階調変換曲線を選択するための信号である。
ここで、処理信号は、階調変換曲線を選択するための信号であり、例えば、空間処理された画像信号などである。
本発明の視覚処理装置では、処理信号により選択された階調変換曲線を用いて、画像信号の階調処理を行うことが可能となる。
発明16の視覚処理装置は、発明15の視覚処理装置であって、処理信号の値は、複数の階調変換曲線群が含む少なくとも1つの階調変換曲線と関連づけられている。
ここで、処理信号の値により、階調処理に用いられる階調変換曲線が少なくとも1つ選択される。
本発明の視覚処理装置では、処理信号の値により、階調変換曲線が少なくとも1つ選択される。さらに、選択された階調変換曲線を用いて、画像信号の階調処理が行われる。
発明17の視覚処理装置は、発明1〜16のいずれかの視覚処理装置であって、変換手段は、ルックアップテーブル(以下、LUTという)で構成され、LUTには、所定の演算によってあらかじめ作成されるプロファイルデータが登録されている。
本発明の視覚処理装置では、あらかじめ作成されたプロファイルデータが登録されたLUTを用いて、視覚処理が行われる。視覚処理に際して、プロファイルデータを作成するなどの処理は必要なく、視覚処理の実行速度の高速化が可能となる。
発明18の視覚処理装置は、発明17の視覚処理装置であって、LUTは、プロファイルデータの登録により変更可能である。
ここで、プロファイルデータとは、異なる視覚処理を実現するLUTのデータである。
本発明の視覚処理装置では、プロファイルデータの登録により、実現される視覚処理を様々に変更することが可能となる。すなわち、視覚処理装置のハードウェア構成を変更することなく、様々な視覚処理を実現することが可能となる。
発明19の視覚処理装置は、発明17または18の視覚処理装置であって、プロファイルデータを視覚処理手段に登録させるためのプロファイルデータ登録手段をさらに備えている。
ここで、プロファイルデータ登録手段は、あらかじめ算出されたプロファイルデータを視覚処理に応じて視覚処理手段に登録する。
本発明の視覚処理装置では、プロファイルデータの登録により、実現される視覚処理を様々に変更することが可能となる。すなわち、視覚処理装置のハードウェア構成を変更することなく、様々な視覚処理を実現することが可能となる。
発明20の視覚処理装置は、発明19の視覚処理装置であって、視覚処理手段は、外部の装置により作成されたプロファイルデータを取得する。
プロファイルデータは、外部の装置によりあらかじめ作成されている。外部の装置とは、例えば、プロファイルデータの作成が可能なプログラムとCPUを有する計算機などである。視覚処理手段は、プロファイルデータを取得する。取得は、例えば、ネットワークを介して、あるいは記録媒体を介して、行われる。視覚処理手段は、取得したプロファイルデータを用いて、視覚処理を実行する。
本発明の視覚処理装置では、外部の装置により作成されたプロファイルデータを用いて、視覚処理を実行することが可能となる。
発明21の視覚処理装置は、発明20の視覚処理装置であって、取得されたプロファイルデータにより、LUTは変更可能である。
本発明の視覚処理装置では、取得されたプロファイルデータは、LUTとして新たに登録される。これにより、LUTを変更し、異なる視覚処理を実現することが可能となる。
発明22の視覚処理装置は、発明20または21の視覚処理装置であって、視覚処理手段は、通信網を介してプロファイルデータを取得する。
ここで、通信網とは、例えば、専用回線、公衆回線、インターネット、LANなどの通信が可能な接続手段であり、有線であっても無線であってもよい。
本発明の視覚処理装置では、通信網を介して取得されたプロファイルデータを用いて、視覚処理を実現することが可能となる。
発明23の視覚処理装置は、発明17の視覚処理装置であって、プロファイルデータを作成するプロファイルデータ作成手段をさらに備えている。
プロファイルデータ作成手段は、例えば、画像信号や処理信号などの特性を用いて、プロファイルデータの作成を行う。
本発明の視覚処理装置では、プロファイルデータ作成手段により作成されたプロファイルデータを用いて、視覚処理を実現することが可能となる。
発明24の視覚処理装置は、発明23の視覚処理装置であって、プロファイルデータ作成手段は、画像信号の階調特性のヒストグラムに基づいて、プロファイルデータを作成する。
本発明の視覚処理装置では、画像信号の階調特性のヒストグラムに基づいて作成されたプロファイルデータを用いて、視覚処理が実現される。このため、画像信号の特性に応じて、適切な視覚処理を実現することが可能となる。
発明25の視覚処理装置は、発明17の視覚処理装置であって、LUTに登録されるプロファイルデータは、所定の条件に応じて切り替えられる。
本発明の視覚処理装置では、所定の条件に応じて切り替えられたプロファイルデータを用いて、視覚処理が実現される。このため、より適切な視覚処理を実現することが可能となる。
発明26の視覚処理装置は、発明25の視覚処理装置であって、所定の条件とは、明るさに関する条件である。
本発明の視覚処理装置では、明るさに関する条件のもとで、より適切な視覚処理を実現することが可能となる。
発明27の視覚処理装置は、発明26の視覚処理装置であって、明るさは、画像信号の明るさである。
本発明の視覚処理装置では、画像信号の明るさに関する条件のもとで、より適切な視覚処理を実現することが可能となる。
発明28の視覚処理装置は、発明27の視覚処理装置であって、画像信号の明るさを判定する明度判定手段をさらに備えている。LUTに登録されるプロファイルデータは、明度判定手段の判定結果に応じて切り替えられる。
ここで、明度判定手段は、例えば、画像信号の輝度、明度などの画素値に基づいて、画像信号の明るさを判定する。さらに、判定結果に応じて、プロファイルデータが切り替ええられる。
本発明の視覚処理装置では、画像信号の明るさに応じて、より適切な視覚処理を実現することが可能となる。
発明29の視覚処理装置は、発明26の視覚処理装置であって、明るさに関する条件を入力させる明度入力手段をさらに備えている。LUTに登録されるプロファイルデータは、明度入力手段の入力結果に応じて切り替えられる。
ここで、明度入力手段は、例えば、明るさに関する条件をユーザに入力させる有線あるいは無線で接続されるスイッチなどである。
本発明の視覚処理装置では、ユーザが明るさに関する条件を判断して、明度入力手段を介して、プロファイルデータの切り替えを行うことが可能となる。このため、よりユーザにとって適切な視覚処理を実現することが可能となる。
発明30の視覚処理装置は、発明29の視覚処理装置であって、明度入力手段は、出力信号の出力環境の明るさ、あるいは入力信号の入力環境の明るさを入力させる。
ここで、出力環境の明るさとは、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさや、プリンタ用紙など出力信号を出力する媒体自体の明るさなどである。入力環境の明るさとは、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどである。
本発明の視覚処理装置では、例えば、ユーザが部屋の明るさなどに関する条件を判断して、明度入力手段を介して、プロファイルデータの切り替えを行うことが可能となる。このため、よりユーザにとって適切な視覚処理を実現することが可能となる。
発明31の視覚処理装置は、発明26の視覚処理装置であって、明るさを少なくとも2種類検出する明度検出手段をさらに備えている。LUTに登録されるプロファイルデータは、明度検出手段の検出結果に応じて切り替えられる。
ここで、明度検出手段とは、例えば、画像信号の輝度、明度などの画素値に基づいて、画像信号の明るさを検出する手段や、フォトセンサなど出力環境あるいは入力環境の明るさを検出する手段や、ユーザにより入力された明るさに関する条件を検出する手段などである。なお、出力環境の明るさとは、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさや、プリンタ用紙など出力信号を出力する媒体自体の明るさなどである。入力環境の明るさとは、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどである。
本発明の視覚処理装置では、明るさを少なくとも2種類検出し、それらに応じてプロファイルデータの切り替えが行われる。このため、より適切な視覚処理を実現することが可能となる。
発明32の視覚処理装置は、発明31の視覚処理装置であって、明度検出手段が検出する明るさは、画像信号の明るさと、出力信号の出力環境の明るさ、あるいは入力信号の入力環境の明るさとを含む。
本発明の視覚処理装置では、画像信号の明るさと、出力信号の出力環境の明るさ、あるいは入力信号の入力環境の明るさとに応じて、より適切な視覚処理を実現することが可能となる。
発明33の視覚処理装置は、発明25の視覚処理装置であって、LUTに登録されるプロファイルデータの選択を行わせるプロファイルデータ選択手段をさらに備えている。LUTに登録されるプロファイルデータは、プロファイルデータ選択手段の選択結果に応じて切り替えられる。
プロファイルデータ選択手段は、ユーザにプロファイルデータの選択を行わせる。さらに、視覚処理装置では、選択されたプロファイルデータを用いて、視覚処理が実現される。
本発明の視覚処理装置では、ユーザが好みに応じたプロファイルを選択して視覚処理を実現することが可能となる。
発明34の視覚処理装置は、発明33の視覚処理装置であって、プロファイルデータ選択手段は、プロファイルの選択を行うための入力装置である。
ここで、入力装置は、例えば、視覚処理装置に内蔵、あるいは有線または無線などで接続されたスイッチなどである。
本発明の視覚処理装置では、ユーザは、入力装置を用いて、好みのプロファイルを選択することが可能となる。
発明35の視覚処理装置は、発明25の視覚処理装置であって、画像信号の画像特性を判断する画像特性判断手段をさらに備えている。LUTに登録されるプロファイルデータは、画像特性判断手段の判断結果に応じて切り替えられる。
画像特性判断手段は、画像信号の輝度、明度、あるいは空間周波数などの画像特性を判断する。視覚処理装置は、画像特性判断手段の判断結果に応じて切り替えられたプロファイルデータを用いて、視覚処理を実現する。
本発明の視覚処理装置では、画像特性判断手段が画像特性に応じたプロファイルデータを自動的に選択する。このため、画像信号に対してより適切なプロファイルデータを用いて視覚処理を実現することが可能となる。
発明36の視覚処理装置は、発明25の視覚処理装置であって、ユーザを識別するユーザ識別手段をさらに備えている。LUTに登録されるプロファイルデータは、ユーザ識別手段の識別結果に応じて切り替えられる。
ユーザ識別手段は、例えば、ユーザを識別するための入力装置、あるいはカメラなどである。
本発明の視覚処理装置では、ユーザ識別手段が識別したユーザに適した視覚処理を実現することが可能となる。
発明37の視覚処理装置は、発明17の視覚処理装置であって、視覚処理手段は、LUTの格納する値を補間演算して出力信号を出力する。
LUTは、所定の間隔の画像信号の値あるいは処理信号の値に対して、値を格納している。入力された画像信号の値あるいは処理信号の値を含む区間に対応するLUTの値を補間演算することにより、入力された画像信号の値あるいは処理信号の値に対する出力信号の値が出力される。
本発明の視覚処理装置では、画像信号あるいは処理信号が取りうる全ての値に対してLUTが値を格納している必要がなく、LUTのための記憶容量を削減することが可能となる。
発明38の視覚処理装置は、発明37の視覚処理装置であって、補間演算は、2進数で表された画像信号あるいは処理信号の少なくとも一方の下位ビットの値に基づいた線形補間である。
LUTは、画像信号あるいは処理信号の上位ビットの値に対応する値を格納している。視覚処理手段は、入力された画像信号あるいは処理信号の値を含む区間に対応するLUTの値を、画像信号あるいは処理信号の下位ビットの値で線形補間することにより、出力信号を出力する。
本発明の視覚処理装置では、より少ない記憶容量でLUTを記憶しつつ、より正確な視覚処理を実現することが可能となる。
発明39の視覚処理装置は、発明1〜38のいずれかの視覚処理装置であって、入力信号処理手段は、画像信号に対して空間処理を行う。
本発明の視覚処理装置では、画像信号と空間処理された画像信号とを用いて、LUTにより視覚処理を実現することが可能となる。
発明40の視覚処理装置は、発明39の視覚処理装置であって、入力信号処理手段は、画像信号からアンシャープ信号を生成する。
ここで、アンシャープ信号とは、画像信号に対して直接的あるいは間接的に空間処理を施した信号を意味している。
本発明の視覚処理装置では、画像信号とアンシャープ信号とを用いて、LUTにより視覚処理を実現することが可能となる。
発明41の視覚処理装置は、発明39または40の視覚処理装置であって、空間処理では、画像信号の平均値、最大値あるいは最小値が導出される。
ここで、平均値とは、例えば、画像信号の単純平均でもよいし、加重平均でもよい。
本発明の視覚処理装置では、画像信号と、画像信号の平均値、最大値あるいは最小値とを用いて、LUTにより視覚処理を実現することが可能となる。
発明42の視覚処理装置は、発明1〜41のいずれかの視覚処理装置であって、視覚処理手段は、入力された画像信号及び処理信号を用いて、空間処理及び階調処理を行う。
本発明の視覚処理装置では、LUTを用いて、空間処理および階調処理を同時に実現することが可能となる。
発明43の視覚処理方法は、入力信号処理ステップと、視覚処理ステップとを備えている。入力信号処理ステップは、入力された画像信号に対して所定の処理を行い、処理信号を出力する。視覚処理ステップは、入力された画像信号および処理信号と、視覚処理された画像信号である出力信号との関係を与える変換手段に基づいて、入力された画像信号を変換し、出力信号を出力する。
ここで、所定の処理とは、例えば、画像信号に対する直接的あるいは間接的な処理であって、空間処理や階調処理などの画像信号の画素値に変換を加える処理を含んでいる。
本発明の視覚処理方法では、画像信号および処理信号と、視覚処理された出力信号との変換関係を与える変換手段を用いて視覚処理を行う。このため、変換手段以外のハードあるいはソフトを汎用的に用いることが可能となる。すなわち、視覚処理の機能に依存しないハードウェア構成あるいはソフトウェア構成を採用することが可能となる。このため、付随的な効果として、ハードウェアの低コスト化、ソフトウェアの汎用化などが可能となる。
発明44の視覚処理プログラムは、コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、入力信号処理ステップと、視覚処理ステップとを備える視覚処理方法をコンピュータに行わせるものである。入力信号処理ステップは、入力された画像信号に対して所定の処理を行い、処理信号を出力する。視覚処理ステップは、入力された画像信号および処理信号と、視覚処理された画像信号である出力信号との関係を与える変換手段に基づいて、入力された画像信号を変換し、出力信号を出力する。
ここで、所定の処理とは、例えば、画像信号に対する直接的あるいは間接的な処理であって、空間処理や階調処理などの画像信号の画素値に変換を加える処理を含んでいる。
本発明の視覚処理プログラムでは、画像信号および処理信号と、視覚処理された出力信号との変換関係を与える変換手段を用いて視覚処理を行う。このため、変換手段以外のソフトを汎用的に用いることが可能となる。すなわち、視覚処理の機能に依存しないソフトウェア構成を採用することが可能となる。このため、付随的な効果として、ソフトウェアの汎用化などが可能となる。
発明45の集積回路は、発明1〜42のいずれかの視覚処理装置を含む。
本発明の集積回路では、発明1〜42のいずれかの視覚処理装置と同様の効果を得ることが可能となる。
発明46の表示装置は、発明1〜42のいずれかの視覚処理装置と、視覚処理装置から出力される出力信号の表示を行う表示手段とを備えている。
本発明の表示装置では、発明1〜42のいずれかの視覚処理装置と同様の効果を得ることが可能となる。
発明47の撮影装置は、画像の撮影を行う撮影手段と、撮影手段により撮影された画像を画像信号として視覚処理を行う発明1〜42のいずれかの視覚処理装置とを備えている。
本発明の撮影装置では、発明1〜42のいずれかの視覚処理装置と同様の効果を得ることが可能となる。
発明48の携帯情報端末は、通信あるいは放送された画像データを受信するデータ受信手段と、受信された画像データを画像信号として視覚処理を行う発明1〜42のいずれかの視覚処理装置と、視覚処理装置により視覚処理された画像信号の表示を行う表示手段とを備えている。
本発明の携帯情報端末では、発明1〜42のいずれかの視覚処理装置と同様の効果を得ることが可能となる。
発明49の携帯情報端末は、画像の撮影を行う撮影手段と、撮影手段により撮影された画像を画像信号として視覚処理を行う発明1〜42のいずれかの視覚処理装置と、視覚処理された画像信号を送信するデータ送信手段とを備えている。
本発明の携帯情報端末では、発明1〜42のいずれかの視覚処理装置と同様の効果を得ることが可能となる。
本発明の視覚処理装置により、実現される視覚処理に依存しないハード構成を有する視覚処理装置を提供することが可能となる。
視覚処理装置1の構造を説明するブロック図(第1実施形態) プロファイルデータの一例(第1実施形態) 視覚処理方法を説明するフローチャート(第1実施形態) 視覚処理部500の構造を説明するブロック図(第1実施形態) プロファイルデータの一例(第1実施形態) 視覚処理装置520の構造を説明するブロック図(第1実施形態) 視覚処理装置525の構造を説明するブロック図(第1実施形態) 視覚処理装置530の構造を説明するブロック図(第1実施形態) プロファイルデータ登録装置701の構造を説明するブロック図(第1実施形態) 視覚処理プロファイル作成方法について説明するフローチャート(第1実施形態) 視覚処理装置901の構造を説明するブロック図(第1実施形態) 変更度関数fk(z)を変化させた場合の入力信号IS’と出力信号OS’との関係を示すグラフ(第1実施形態) 変更度関数f1(z)およびf2(z)を示すグラフ(第1実施形態) 視覚処理装置905の構造を説明するブロック図(第1実施形態) 視覚処理装置11の構造を説明するブロック図(第1実施形態) 視覚処理装置21の構造を説明するブロック図(第1実施形態) ダイナミックレンジ圧縮関数F4について説明する説明図(第1実施形態) 強調関数F5について説明する説明図(第1実施形態) 視覚処理装置31の構造を説明するブロック図(第1実施形態) 視覚処理装置41の構造を説明するブロック図(第1実施形態) 視覚処理装置51の構造を説明するブロック図(第1実施形態) 視覚処理装置61の構造を説明するブロック図(第1実施形態) 視覚処理装置71の構造を説明するブロック図(第1実施形態) 視覚処理装置600の構造を説明するブロック図(第2実施形態) 式M20による変換を説明するグラフ(第2実施形態) 式M2による変換を説明するグラフ(第2実施形態) 式M21による変換を説明するグラフ(第2実施形態) 視覚処理方法について説明するフローチャート(第2実施形態) 関数α1(A)の傾向を示すグラフ(第2実施形態) 関数α2(A)の傾向を示すグラフ(第2実施形態) 関数α3(A)の傾向を示すグラフ(第2実施形態) 関数α4(A,B)の傾向を示すグラフ(第2実施形態) 変形例としての実コントラスト設定部605の構造を説明するブロック図(第2実施形態) 変形例としての実コントラスト設定部605の構造を説明するブロック図(第2実施形態) 制御部605eの動作を説明するフローチャート(第2実施形態) 色差補正処理部608を備える視覚処理装置600の構造を説明するブロック図(第2実施形態) 色差補正処理の概要を説明する説明図(第2実施形態) 色差補正処理部608における推定演算について説明するフローチャート(第2実施形態) 変形例としての視覚処理装置600の構造を説明するブロック図(第2実施形態) 視覚処理装置910の構造を説明するブロック図(第3実施形態) 視覚処理装置920の構造を説明するブロック図(第3実施形態) 視覚処理装置920’の構造を説明するブロック図(第3実施形態) 視覚処理装置920”の構造を説明するブロック図(第3実施形態) 視覚処理装置101の構造を説明するブロック図(第4実施形態) 画像領域Pmについて説明する説明図(第4実施形態) 明度ヒストグラムHmについて説明する説明図(第4実施形態) 階調変換曲線Cmについて説明する説明図(第4実施形態) 視覚処理方法について説明するフローチャート(第4実施形態) 視覚処理装置111の構造を説明するブロック図(第5実施形態) 階調変換曲線候補G1〜Gpについて説明する説明図(第5実施形態) 2次元LUT141について説明する説明図(第5実施形態) 階調補正部115の動作について説明する説明図(第5実施形態) 視覚処理方法について説明するフローチャート(第5実施形態) 階調変換曲線Cmの選択の変形例について説明する説明図(第5実施形態) 変形例としての階調処理について説明する説明図(第5実施形態) 階調処理実行部144の構造を説明するブロック図(第5実施形態) 曲線パラメータP1およびP2と、階調変換曲線候補G1〜Gpとの関係について説明する説明図(第5実施形態) 曲線パラメータP1およびP2と、選択信号Smとの関係について説明する説明図(第5実施形態) 曲線パラメータP1およびP2と、選択信号Smとの関係について説明する説明図(第5実施形態) 曲線パラメータP1およびP2と、階調変換曲線候補G1〜Gpとの関係について説明する説明図(第5実施形態) 曲線パラメータP1およびP2と、選択信号Smとの関係について説明する説明図(第5実施形態) 視覚処理装置121の構造を説明するブロック図(第6実施形態) 選択信号補正部124の動作について説明する説明図(第6実施形態) 視覚処理方法について説明するフローチャート(第6実施形態) 視覚処理装置161の構造を説明するブロック図(第7実施形態) 空間処理部162の空間処理について説明する説明図(第7実施形態) 重み係数[Wij]について説明する表(第7実施形態) 視覚処理装置161による視覚処理の効果を説明する説明図(第7実施形態) 視覚処理装置961の構造を説明するブロック図(第7実施形態) 空間処理部962の空間処理について説明する説明図(第7実施形態) 重み係数[Wij]について説明する表(第7実施形態) コンテンツ供給システムの全体構成について説明するブロック図(第9実施形態) 本発明の視覚処理装置を搭載する携帯電話の例(第9実施形態) 携帯電話の構成について説明するブロック図(第9実施形態) ディジタル放送用システムの例(第9実施形態) 表示装置720の構造を説明するブロック図(第10実施形態) 画像処理装置723の構造を説明するブロック図(第10実施形態) プロファイル情報出力部747の構造を説明するブロック図(第10実施形態) カラー視覚処理装置745の構造を説明するブロック図(第10実施形態) 視覚処理装置753の構造を説明するブロック図(第10実施形態) 変形例としての視覚処理装置753の動作について説明する説明図(第10実施形態) 視覚処理装置753aの構造を説明するブロック図(第10実施形態) 視覚処理装置753bの構造を説明するブロック図(第10実施形態) 視覚処理装置753cの構造を説明するブロック図(第10実施形態) 画像処理装置770の構造を説明するブロック図(第10実施形態) ユーザ入力部772の構造を説明するブロック図(第10実施形態) 画像処理装置800の構造を説明するブロック図(第10実施形態) 入力画像信号d362のフォーマットの一例(第10実施形態) 属性判定部802の構造を説明するブロック図(第10実施形態) 入力画像信号d362のフォーマットの一例(第10実施形態) 入力画像信号d362のフォーマットの一例(第10実施形態) 入力画像信号d362のフォーマットの一例(第10実施形態) 入力画像信号d362のフォーマットの一例(第10実施形態) 入力画像信号d362のフォーマットの一例(第10実施形態) 撮影装置820の構造を説明するブロック図(第11実施形態) 画像処理装置832の構造を説明するブロック図(第11実施形態) 画像処理装置886の構造を説明するブロック図(第11実施形態) 出力画像信号d361のフォーマットの一例(第11実施形態) 画像処理装置894の構造を説明するブロック図(第11実施形態) 画像処理装置896の構造を説明するブロック図(第11実施形態) 画像処理装置898の構造を説明するブロック図(第11実施形態) 画像処理装置870の構造を説明するブロック図(第11実施形態) 画像処理装置870の動作について説明する説明図(第11実施形態) 視覚処理装置300の構造を説明するブロック図(背景技術) 画像領域Smについて説明する説明図(背景技術) 明度ヒストグラムHmについて説明する説明図(背景技術) 階調変換曲線Cmについて説明する説明図(背景技術) アンシャープマスキングを利用した視覚処理装置400の構造を説明するブロック図(背景技術) 強調関数R1〜R3について説明する説明図(背景技術) 局所コントラストの改善を行う視覚処理装置406の構造を説明するブロック図(背景技術) ダイナミックレンジの圧縮を行う視覚処理装置416の構造を説明するブロック図(背景技術)
以下、本発明の最良の形態としての第1〜第11実施形態について説明する。
第1実施形態では、2次元LUTを利用した視覚処理装置について説明する。
第2実施形態では、画像を表示する環境に環境光が存在する場合に環境光の補正を行う視覚処理装置について説明する。
第3実施形態では、第1実施形態および第2実施形態の応用例について説明する。
第4〜第6実施形態では、視覚的効果を向上させる階調処理を実現する視覚処理装置について説明する。
第7実施形態では、適切なボケ信号を用いて視覚処理を行う視覚処理装置について説明する。
第8実施形態では、第4〜第7実施形態の応用例について説明する。
第9実施形態では、第1〜第8実施形態の応用例について説明する。
第10実施形態では、上記実施形態の視覚処理装置の表示装置への応用例について説明する。
第11実施形態では、上記実施形態の視覚処理装置の撮影装置への応用例について説明する。
[第1実施形態]
図1〜図10を用いて、本発明の第1実施形態としての2次元LUTを利用した視覚処理装置1について説明する。また、図11〜図14を用いて、視覚処理装置の変形例について説明する。また、図15〜図23を用いて、視覚処理装置1と等価な視覚処理を実現する視覚処理装置について説明する。
視覚処理装置1は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
〈視覚処理装置1〉
図1に、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置1の基本構成を示す。視覚処理装置1は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部2と、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部3とを備えている。
空間処理部2は、例えば、入力信号ISの低域空間のみを通過させる低域空間フィルタによりアンシャープ信号USを得る。低域空間フィルタとしては、アンシャープ信号の生成に通常用いられるFIR(Finite Impulse Respones)型の低域空間フィルタ、あるいはIIR(Infinite Impulse Respones)型の低域空間フィルタなどを用いてもよい。
視覚処理部3は、入力信号ISおよびアンシャープ信号USと出力信号OSとの関係を与える2次元LUT4を有しており、入力信号ISとアンシャープ信号USとに対して、2次元LUT4を参照して出力信号OSを出力する。
〈2次元LUT4〉
2次元LUT4には、プロファイルデータと呼ばれるマトリクスデータが登録される。プロファイルデータは、入力信号ISのそれぞれの画素値に対応する行(または列)とアンシャープ信号USのそれぞれの画素値に対応する列(または行)とを有しており、行列の要素として、入力信号ISとアンシャープ信号USとの組み合わせに対応する出力信号OSの画素値が格納されている。プロファイルデータは、視覚処理装置1に内蔵あるいは接続されるプロファイルデータ登録装置8により、2次元LUT4に登録される。プロファイルデータ登録装置8には、パーソナルコンピュータ(PC)等によりあらかじめ作成された複数のプロファイルデータが格納されている。例えば、コントラスト強調、Dレンジ圧縮処理、あるいは階調補正など(詳細は、下記〈プロファイルデータ〉の欄参照)を実現する複数のプロファイルデータが格納されている。これにより、視覚処理装置1では、プロファイルデータ登録装置8を用いて2次元LUT4のプロファイルデータの登録内容を変更し、様々な視覚処理を実現することが可能となる。
プロファイルデータの一例を図2に示す。図2に示すプロファイルデータは、視覚処理装置1に、図108で示した視覚処理装置400と等価な処理を実現させるためのプロファイルデータである。図2において、プロファイルデータは、64×64のマトリクス形式で表現されており、列方向(縦方向)には8ビットで表現される入力信号ISの輝度値の上位6ビットの値が、行方向(横方向)には8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値が示されている。また、2つの輝度値に対する行列の要素として出力信号OSの値が8ビットで示されている。
図2に示すプロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A(例えば、8ビットで表現される入力信号ISの下位2ビットを切り捨てた値)とアンシャープ信号USの値B(例えば、8ビットで表現されるアンシャープ信号USの下位2ビットを切り捨てた値)とを用いて、C=A+0.5*(A−B)(以下、式M11という)で表現される。すなわち、視覚処理装置1では、強調関数R1(図109参照)を用いた視覚処理装置400(図108参照)と等価な処理が行われていることを示している。
なお、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M11で求められる値Cが負の値となることがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値0としてもよい。また、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M11で求められる値Cが飽和してしまうことがある。すなわち、8ビットで表現できる最大値255を超えてしまうことがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値255としてもよい。図2では、このようにして求めたプロファイルデータの各要素を等高線表示している。
また、例えば、各要素の値Cが、C=R6(B)+R5(B)*(A−B)(以下、式M12という)で表現されるプロファイルデータを用いると、図110で示した視覚処理装置406と等価な処理を実現することが可能である。ここで、関数R5は、第1の変換部409においてアンシャープ信号USから増幅係数信号GSを出力する関数であり、関数R6は、第2の変換部411においてアンシャープ信号USから修正アンシャープ信号ASを出力する関数である。
さらに、各要素の値Cが、C=A+R8(B)(以下、式M13という)で表現されるプロファイルデータを用いると、図111で示した視覚処理装置416と等価な処理を実現することが可能である。ここで、関数R8は、アンシャープ信号USからLUT処理信号LSを出力する関数である。
なお、式M12、式M13で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
〈視覚処理方法および視覚処理プログラム〉
図3に視覚処理装置1における視覚処理方法を説明するフローチャートを示す。図3に示す視覚処理方法は、視覚処理装置1においてハードウェアにより実現され、入力信号IS(図1参照)の視覚処理を行う方法である。
図3に示す視覚処理方法では、入力信号ISは、低域空間フィルタにより空間処理され(ステップS11)、アンシャープ信号USが取得される。さらに、入力信号ISとアンシャープ信号USとに対する2次元LUT4の値が参照され、出力信号OSが出力される(ステップS12)。以上の処理が入力信号ISとして入力される画素毎に行われる。
なお、図3に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
(1)
入力信号ISの値Aだけに基づいて視覚処理を行う場合に(例えば、1次元の階調変換曲線による変換を行う場合など)、画像中の異なる場所で同じ濃度の画素が存在すると、同じ明るさの変換が行われてしまう。より具体的には、画像中の人物の背景の暗い場所を明るくすると、同じ濃度の人物の髪の毛も明るくなる。
それに比較して、視覚処理装置1では、入力信号ISの値Aとアンシャープ信号USの値Bとに対応する2次元の関数に基づいて作成されたプロファイルデータを用いて視覚処理を行う。このため、画像中の異なる場所に存在する同じ濃度の画素を、一様に変換するのでなく、周囲情報を含めて明るくしたり、暗くしたりすることができ、画像中の領域毎に最適な明るさの調整ができる。より具体的には、画像中の人物の髪の毛の濃度を変えずに、同じ濃度の背景を明るくすることができる。
(2)
視覚処理装置1では、2次元LUT4を用いて、入力信号ISの視覚処理を行う。視覚処理装置1は、実現される視覚処理効果に依存しないハードウェア構成を有している。すなわち、視覚処理装置1は、汎用性の有るハードウェアで構成することが可能であり、ハードウェアコストの削減などに有効である。
(3)
2次元LUT4に登録されるプロファイルデータは、プロファイルデータ登録装置8により変更可能である。このため、視覚処理装置1では、視覚処理装置1のハードウェア構成を変更することなく、プロファイルデータを変更することにより、様々な視覚処理を実現することが可能となる。より具体的には、視覚処理装置1では、空間処理および階調処理を同時に実現することが可能となる。
(4)
2次元LUT4の登録されるプロファイルデータは、あらかじめ算出しておくことが可能である。一旦作成されたプロファイルデータは、いかに複雑な処理を実現するものであっても、それを用いた視覚処理に要する時間は一定である。このため、ハードウェアあるいはソフトウェアで構成した場合には複雑な構成となる視覚処理であっても、視覚処理装置1を用いた場合には、視覚処理の複雑さに処理時間は依存せず、視覚処理の高速化を図ることが可能となる。
〈変形例〉
(1)
図2では、64×64のマトリクス形式のプロファイルデータについて説明した。ここで、本発明の効果は、プロファイルデータのサイズに依存するものではない。例えば、2次元LUT4は、入力信号ISおよびアンシャープ信号USが取りうる全ての値の組み合わせに応じたプロファイルデータを有することも可能である。例えば、入力信号およびアンシャープ信号USが8ビットで表現される場合、プロファイルデータは、256×256のマトリクス形式であってもよい。
この場合、2次元LUT4に必要なメモリ容量は増えるが、より正確な視覚処理を実現することが可能となる。
(2)
図2では、プロファイルデータは、8ビットで表現される入力信号ISの輝度値の上位6ビットの値と、8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値とについての出力信号OSの値を格納していると説明した。ここで、視覚処理装置1は、隣接するプロファイルデータの要素と、入力信号ISおよびアンシャープ信号USの下位2ビットの大きさとに基づいて、出力信号OSの値を線形補間する補間部をさらに備えていても良い。
この場合、2次元LUT4に必要なメモリ容量を増やすことなく、より正確な視覚処理を実現することが可能となる。
また、補間部は、視覚処理部3に備えられ、2次元LUT4の格納する値を線形補間した値を出力信号OSとして出力するものであってもよい。
図4に、視覚処理部3の変形例として、補間部501を備える視覚処理部500を示す。視覚処理部500は、入力信号ISおよびアンシャープ信号USと補間前出力信号NSとの関係を与える2次元LUT4と、補間前出力信号NS、入力信号ISおよびアンシャープ信号USを入力とし、出力信号OSを出力する補間部501とを備えている。
2次元LUT4は、8ビットで表現される入力信号ISの輝度値の上位6ビットの値と、8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値とについての補間前出力信号NSの値を格納している。補間前出力信号NSの値は、例えば、8ビットの値として格納されている。2次元LUT4は、入力信号ISの8ビット値とアンシャープ信号USの8ビット値とが入力されると、それぞれの値を含む区間に対応する4つの補間前出力信号NSの値を出力する。それぞれの値を含む区間とは、(入力信号ISの上位6ビットの値、アンシャープ信号USの上位6ビットの値)、(入力信号ISの上位6ビットの値を超える最小の6ビットの値、アンシャープ信号USの上位6ビットの値)、(入力信号ISの上位6ビットの値、アンシャープ信号USの上位6ビットの値を超える最小の6ビットの値)、(入力信号ISの上位6ビットの値を超える最小の6ビットの値、アンシャープ信号USの上位6ビットの値を超える最小の6ビットの値)のそれぞれの組み合わせに対して格納されている4つの補間前出力信号NSに囲まれる区間である。
補間部501には、入力信号ISの下位2ビットの値とアンシャープ信号USの下位2ビットの値とが入力され、これらの値を用いて、2次元LUT4が出力した4つの補間前出力信号NSの値が線形補間される。より具体的には、入力信号ISの下位2ビットの値とアンシャープ信号USの下位2ビットの値とを用いて、4つの補間前出力信号NSの値の加重平均を計算し、出力信号OSが出力される。
以上により、2次元LUT4に必要なメモリ容量を増やすことなく、より正確な視覚処理を実現することが可能となる。
なお、補間部501では、入力信号ISあるいはアンシャープ信号USのいずれか一方についてのみ線形補間を行うものでもよい。
(3)
空間処理部2で行われる空間処理では、着目画素についての入力信号ISに対して、着目画素と着目画素の周辺画素との入力信号ISの平均値(単純平均または加重平均)、最大値、最小値、あるいは中央値をアンシャープ信号USとして出力するものであっても良い。また、着目画素の周辺画素のみの平均値、最大値、最小値、あるいは中央値をアンシャープ信号USとして出力するものであってもよい。
(4)
図2では、プロファイルデータの各要素の値Cは、入力信号ISの値Aとアンシャープ信号USの値Bとのそれぞれに対して線形の関数M11に基づいて作成されている。一方、プロファイルデータの各要素の値Cは、入力信号ISの値Aに対して非線形の関数に基づいて作成されていても良い。
この場合、例えば、視覚特性に応じた視覚処理の実現や出力信号OSを出力するコンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器の非線形特性に適切な視覚処理を実現することが可能となる。
また、プロファイルデータの各要素の値Cは、入力信号ISの値Aとアンシャープ信号USの値Bとのそれぞれに対して非線形の関数、すなわち2次元非線形の関数に基づいて作成されていてもよい。
例えば、入力信号ISの値Aだけに基づいて視覚処理を行う場合に(例えば、1次元の階調変換曲線による変換を行う場合など)、画像中の異なる場所で同じ濃度の画素が存在すると、同じ明るさの変換が行われる。より具体的には、画像中の人物の背景の暗い場所を明るくすると、同じ濃度の人物の髪の毛も明るくなる。
一方、2次元非線形の関数に基づいて作成されたプロファイルデータを用いて視覚処理を行う場合、画像中の異なる場所に存在する同じ濃度の画素を、一様に変換するのでなく、周囲情報を含めて明るくしたり、暗くしたりすることができ、画像中の領域毎に最適な明るさの調整ができる。より具体的には、画像中の人物の髪の毛の濃度を変えずに、同じ濃度の背景を明るくすることが可能となる。さらに、線形の関数に基づく視覚処理では処理後の画素値が飽和してしまうような画素領域についても、階調を維持した視覚処理を行うことなどが可能となる。
このようなプロファイルデータの一例を図5に示す。図5に示すプロファイルデータは、視覚処理装置1に、視覚特性にあったコントラスト強調を実現させるためのプロファイルデータである。図5において、プロファイルデータは、64×64のマトリクス形式で表現されており、列方向(縦方向)には8ビットで表現される入力信号ISの輝度値の上位6ビットの値が、行方向(横方向)には8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値が示されている。また、2つの輝度値に対する行列の要素として出力信号OSの値が8ビットで示されている。
図5に示すプロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A(例えば、8ビットで表現される入力信号ISの下位2ビットを切り捨てた値)、アンシャープ信号USの値B(例えば、8ビットで表現されるアンシャープ信号USの下位2ビットを切り捨てた値)、変換関数F1、変換関数の逆変換関数F2、強調関数F3を用いて、C=F2(F1(A)+F3(F1(A)−F1(B)))(以下、式M14という)と表される。ここで、変換関数F1は、常用対数関数である。逆変換関数F2は、常用対数関数の逆関数としての指数関数(アンチログ)である。強調関数F3は、図109を用いて説明した強調関数R1〜R3のいずれかの関数である。
このプロファイルデータでは、変換関数F1により対数空間に変換された入力信号ISおよびアンシャープ信号USを用いた視覚処理が実現される。人間の視覚特性は、対数的であり、対数空間に変換して処理を行うことで視覚特性に適した視覚処理が実現される。これにより、視覚処理装置1では、対数空間におけるコントラスト強調が実現される。
なお、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M14で求められる値Cが負の値となることがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値0としてもよい。また、入力信号ISの値Aとアンシャープ信号USの値Bとの値の組み合わせによっては、式M14で求められる値Cが飽和してしまうことがある。すなわち、8ビットで表現できる最大値255を超えてしまうことがある。この場合、入力信号ISの値Aとアンシャープ信号USの値Bとに対応するプロファイルデータの要素は、値255としてもよい。図5では、このようにして求めたプロファイルデータの各要素を等高線表示している。
非線形のプロファイルデータについてのさらに詳しい説明は、下記〈プロファイルデータ〉で行う。
(5)
2次元LUT4が備えるプロファイルデータは、入力信号ISの階調補正を実現する階調変換曲線(ガンマ曲線)を複数含んでいるものであってもよい。
それぞれの階調変換曲線は、例えば、異なるガンマ係数を有するガンマ関数など、単調増加関数であり、アンシャープ信号USの値に対して関連付けられている。関連付けは、例えば、小さいアンシャープ信号USの値に対して、大きいガンマ係数を有するガンマ関数が選択されるよう行われている。これにより、アンシャープ信号USは、プロファイルデータが含む階調変換曲線群から少なくとも1つの階調変換曲線を選択するための選択信号としての役割を果たしている。
以上の構成により、アンシャープ信号USの値Bにより選択された階調変換曲線を用いて、入力信号ISの値Aの階調変換が行われる。
なお、上記(2)で説明したのと同様に2次元LUT4の出力を補間することも可能である。
(6)
プロファイルデータ登録装置8は、視覚処理装置1に内蔵あるいは接続され、PC等によりあらかじめ作成された複数のプロファイルデータを格納しており、2次元LUT4の登録内容を変更すると説明した。
ここで、プロファイルデータ登録装置8が格納するプロファイルデータは、視覚処理装置1の外部に設置されるPCにより作成されている。プロファイルデータ登録装置8は、ネットワークを介して、あるいは記録媒体を介して、PCからプロファイルデータを取得する。
プロファイルデータ登録装置8は、格納する複数のプロファイルデータを所定の条件に従って2次元LUT4に登録する。図6〜図8を用いて、詳しく説明する。なお、図1を用いて説明した視覚処理装置1とほぼ同様の機能を有する部分については、同じ符号を付し説明を省略する。
《1》
図6に、入力信号ISの画像を判定し、判定結果に基づいて、2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置520のブロック図を示す。
視覚処理装置520は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部521を備えている。さらに、視覚処理装置520は、画像判定部522を備えている。
画像判定部522は、入力信号ISを入力とし、入力信号ISの判定結果SAを出力とする。プロファイルデータ登録部521は、判定結果SAを入力とし、判定結果SAに基づいて選択されたプロファイルデータPDを出力とする。
画像判定部522は、入力信号ISの画像を判定する。画像の判定では、入力信号ISの輝度、明度などの画素値を取得することにより、入力信号ISの明るさが判定される。
プロファイルデータ登録部521は、判定結果SAを取得し、判定結果SAに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、入力信号ISが明るいと判定される場合には、ダイナミックレンジを圧縮するプロファイルなどが選択される。これにより、全体的に明るい画像に対してもコントラストを維持することが可能となる。また、出力信号OSを表示する装置の特性を考慮して、適切なダイナミックレンジの出力信号OSが出力されるようなプロファイルが選択される。
以上により、視覚処理装置520では、入力信号ISに応じて、適切な視覚処理を実現することが可能となる。
なお、画像判定部522は、入力信号ISの輝度、明度などの画素値だけでなく、空間周波数などの画像特性を判定するものであってもよい。
この場合、例えば、空間周波数が低い入力信号ISに対して、鮮鋭さを強調する度合いがより高いプロファイルが選択されるなど、より適切な視覚処理を実現することが可能となる。
《2》
図7に、明るさに関する条件を入力するための入力装置からの入力結果に基づいて、2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置525のブロック図を示す。
視覚処理装置525は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部526を備えている。さらに、視覚処理装置525は、入力装置527を有線または無線により接続して備えている。より具体的には、入力装置527は、出力信号OSを出力するコンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器自体に備えられる入力ボタンあるいはそれぞれの機器のリモコンなどとして実現される。
入力装置527は、明るさに関する条件を入力するための入力装置であり、例えば、「明るい」「暗い」などのスイッチを備えている。入力装置527は、ユーザの操作により、入力結果SBを出力する。
プロファイルデータ登録部526は、入力結果SBを取得し、入力結果SBに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、ユーザが「明るい」と入力した場合には、入力信号ISのダイナミックレンジを圧縮するプロファイルなどを選択し、プロファイルデータPDとして出力する。これにより、出力信号OSを表示する装置が置かれている環境が「明るい」状態にある場合でも、コントラストを維持することが可能となる。
以上により、視覚処理装置525では、入力装置527からの入力に応じて、適切な視覚処理を実現することが可能となる。
なお、明るさに関する条件とは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさに関する条件だけでなく、例えば、プリンタ用紙など出力信号を出力する媒体自体の明るさに関する条件であっても良い。また、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどに関する条件であっても良い。
また、これらは、スイッチなどによる入力だけでなく、フォトセンサなどにより自動的に入力されるものであっても良い。
なお、入力装置527は、明るさに関する条件を入力するだけでなく、プロファイルデータ登録部526に対して、直接プロファイルの切り替えを動作させるための装置であってもよい。この場合、入力装置527は、明るさに関する条件以外に、プロファイルデータのリストを表示し、ユーザに選択させるものであっても良い。
これにより、ユーザは、好みに応じた視覚処理を実行することが可能となる。
なお、入力装置527は、ユーザを識別する装置であっても良い。この場合、入力装置527は、ユーザを識別するためのカメラ、あるいは、ユーザ名を入力させるための装置であっても良い。
例えば、入力装置527により、ユーザが子供であると入力された場合には、過度の輝度変化を抑制するプロファイルデータなどが選択される。
これにより、ユーザに応じた視覚処理を実現することが可能となる。
《3》
図8に、2種類の明るさを検出するための明度検出部からの検出結果に基づいて2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置530のブロック図を示す。
視覚処理装置530は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部531を備えている。さらに、視覚処理装置530は、明度検出部532を備えている。
明度検出部532は、画像判定部522と、入力装置527とから構成される。画像判定部522および入力装置527は、図6,図7を用いて説明したのと同様である。これにより、明度検出部532は、入力信号ISを入力とし、画像判定部522からの判定結果SAと、入力装置527からの入力結果SBとを検出結果として出力する。
プロファイルデータ登録部531は、判定結果SAと入力結果SBとを入力とし、判定結果SAと入力結果SBとに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、環境光が「明るい」状態にあって、さらに入力信号ISも明るいと判定される場合、入力信号ISのダイナミックレンジを圧縮するプロファイルなどを選択し、プロファイルデータPDとして出力する。これにより、出力信号OSを表示する際に、コントラストを維持することが可能となる。
以上により、視覚処理装置530では、適切な視覚処理を実現することが可能となる。
《4》
図6〜図8の視覚処理装置において、それぞれのプロファイルデータ登録部は、視覚処理装置と一体として備えられていなくてもよい。具体的には、プロファイルデータ登録部は、プロファイルデータを複数備えるサーバとして、あるいはそれぞれのプロファイルデータを備える複数のサーバとして、ネットワークを介して視覚処理装置と接続されているものでも良い。ここで、ネットワークとは、例えば、専用回線、公衆回線、インターネット、LANなどの通信が可能な接続手段であり、有線であっても無線であってもよい。またこの場合、判定結果SAや入力結果SBも、同様のネットワークを介して視覚処理装置側からプロファイルデータ登録部側に伝えられる。
(7)
上記実施形態では、プロファイルデータ登録装置8が複数のプロファイルデータを備え、2次元LUT4への登録を切り替えることにより、異なる視覚処理を実現すると説明した。
ここで、視覚処理装置1は、異なる視覚処理を実現するプロファイルデータが登録される複数の2次元LUTを備えるものであってもよい。この場合、視覚処理装置1では、それぞれの2次元LUTへの入力を切り替えることにより、あるいはそれぞれの2次元LUTからの出力を切り替えることにより、異なる視覚処理を実現するものであっても良い。
この場合、2次元LUTのために確保すべき記憶容量は増大するが、視覚処理の切り替えに必要な時間が短縮可能となる。
また、プロファイルデータ登録装置8は、複数のプロファイルデータに基づいて新たなプロファイルデータを生成し、生成されたプロファイルデータを2次元LUT4に登録する装置であっても良い。
これに関し、図9〜図10を用いて説明を加える。
図9は、プロファイルデータ登録装置8の変形例としてのプロファイルデータ登録装置701について主に説明するブロック図である。プロファイルデータ登録装置701は、視覚処理装置1の2次元LUT4に登録されるプロファイルデータを切り替えるための装置である。
プロファイルデータ登録装置701は、複数のプロファイルデータが登録されるプロファイルデータ登録部702と、複数のプロファイルデータに基づいて新たなプロファイルデータを生成するプロファイル作成実行部703と、新たなプロファイルデータを生成するためのパラメータを入力するためのパラメータ入力部706と、各部の制御を行う制御部705とから構成されている。
プロファイルデータ登録部702には、プロファイルデータ登録装置8あるいは図6〜図8に示すそれぞれのプロファイルデータ登録部と同様に複数のプロファイルデータが登録されており、制御部705からの制御信号C10により選択された選択プロファイルデータの読み出しを行う。ここで、プロファイルデータ登録部702からは2つの選択プロファイルデータが読み出されるとし、それぞれを第1の選択プロファイルデータd10および第2の選択プロファイルデータd11とする。
プロファイルデータ登録部702から読み出されるプロファイルデータは、パラメータ入力部706の入力により決定される。例えば、パラメータ入力部706では、所望される視覚処理効果、その処理度合い、処理された画像の視環境に関する情報などがパラメータとして、手動により、あるいはセンサなどから自動により、入力される。制御部705は、パラメータ入力部706により入力されたパラメータから読み出すべきプロファイルデータを制御信号c10により指定するとともに、それぞれのプロファイルデータの合成度の値を制御信号c12により指定する。
プロファイル作成実行部703は、第1の選択プロファイルデータd10および第2の選択プロファイルデータd11から新たなプロファイルデータである生成プロファイルデータd6を作成するプロファイル生成部704を備えている。
プロファイル生成部704は、プロファイルデータ登録部702から第1の選択プロファイルデータd10および第2の選択プロファイルデータd11を取得する。さらに、制御部705からそれぞれの選択プロファイルデータの合成度を指定する制御信号c12を取得する。
さらに、プロファイル生成部704は、第1の選択プロファイルデータd10の値[m]および第2の選択プロファイルデータd11の値[n]に対して、制御信号c12が指定する合成度の値[k]を用いて、値[l]の生成プロファイルデータd6を作成する。ここで、値[l]は、[l]=(1−k)*[m]+k*[n]により計算される。なお、値[k]が0≦k≦1を満たす場合には、第1の選択プロファイルデータd10と第2の選択プロファイルデータd11とは内分され、値[k]がk<0またはk>1を満たす場合には、第1の選択プロファイルデータd10と第2の選択プロファイルデータd11とは外分されることとなる。
2次元LUT4は、プロファイル生成部704が生成する生成プロファイルデータd6を取得し、取得した値を制御部705のカウント信号c11が指定するアドレスに格納する。ここで、生成プロファイルデータd6は、生成プロファイルデータd6を作成するのに用いられたそれぞれの選択プロファイルデータが関連づけられているのと同じ画像信号値に関連づけられる。
以上により、例えば、異なる視覚処理を実現するプロファイルデータに基づいて、さらに異なる視覚処理を実現する新たなプロファイルデータを作成することが可能となる。
図10を用いて、プロファイルデータ登録装置701を備える視覚処理装置において実行される視覚処理プロファイル作成方法について説明する。
制御部705からのカウント信号c10により、プロファイルデータ登録部702のアドレスが一定のカウント周期で指定され、指定されたアドレスに格納されている画像信号値が読み出される(ステップS701)。詳しくは、パラメータ入力部706により入力されたパラメータに応じて、制御部705はカウント信号c10を出力する。カウント信号c10は、プロファイルデータ登録部702において異なる視覚処理を実現する2つのプロファイルデータのアドレスを指定する。これにより、プロファイルデータ登録部702から第1の選択プロファイルデータd10と第2の選択プロファイルデータd11とが読み出される。
プロファイル生成部704は、制御部705から合成度を指定する制御信号c12を取得する(ステップS702)。
プロファイル生成部704は、第1の選択プロファイルデータd10の値[m]および第2の選択プロファイルデータd11の値[n]に対して、制御信号c12が指定する合成度の値[k]を用いて、値[l]の生成プロファイルデータd6を作成する(ステップS703)。ここで、値[l]は、[l]=(1−k)*[m]+k*[n]により計算される。
2次元LUT4に対して生成プロファイルデータd6が書き込まれる(ステップS704)。ここで、書き込み先のアドレスは、2次元LUT4に対して与えられる制御部705からのカウント信号c11により指定される。
制御部705は、選択されたプロファイルデータの全てのデータについての処理が終了したか否かを判断し(ステップ705)、終了するまでステップS701からステップS705の処理を繰り返す。
また、このようにして2次元LUT4に格納された新たなプロファイルデータは、視覚処理を実行するのに用いられる。
《(7)の効果》
プロファイルデータ登録装置701を備える視覚処理装置においては、異なる視覚処理を実現するプロファイルデータに基づいて、さらに異なる視覚処理を実現する新たなプロファイルデータを作成し、視覚処理を行うことが可能となる。すなわち、プロファイルデータ登録部702において、少数のプロファイルデータを備えるだけで、任意の処理度合いの視覚処理を実現することが可能となり、プロファイルデータ登録部702の記憶容量を削減することが可能となる。
なお、プロファイルデータ登録装置701は、図1に示す視覚処理装置1だけでなく、図6〜図8の視覚処理装置において備えられていてもよい。この場合、プロファイルデータ登録部702とプロファイル作成実行部703とが図6〜図8に示すそれぞれのプロファイルデータ登録部521,526,531の代わりに用いられ、パラメータ入力部706と制御部705とが図6の画像判定部522,図7の入力装置527、図8の明度検出部532の代わりに用いられてもよい。
(8)
視覚処理装置は、入力信号ISの明るさを変換する装置であってもよい。図11を用いて、明るさを変換する視覚処理装置901について説明する。
《構成》
視覚処理装置901は、入力信号IS’の明るさを変換する装置であって、入力信号IS’に対して所定の処理を行い処理信号US’を出力する処理部902と、入力信号IS’および処理信号US’を用いて入力信号IS’の変換を行う変換部903とから構成される。
処理部902は、空間処理部2(図1参照)と同様に動作し、入力信号IS’の空間処理を行う。なお、上記〈変形例〉(3)で記載したような空間処理を行うものであってもよい。
変換部903は、視覚処理部3と同様に2次元LUTを備え入力信号IS’(値[x])と処理信号US’(値[z])とに基づいて出力信号OS’(値[y])を出力する。
ここで、変換部903が備える2次元LUTの各要素の値は、明るさの変更度合いに関する関数fk(z)の値に応じて定められたゲインあるいはオフセットに対して、入力信号IS’の値[x]を作用させることにより定められている。以下、明るさの変更度合いに関する関数fk(z)を「変更度関数」と呼ぶ。
2次元LUTの各要素の値(=出力信号OS’の値[y])は、入力信号IS’の値[x]と処理信号US’の値[z]との関数に基づいて定められている。以下、この関数を「変換関数」と呼び、一例としての変換関数(a)〜(d)を示す。また、図12(a)〜(d)に、変更度関数fk(z)を変化させた場合の入力信号IS’と出力信号OS’との関係を示す。
《変換関数(a)について》
変換関数(a)は、[y]=f1(z)*[x]と表される。
ここで、変更度関数f1(z)は、入力信号IS’のゲインとして作用している。このため、変更度関数f1(z)の値により、入力信号IS’のゲインが変化し、出力信号OS’の値[y]が変化する。
図12(a)は、変更度関数f1(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f1(z)が大きくなる(f1(z)>1)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f1(z)が小さくなる(f1(z)<1)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
ここで、変更度関数f1(z)は、値[z]の定義域における最小値が値[0]未満とならない関数である。
また、変換関数(a)の演算により、出力信号の値[y]が取りうる値の範囲を超える場合には、取りうる値の範囲にクリップされてもよい。例えば、値[1]を超える場合には、出力信号の値[y]は、値[1]にクリップされてもよいし、値[0]に満たない場合には、出力信号の値[y]は、値[0]にクリップされてもよい。これは、以下の変換関数(b)〜(d)についても同様である。
《変換関数(b)について》
変換関数(b)は、[y]=[x]+f2(z)と表される。
ここで、変更度関数f2(z)は、入力信号IS’のオフセットとして作用している。このため、変更度関数f2(z)の値により、入力信号IS’のオフセットが変化し、出力信号OS’の値[y]が変化する。
図12(b)は、変更度関数f2(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f2(z)が大きくなる(f2(z)>0)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f2(z)が小さくなる(f2(z)<0)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
《変換関数(c)について》
変換関数(c)は、[y]=f1(z)*[x]+f2(z)と表される。
ここで、変更度関数f1(z)は、入力信号IS’のゲインとして作用している。さらに、変更度関数f2(z)は、入力信号IS’のオフセットとして作用している。このため、変更度関数f1(z)の値により、入力信号IS’のゲインが変化するとともに、変更度関数f2(z)の値により、入力信号IS’のオフセットが変化し、出力信号OS’の値[y]が変化する。
図12(c)は、変更度関数f1(z)および変更度関数f2(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f1(z)および変更度関数f2(z)が大きくなるにつれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f1(z)および変更度関数f2(z)が小さくなるにつれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
《変換関数(d)について》
変換関数(d)は、[y]=[x]^(1−f2(z))と表される。
ここで、変更度関数f2(z)は、「べき関数」の「べき」を決定する。このため、変更度関数f2(z)の値により、入力信号IS’が変化し、出力信号OS’の値[y]が変化する。
図12(d)は、変更度関数f2(z)の値が変化した場合の入力信号IS’と出力信号OS’との関係の変化を示す。
変更度関数f2(z)が大きくなる(f2(z)>0)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f2(z)が小さくなる(f2(z)<0)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。また、変更度関数f2(z)が値[0]の場合は、入力信号IS’に対する変換は行われないこととなる。
なお、値[x]は、入力信号IS’の値を[0]〜[1]の範囲に正規化した値である。
《効果》
(1)
視覚処理装置901では、以上に示した変換関数(a)〜(d)のいずれかを用いて定められた要素を有する2次元LUTにより、入力信号IS’の視覚処理が行われる。2次元LUTの各要素は、値[x]と値[z]とに対する値[y]を格納している。このため、入力信号IS’と処理信号US’とに基づいて、入力信号IS’の明るさを変換する視角処理が実現される。
(2)
ここで、変更度関数f1(z)と変更度関数f2(z)とがともに単調減少する関数である場合、さらに、逆光補正や白飛びの防止などの効果が得られる。これに関して説明を加える。
図13(a)〜(b)に、単調減少する変更度関数f1(z)およびf2(z)の例を示す。それぞれ3つのグラフ(a1〜a3、b1〜b3)を示しているが、いずれも単調減少する関数の例である。
変更度関数f1(z)は、値[1]をまたぐ値域を有する関数であり、値[z]の定義域に対する最小値が値[0]未満とならない関数である。変更度関数f2(z)は、値[0]をまたぐ値域を有する関数である。
例えば、画像中の暗くて面積の大きい部分では、処理信号US’の値[z]が小さい。小さい値の[z]に対する変更度関数の値は、大きくなる。すなわち、変換関数(a)〜(d)に基づいて作成された2次元LUTを用いると、画像中の暗くて面積の大きい部分は、明るく変換される。よって、例えば、逆光で撮影された画像では、暗くて面積の大きい部分に対して暗部の改善が行われ、視覚的効果が向上する。
また、例えば、画像中の明るくて面積の大きい部分では、処理信号US’の値[z]が大きい。大きい値の[z]に対する変更度関数の値は、小さくなる。すなわち、変換関数(a)〜(d)に基づいて作成された2次元LUTを用いると、画像中の明るくて面積の大きい部分は、暗く変換される。よって、例えば、空などの明るい部分を有する画像では、明るくて面積の大きい部分に対して白飛びの改善が行われ、視覚的効果が向上する。
《変形例》
(1)
上記した変換関数は、一例であり、同様の性質を有する変換であれば、任意の関数であってよい。
(2)
2次元LUTの各要素の値は、厳密に上記した変換関数により定められていなくてもよい。
例えば、上記した変換関数の値が、出力信号OS’として扱うことのできる値の範囲を超える場合には、2次元LUTは、出力信号OS’として扱うことのできる値の範囲にクリップされた値を格納してもよい。
(3)
上記と同様の処理は、2次元LUTを用いずに行われてもよい。例えば、変換部903は、入力信号IS’と処理信号US’とに対して、変換関数(a)〜(d)を演算することにより出力信号OS’を出力してもよい。
(9)
視覚処理装置は、複数の空間処理部を備え、空間処理の程度の異なる複数のアンシャープ信号を用いて視覚処理を行うものであってもよい。
《構成》
図14に、視覚処理装置905の構成を示す。視覚処理装置905は、入力信号IS”の視覚処理を行う装置であって、入力信号IS”に対して第1の所定の処理を行い第1処理信号U1を出力する第1処理部906aと、入力信号IS”に対して第2の所定の処理を行い第2処理信号U2を出力する第2処理部906bと、入力信号IS”と第1処理信号U1と第2処理信号U2とを用いて入力信号IS”の変換を行う変換部908とから構成される。
第1処理部906aおよび第2処理部906bは、空間処理部2(図1参照)と同様に動作し、入力信号IS”の空間処理を行う。なお、上記〈変形例〉(3)で記載したような空間処理を行うものであってもよい。
ここで、第1処理部906aと第2処理部906bとは、空間処理において用いる周辺画素の領域の大きさが異なっている。
具体的には、第1処理部906aでは、着目画素を中心として縦30画素、横30画素の領域に含まれる周辺画素を用いる(小さいアンシャープ信号)のに対して、第2処理部906bでは、着目画素を中心として縦90画素、横90画素の領域に含まれる周辺画素を用いる(大きいアンシャープ信号)。なお、ここで記載した周辺画素の領域は、あくまで一例であり、これに限定されるわけではない。視覚処理効果を十分に発揮するためには、かなり広い領域からアンシャープ信号を生成することが好ましい。
変換部908は、LUTを備え、入力信号IS”(値[x])と第1処理信号U1(値[z1])と第2処理信号U2(値[z2])とに基づいて出力信号OS”(値[y])を出力する。
ここで、変換部903が備えるLUTは、入力信号IS”の値[x]と第1処理信号U1の値[z1]と第2処理信号U2の値[z2]とに対する出力信号OS”の値[y]を格納する3次元LUTである。この3次元LUTの各要素の値(=出力信号OS”の値[y])は、入力信号IS’の値[x]と第1処理信号U1の値[z1]と第2処理信号U2の値[z2]との関数に基づいて定められている。
この3次元LUTは、上記実施形態および下記実施形態で記載する処理を実現可能であるが、ここでは、3次元LUTが《入力信号IS”の明るさを変換する場合》と、《入力信号IS”を強調変換する場合》とについて説明を加える。
《入力信号IS”の明るさを変換する場合》
変換部908は、第1処理信号U1の値[z1]が小さければ、入力信号IS”を明るくするように変換を行う。ただし、第2処理信号U2の値[z2]も小さければ、明るくする度合いを抑制する。
このような変換の一例として、変換部903が備える3次元LUTの各要素の値は、次の変換関数(e)または(f)に基づいて定められている。
(変換関数(e)について)
変換関数(e)は、[y]=[f11(z1)/f12(z2)]*[x]と表される。
ここで、変更度関数f11(z1),f12(z2)は、上記〈変形例〉(8)で記載した変更度関数f1(z)と同様の関数である。また、変更度関数f11(z1)と変更度関数f12(z2)とは、異なる関数となっている。
これにより、[f11(z1)/f12(z2)]は、入力信号IS”のゲインとして作用し、第1処理信号U1の値と第2処理信号U2の値とにより、入力信号IS”のゲインが変化し、出力信号OS”の値[y]が変化する。
(変換関数(f)について)
変換関数(f)は、[y]=[x]+f21(z1)−f22(z2)と表される。
ここで、変更度関数f21(z1),f22(z2)は、上記〈変形例〉(8)で記載した変更度関数f2(z)と同様の関数である。また、変更度関数f21(z1)と変更度関数f22(z2)とは、異なる関数となっている。
これにより、[f21(z1)−f22(z2)]は、入力信号IS”のオフセットとして作用し、第1処理信号U1の値と第2処理信号U2の値とにより、入力信号IS”のオフセットが変化し、出力信号OS”の値[y]が変化する。
(効果)
このような変換関数(e)〜(f)を用いた変換により、例えば、逆光部分の小さい領域の暗部を明るくしつつ、夜景の画像の大きい領域の暗部を明るくしすぎないなどといった効果を実現することが可能となる。
(変形例)
なお、変換部908における処理は、3次元LUTを用いた処理に限定されず、変換関数(e)や(f)などと同様の演算を行うものであってもよい。
また、3次元LUTの各要素は厳密に変換関数(e)や(f)に基づいて定められていなくてもよい。
《入力信号IS”を強調変換する場合》
変換部908における変換が、入力信号IS”を強調する変換である場合、複数の周波数成分を独立して強調することが可能となる。
例えば、第1処理信号U1をより強調する変換であれば、周波数の比較的高い濃淡部分の強調を行うことが可能となるし、第2処理信号U2をより強調する変換であれば、周波数の低い濃淡部分の強調を行うことが可能となる。
〈プロファイルデータ〉
視覚処理装置1は、上記で説明した以外にも、様々な視覚処理を実現するプロファイルデータを備えることが可能である。以下、様々な視覚処理を実現する第1〜第7プロファールデータについて、プロファイルデータを特徴づける式と、そのプロファイルデータを備える視覚処理装置1と等価な視覚処理を実現する視覚処理装置の構成とを示す。
それぞれのプロファイルデータは、入力信号ISとアンシャープ信号USとから算出された値を強調する演算を含む数式に基づいて定められている。ここで、強調する演算とは、例えば、非線形の強調関数による演算である。
これにより、それぞれのプロファイルデータでは、入力信号ISの視覚特性にあった強調、あるいは出力信号OSを出力する機器の非線形特性にあった強調を実現することなどが可能となる。
(1)
《第1プロファイルデータ》
第1プロファイルデータは、入力信号ISとアンシャープ信号USとに対して所定の変換を行ったそれぞれの変換値の差を強調する関数を含む演算に基づいて定められている。これにより、入力信号ISとアンシャープ信号USとを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
以下、具体的に説明する。
第1プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、変換関数F1、変換関数の逆変換関数F2、強調関数F3を用いて、C=F2(F1(A)+F3(F1(A)−F1(B)))(以下、式M1という)と表される。
ここで、変換関数F1は、常用対数関数である。逆変換関数F2は、常用対数関数の逆関数としての指数関数(アンチログ)である。強調関数F3は、図109を用いて説明した強調関数R1〜R3のいずれかの関数である。
《等価な視覚処理装置11》
図15に、第1プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置11を示す。
視覚処理装置11は、入力信号ISとアンシャープ信号USとに対して所定の変換を行ったそれぞれの変換値の差を強調する演算に基づいて出力信号OSを出力する装置である。これにより、入力信号ISとアンシャープ信号USとを別空間に変換した上でそれぞれの差を強調することが可能となり、例えば、視覚特性にあった強調などを実現することが可能となる。
図15に示す視覚処理装置11は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部12と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部13とを備えている。
空間処理部12は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部13は、入力信号ISとアンシャープ信号USとの信号空間の変換を行い、変換入力信号TISと変換アンシャープ信号TUSとを出力する信号空間変換部14と、変換入力信号TISを第1の入力、変換アンシャープ信号TUSを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部17と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部18と、変換入力信号TISを第1の入力、強調処理信号TSを第2の入力とし、それぞれを加算した加算信号PSを出力する加算部19と、加算信号PSを入力とし出力信号OSを出力する逆変換部20とを備えている。
信号空間変換部14は、入力信号ISを入力とし変換入力信号TISを出力とする第1変換部15と、アンシャープ信号USを入力とし変換アンシャープ信号TUSを出力とする第2変換部16とをさらに有している。
《等価な視覚処理装置11の作用》
視覚処理部13の動作についてさらに説明を加える。
第1変換部15は、変換関数F1を用いて、値Aの入力信号を値F1(A)の変換入力信号TISに変換する。第2変換部16は、変換関数F1を用いて、値Bのアンシャープ信号USを値F1(B)の変換アンシャープ信号TUSに変換する。減算部17は、値F1(A)の変換入力信号TISと、値F1(B)の変換アンシャープ信号TUSとの差分を計算し、値F1(A)−F1(B)の差分信号DSを出力する。強調処理部18は、強調関数F3を用いて、値F1(A)−F1(B)の差分信号DSから値F3(F1(A)−F1(B))の強調処理信号TSを出力する。加算部19は、値F1(A)の変換入力信号TISと、値F3(F1(A)−F1(B))の強調処理信号TSとを加算し、値F1(A)+F3(F1(A)−F1(B))の加算信号PSを出力する。逆変換部20は、逆変換関数F2を用いて、値F1(A)+F3(F1(A)−F1(B))の加算信号PSを逆変換し、値F2(F1(A)+F3(F1(A)−F1(B)))の出力信号OSを出力する。
なお、変換関数F1、逆変換関数F2、強調関数F3を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第1プロファイルデータを備える視覚処理装置1と視覚処理装置11とは、同様の視覚処理効果を奏する。
(i)
変換関数F1により対数空間に変換された変換入力信号TISおよび変換アンシャープ信号TUSを用いた視覚処理が実現される。人間の視覚特性は、対数的であり、対数空間に変換して処理を行うことで視覚特性に適した視覚処理が実現される。
(ii)
それぞれの視覚処理装置では、対数空間におけるコントラスト強調が実現される。
図108に示す従来の視覚処理装置400は、一般的にボケ具合が小さいアンシャープ信号USを用いて輪郭(エッジ)強調を行うために用いられる。しかし、視覚処理装置400は、ボケ具合の大きいアンシャープ信号USを用いてコントラスト強調する場合には、原画像の明部には強調不足、暗部には強調過多になり、視覚特性に適さない視覚処理となる。すなわち、明るくする方向への補正は強調不足、暗くする方向への補正は強調過多となる傾向にある。
一方、視覚処理装置1または視覚処理装置11を用いて視覚処理を行った場合には、暗部から明部まで視覚特性に適した視覚処理を行うことが可能であり、明るくする方向の強調と暗くする方向の強調とをバランス良く行うことが可能である。
(iii)
従来の視覚処理装置400では、視覚処理後の出力信号OSが負になり破綻する場合がある。
一方、式M1で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値を0又は255としておくことにより、補正後の画素信号が負になり破綻することや、飽和して破綻することが防止可能となる。このことは、プロファイルデータの要素を表現するためのビット長にかかわらず実現される。
《変形例》
(i)
変換関数F1は、対数関数に限られない。例えば、変換関数F1を、入力信号ISにかけられているガンマ補正(例えば、ガンマ係数[0.45])を外す変換とし、逆変換関数F2を入力信号ISに掛けられていたガンマ補正をかける変換としてもよい。
これにより、入力信号ISにかけられてるガンマ補正を外し、線形特性のもとで処理を行うことが可能となる。このため、光学的なボケの補正を行うことが可能となる。
(ii)
視覚処理装置11では、視覚処理部13は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M1を演算するもので有っても良い。この場合、それぞれの関数F1〜F3の計算においては、1次元のLUTを用いても良い。
(2)
《第2プロファイルデータ》
第2プロファイルデータは、入力信号ISとアンシャープ信号USとの比を強調する関数を含む演算に基づいて定められている。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、第2プロファイルデータは、強調された入力信号ISとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて定められている。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
以下、具体的に説明する。
第2プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、ダイナミックレンジ圧縮関数F4、強調関数F5を用いて、C=F4(A)*F5(A/B)(以下、式M2という)と表される。
ここで、ダイナミックレンジ圧縮関数F4は、例えば、上に凸のべき関数などの単調増加関数である。例えば、F4(x)=x^γ(0<γ<1)と表される。強調関数F5は、べき関数である。例えば、F5(x)=x^α(0<α≦1)と表される。
《等価な視覚処理装置21》
図16に、第2プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置21を示す。
視覚処理装置21は、入力信号ISとアンシャープ信号USとの比を強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、視覚処理装置21は、強調された入力信号ISとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて出力信号OSを出力する。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
図16に示す視覚処理装置21は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部22と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部23とを備えている。
空間処理部22は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部23は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、入力信号ISをアンシャープ信号USで除算した除算信号RSを出力する除算部25と、除算信号RSを入力とし、強調処理信号TSを出力とする強調処理部26と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する出力処理部27とを備えている。出力処理部27は、入力信号ISを入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力するDR圧縮部28と、DR圧縮信号DRSを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する乗算部29とを備えている。
《等価な視覚処理装置21の作用》
視覚処理部23の動作についてさらに説明を加える。
除算部25は、値Aの入力信号ISを値Bのアンシャープ信号USで除算し、値A/Bの除算信号RSを出力する。強調処理部26は、強調関数F5を用いて、値A/Bの除算信号RSから値F5(A/B)の強調処理信号TSを出力する。DR圧縮部28は、ダイナミックレンジ圧縮関数F4を用いて、値Aの入力信号ISから値F4(A)のDR圧縮信号DRSを出力する。乗算部29は、値F4(A)のDR圧縮信号DRSと値F5(A/B)の強調処理信号TSとを乗算し、値F4(A)*F5(A/B)の出力信号OSを出力する。
なお、ダイナミックレンジ圧縮関数F4、強調関数F5を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第2プロファイルデータを備える視覚処理装置1と視覚処理装置21とは、同様の視覚処理効果を奏する。
(i)
従来では、画像全体のダイナミックレンジを圧縮する場合、図17に示すダイナミックレンジ圧縮関数F4を用いて、暗部からハイライトまで飽和させずに階調レベルを圧縮する。すなわち、圧縮前の画像信号における再現目標の黒レベルをL0、最大の白レベルをL1とすると、圧縮前のダイナミックレンジL1:L0は、圧縮後のダイナミックレンジQ1:Q0に圧縮される。しかし、画像信号レベルの比であるコントラストは、ダイナミックレンジの圧縮により、(Q1/Q0)*(L0/L1)倍に下がることとなる。ここで、ダイナミックレンジ圧縮関数F4は、上に凸のべき関数などである。
一方、第2プロファイルデータを備える視覚処理装置1および視覚処理装置21では、値A/Bの除算信号RS、すなわちシャープ信号を強調関数F5で強調処理し、DR圧縮信号DRSに乗じている。このため、局所的なコントラストを強調することになる。ここで、強調関数F5は、図18に示すようなべき関数であり(F5(x)=x^α)、除算信号RSの値が1より大きいときに明るい方に強調を行い、1より小さいときに暗い方向に強調を行う。
一般に、人間の視覚は、局所コントラストを維持すれば、全体的なコントラストが低下していても同じコントラストに見える性質がある。これにより、第2プロファイルデータを備える視覚処理装置1および視覚処理装置21では、ダイナミックレンジの圧縮を行いつつ、視覚的にはコントラストを低下させない視覚処理を実現することが可能となる。
(ii)
さらに具体的に本発明の効果を説明する。
ダイナミックレンジ圧縮関数F4は、F4(x)=x^γ(例えば、γ=0.6とする)であるとする。また、強調関数F5は、F5(x)=x^α(例えば、α=0.4とする)であるとする。また、入力信号ISの最大の白レベルを値1に正規化した場合の再現目標の黒レベルが値1/300であるとする。すなわち、入力信号ISのダイナミックレンジが300:1であるとする。
ダイナミックレンジ圧縮関数F4を用いて、この入力信号ISのダイナミックレンジ圧縮した場合、圧縮後のダイナミックレンジは、F4(1):F4(1/300)=30:1となる。すなわち、ダイナミックレンジ圧縮関数F4により、ダイナミックレンジは1/10に圧縮されることとなる。
一方、出力信号OSの値Cは、上記式M2で表され、C=(A^0.6)*{(A/B)^0.4}、すなわちC=A/(B^0.4)である。ここで、局所的な範囲では、Bの値は一定と見なせるため、CはAに比例する。すなわち、値Cの変化量と値Aの変化量との比は1となり、入力信号ISと出力信号OSとにおいて局所的なコントラストは変化しないこととなる。
上記同様、人間の視覚は、局所コントラストを維持すれば、全体的なコントラストが低下していても同じコントラストに見える性質がある。これにより、第2プロファイルデータを備える視覚処理装置1および視覚処理装置21では、ダイナミックレンジの圧縮を行いつつ、視覚的にはコントラストを低下させない視覚処理を実現することが可能となる。
なお、図18に示す強調関数F5のべき乗数αを0.4より大きくすれば、ダイナミックレンジの圧縮を行いつつ、入力信号ISよりも出力信号OSの見かけのコントラストを上げることも可能である。
(iii)
本発明では、以上の効果を実現できるため、次の状況において特に有効である。すなわち、物理的なダイナミックレンジの狭いディスプレイで、暗部も明部もつぶれずにコントラストの高い画像を再現することが可能となる。また例えば、明るい環境下のテレビプロジェクタでコントラストの高い映像を表示する、濃度の低いインク(薄い色しかでないプリンタ)でコントラストの高いプリントを得ることが可能となる。
《変形例》
(i)
視覚処理装置21では、視覚処理部23は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M2を演算するもので有っても良い。この場合、それぞれの関数F4,F5の計算においては、1次元のLUTを用いても良い。
(ii)
なお、式M2で求められるプロファイルデータのある要素の値CがC>255となる場合には、その要素の値Cを255としてもよい。
(3)
《第3プロファイルデータ》
第3プロファイルデータは、入力信号ISとアンシャープ信号USとの比を強調する関数を含む演算に基づいて定められている。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
以下、具体的に説明する。
上記第2プロファイルデータの式M2において、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数であってもよい。この場合、第3プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F5を用いて、C=A*F5(A/B)(以下、式M3という)と表される。
《等価な視覚処理装置31》
図19に、第3プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置31を示す。
視覚処理装置31は、入力信号ISとアンシャープ信号USとの比を強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
図19に示す視覚処理装置31は、DR圧縮部28を備えない点において図16に示す視覚処理装置21と相違している。以下、図19に示す視覚処理装置31において、図16に示す視覚処理装置21と同様の動作を行う部分については、同じ符号を付し、詳しい説明を省略する。
視覚処理装置31は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部22と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部32とを備えている。
空間処理部22は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部32は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、入力信号ISをアンシャープ信号USで除算した除算信号RSを出力する除算部25と、除算信号RSを入力とし、強調処理信号TSを出力とする強調処理部26と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する乗算部33とを備えている。
《等価な視覚処理装置31の作用》
視覚処理部32の動作についてさらに説明を加える。
除算部25および強調処理部26は、図16に示す視覚処理装置21について説明したのと同様の動作を行う。
乗算部33は、値Aの入力信号ISと値F5(A/B)の強調処理信号TSとを乗算し、値A*F5(A/B)の出力信号OSを出力する。ここで、強調関数F5は、図18に示したものと同様である。
なお、強調関数F5を用いた計算は、図16に示す視覚処理装置21について説明したのと同様に、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第3プロファイルデータを備える視覚処理装置1と視覚処理装置31とは、同様の視覚処理効果を奏する。
(i)
強調処理部26では、入力信号ISとアンシャープ信号USとの比として表されるシャープ信号(除算信号RS)の強調処理が行われ、強調されたシャープ信号が入力信号ISに乗算される。入力信号ISとアンシャープ信号USとの比として表されるシャープ信号を強調処理することは、対数空間における入力信号ISとアンシャープ信号USとの差分を計算することに相当する。すなわち、対数的な人間の視覚特性に適した視覚処理が実現される。
(ii)
強調関数F5による強調量は、入力信号ISが大きい場合(明るい場合)に大きくなり、小さい場合(暗い場合)に小さくなる。また、明るくする方向への強調量は、暗くする方向への強調量より大きくなる。このため、視覚特性に適した視覚処理が実現可能となり、バランス良く自然な視覚処理が実現される。
(iii)
なお、式M3で求められるプロファイルデータのある要素の値CがC>255となる場合には、その要素の値Cを255としてもよい。
(iv)
式M3を用いた処理では、入力信号ISに対するダイナミックレンジの圧縮は施されないが、局所的なコントラストを強調することができ、視覚的にダイナミックレンジの圧縮・伸張を行うことが可能となる。
(4)
《第4プロファイルデータ》
第4プロファイルデータは、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する関数を含む演算に基づいて定められている。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
さらに、第4プロファイルデータは、強調された値に対して、入力信号ISをダイナミックレンジ圧縮した値を加える演算に基づいて定められている。これにより、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
以下、具体的に説明する。
第4プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8を用いて、C=F8(A)+F6(A)*F7(A−B)(以下、式M4という)と表される。
ここで、強調量調整関数F6は、入力信号ISの値に対して単調増加する関数である。すなわち、入力信号ISの値Aが小さい時は、強調量調整関数F6の値も小さく、入力信号ISの値Aが大きい時は、強調量調整関数F6の値も大きくなる。強調関数F7は、図109を用いて説明した強調関数R1〜R3のいずれかの関数である。ダイナミックレンジ圧縮関数F8は、図17を用いて説明したべき関数であり、F8(x)=x^γ(0<γ<1)と表される。
《等価な視覚処理装置41》
図20に、第4プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置41を示す。
視覚処理装置41は、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
さらに、視覚処理装置41は、強調された値に対して、入力信号ISをダイナミックレンジ圧縮した値を加える演算に基づいて出力信号OSを出力する。これにより、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
図20に示す視覚処理装置41は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部42と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部43とを備えている。
空間処理部42は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部43は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部44と、差分信号DSを入力とし、強調処理信号TSを出力する強調処理部45と、入力信号ISを入力とし、強調量調整信号ICを出力する強調量調整部46と、強調量調整信号ICを第1の入力、強調処理信号TSを第2の入力とし、強調量調整信号ICと強調処理信号TSとを乗算した乗算信号MSを出力する乗算部47と、入力信号ISを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する出力処理部48とを備えている。出力処理部48は、入力信号ISを入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力するDR圧縮部49と、DR圧縮信号DRSを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する加算部50とを備えている。
《等価な視覚処理装置41の作用》
視覚処理部43の動作についてさらに説明を加える。
減算部44は、値Aの入力信号ISと値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部45は、強調関数F7を用いて、値A−Bの差分信号DSから値F7(A−B)の強調処理信号TSを出力する。強調量調整部46は、強調量調整関数F6を用いて、値Aの入力信号ISから値F6(A)の強調量調整信号ICを出力する。乗算部47は、値F6(A)の強調量調整信号ICと値F7(A−B)の強調処理信号TSとを乗算し、値F6(A)*F7(A−B)の乗算信号MSを出力する。DR圧縮部49は、ダイナミックレンジ圧縮関数F8を用いて、値Aの入力信号ISから値F8(A)のDR圧縮信号DRSを出力する。加算部50は、DR圧縮信号DRSと、値F6(A)*F7(A−B)の乗算信号MSとを加算し、値F8(A)+F6(A)*F7(A−B)の出力信号OSを出力する。
なお、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第4プロファイルデータを備える視覚処理装置1と視覚処理装置41とは、同様の視覚処理効果を奏する。
(i)
入力信号ISの値Aにより、差分信号DSの強調量の調整を行う。このため、ダイナミックレンジ圧縮を行いつつ、暗部から明部までの局所コントラストを維持することが可能となる。
(ii)
強調量調整関数F6は、単調増加する関数であるが、入力信号ISの値Aが大きいほど、関数の値の増加量が減少する関数とすることができる。この場合、出力信号OSの値が飽和することが防止される。
(iii)
強調関数F7を、図109を用いて説明した強調関数R2とする場合、差分信号DSの絶対値が大きい時の強調量を抑制することが可能となる。このため、鮮鋭度の高い部分での強調量が飽和することが防止され、視覚的にも自然な視覚処理を実行することが可能となる。
《変形例》
(i)
視覚処理装置41では、視覚処理部43は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M4を演算するもので有っても良い。この場合、それぞれの関数F6〜F8の計算においては、1次元のLUTを用いても良い。
(ii)
強調関数F7を比例係数1の正比例関数とする場合には、強調処理部45は、特に設ける必要がない。
(iii)
なお、式M4で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(5)
《第5プロファイルデータ》
第5プロファイルデータは、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する関数を含む演算に基づいて定められている。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
以下、具体的に説明する。
上記第4プロファイルデータの式M4において、ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数であってもよい。この場合、第5プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調量調整関数F6、強調関数F7を用いて、C=A+F6(A)*F7(A−B)(以下、式M5という)と表される。
《等価な視覚処理装置51》
図21に、第5プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置51を示す。
視覚処理装置51は、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
図21に示す視覚処理装置51は、DR圧縮部49を備えない点において図20に示す視覚処理装置41と相違している。以下、図21に示す視覚処理装置51において、図20に示す視覚処理装置41と同様の動作を行う部分については、同じ符号を付し、詳しい説明を省略する。
視覚処理装置51は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部42と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部52とを備えている。
空間処理部42は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部52は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部44と、差分信号DSを入力とし、強調処理信号TSを出力する強調処理部45と、入力信号ISを入力とし、強調量調整信号ICを出力する強調量調整部46と、強調量調整信号ICを第1の入力、強調処理信号TSを第2の入力とし、強調量調整信号ICと強調処理信号TSとを乗算した乗算信号MSを出力する乗算部47と、入力信号ISを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する加算部53とを備えている。
《等価な視覚処理装置51の作用》
視覚処理部52の動作についてさらに説明を加える。
減算部44、強調処理部45、強調量調整部46および乗算部47は、図20に示す視覚処理装置41について説明したのと同様の動作を行う。
加算部53は、値Aの入力信号ISと、値F6(A)*F7(A−B)の乗算信号MSとを加算し、値A+F6(A)*F7(A−B)の出力信号OSを出力する。
なお、強調量調整関数F6、強調関数F7を用いた計算は、図20に示す視覚処理装置41について説明したのと同様に、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第5プロファイルデータを備える視覚処理装置1と視覚処理装置51とは、同様の視覚処理効果を奏する。また、第4プロファイルデータを備える視覚処理装置1および視覚処理装置41が奏する効果と、ほぼ同様の視覚処理効果を奏する。
(i)
入力信号ISの値Aにより、差分信号DSの強調量の調整を行う。このため、暗部から明部までのコントラストの強調量を均一にすることが可能となる。
《変形例》
(i)
強調関数F7を比例係数1の正比例関数とする場合には、強調処理部45は、特に設ける必要がない。
(ii)
なお、式M5で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(6)
《第6プロファイルデータ》
第6プロファイルデータは、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISの値を加えた値を階調補正する演算に基づいて定められている。これにより、例えば、シャープ成分が強調された入力信号ISに対して、階調補正を行う視覚処理を実現することが可能となる。
以下、具体的に説明する。
第6プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F9、階調補正関数F10を用いて、C=F10(A+F9(A−B))(以下、式M6という)と表される。
ここで、強調関数F9は、図109を用いて説明した強調関数R1〜R3のいずれかの関数である。階調補正関数F10は、例えば、ガンマ補正関数、S字型の階調補正関数、逆S字型の階調補正関数など、通常の階調補正で用いられる関数である。
《等価な視覚処理装置61》
図22に、第6プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置61を示す。
視覚処理装置61は、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISの値を加えた値を階調補正する演算に基づいて、出力信号OSを出力する装置である。これにより、例えば、シャープ成分が強調された入力信号ISに対して、階調補正を行う視覚処理を実現することが可能となる。
図22に示す視覚処理装置61は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部62と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部63とを備えている。
空間処理部62は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部63は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部64と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部65と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、それぞれを加算した加算信号PSを出力する加算部66と、加算信号PSを入力とし出力信号OSを出力する階調補正部67とを備えている。
《等価な視覚処理装置61の作用》
視覚処理部63の動作についてさらに説明を加える。
減算部64は、値Aの入力信号ISと、値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部65は、強調関数F9を用いて、値A−Bの差分信号DSから値F9(A−B)の強調処理信号TSを出力する。加算部66は、値Aの入力信号ISと、値F9(A−B)の強調処理信号TSとを加算し、値A+F9(A−B)の加算信号PSを出力する。階調補正部67は、階調補正関数F10を用いて、値A+F9(A−B)の加算信号PSから、値F10(A+F9(A−B))の出力信号OSを出力する。
なお、強調関数F9、階調補正関数F10を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第6プロファイルデータを備える視覚処理装置1と視覚処理装置61とは、同様の視覚処理効果を奏する。
(i)
差分信号DSは、強調関数F9により強調処理され、入力信号ISに加算される。このため、入力信号ISのコントラストを強調することが可能となる。さらに、階調補正部67は、加算信号PSの階調補正処理を実行する。このため、例えば、原画像における出現頻度の高い中間調でさらにコントラストを強調することが可能となる。また、例えば、加算信号PS全体を明るくすることが可能となる。以上により、空間処理と階調処理とを同時に組み合わせて実現することが可能となる。
《変形例》
(i)
視覚処理装置61では、視覚処理部63は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M6を演算するもので有っても良い。この場合、それぞれの関数F9,F10の計算においては、1次元のLUTを用いても良い。
(ii)
なお、式M6で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(7)
《第7プロファイルデータ》
第7プロファイルデータは、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISを階調補正した値を加える演算に基づいて定められている。ここで、シャープ成分の強調と入力信号ISの階調補正とは独立して行われる。このため、入力信号ISの階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
以下、具体的に説明する。
第7プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F11、階調補正関数F12に対して、C=F12(A)+F11(A−B)(以下、式M7という)と表される。
ここで、強調関数F11は、図109を用いて説明した強調関数R1〜R3のいずれかの関数である。階調補正関数F12は、例えば、ガンマ補正関数、S字型の階調補正関数、逆S字型の階調補正関数などである。
《等価な視覚処理装置71》
図23に、第7プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置71を示す。
視覚処理装置71は、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISを階調補正した値を加える演算に基づいて出力信号OSを出力する装置である。ここで、シャープ成分の強調と入力信号ISの階調補正とは独立して行われる。このため、入力信号ISの階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
図23に示す視覚処理装置71は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部72と、入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部73とを備えている。
空間処理部72は、視覚処理装置1が備える空間処理部2と同様の動作を行うため、説明を省略する。
視覚処理部73は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部74と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部75と、入力信号ISを入力とし、階調補正された階調補正信号GCを出力する階調補正部76と、階調補正信号GCを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する加算部77とを備えている。
《等価な視覚処理装置71の作用》
視覚処理部73の動作についてさらに説明を加える。
減算部74は、値Aの入力信号ISと、値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部75は、強調関数F11を用いて、値A−Bの差分信号DSから値F11(A−B)の強調処理信号TSを出力する。階調補正部76は、階調補正関数F12を用いて、値Aの入力信号ISから値F12(A)の階調補正信号GCを出力する。加算部77は、値F12(A)の階調補正信号GCと、値F11(A−B)の強調処理信号TSとを加算し、値F12(A)+F11(A−B)の出力信号OSを出力する。
なお、強調関数F11、階調補正関数F12を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《効果》
第7プロファイルデータを備える視覚処理装置1と視覚処理装置71とは、同様の視覚処理効果を奏する。
(i)
入力信号ISは、階調補正部76により階調補正された後、強調処理信号TSと加算される。このため、階調補正関数F12の階調変化の少ない領域、すなわちコントラストが低下される領域においても、その後の強調処理信号TSの加算により、局所コントラストを強調することが可能となる。
《変形例》
(i)
視覚処理装置71では、視覚処理部73は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M7を演算するもので有っても良い。この場合、それぞれの関数F11,F12の計算においては、1次元のLUTを用いても良い。
(ii)
なお、式M7で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(8)
《第1〜第7プロファイルデータの変形例》
(i)
上記(1)〜(7)において、第1〜第7プロファイルデータの各要素は、式M1〜M7に基づいて計算された値を格納すると説明した。また、それぞれのプロファイルデータでは、式M1〜M7により算出される値がプロファイルデータが格納可能な値の範囲を超える場合には、その要素の値を制限しても良いと説明した。
さらに、プロファイルデータでは、一部の値については、任意であっても良い。例えば、暗い夜景の中にある小さい明かりの部分など(夜景の中にあるネオン部分など)、入力信号ISの値は大きいが、アンシャープ信号USの値は小さい場合、視覚処理された入力信号ISの値が画質に与える影響は小さい。このように、視覚処理後の値が画質に与える影響が小さい部分では、プロファイルデータが格納する値は、式M1〜M7により算出される値の近似値、あるいは任意の値であっても良い。
プロファイルデータが格納する値が、式M1〜M7により算出される値の近似値、あるいは任意の値となる場合にも、同じ値の入力信号ISとアンシャープ信号USとに対して格納されている値は、入力信号ISとアンシャープ信号USとの値に対して、単調増加、あるいは単調減少する関係を維持していることが望ましい。式M1〜M7等に基づいて作成されたプロファイルデータにおいて、同じ値の入力信号ISとアンシャープ信号USとに対するプロファイルデータが格納する値は、プロファイルデータの特性の概要を示している。このため、2次元LUTの特性を維持するために、上記関係を維持した状態でプロファイルデータのチューニングを行うことが望ましい。
[第2実施形態]
図24〜図39を用いて、本発明の第2実施形態としての視覚処理装置600について説明する。
視覚処理装置600は、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置であり、出力信号OSを表示する表示装置(図示しない)が設置される環境(以下、表示環境という。)に応じた視覚処理を行う装置である。
具体的には、視覚処理装置600は、表示環境の環境光の影響による表示画像の「視覚的なコントラスト」の低下を、人間の視覚特性を利用した視覚処理により改善する装置である。
視覚処理装置600は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
〈視覚処理装置600〉
図24に、視覚処理装置600の基本構成を示す。
視覚処理装置600は、目標コントラスト変換部601と、変換信号処理部602と、実コントラスト変換部603と、目標コントラスト設定部604と、実コントラスト設定部605とから構成されている。
目標コントラスト変換部601は、入力信号ISを第1の入力、目標コントラスト設定部604において設定された目標コントラストC1を第2の入力とし、目標コントラスト信号JSを出力とする。なお、目標コントラストC1の定義については、後述する。
変換信号処理部602は、目標コントラスト信号JSを第1の入力、目標コントラストC1を第2の入力、実コントラスト設定部605において設定された実コントラストC2を第3の入力とし、視覚処理された目標コントラスト信号JSである視覚処理信号KSを出力とする。なお、実コントラストC2の定義については、後述する。
実コントラスト変換部603は、視覚処理信号KSを第1の入力、実コントラストC2を第2の入力とし、出力信号OSを出力とする。
目標コントラスト設定部604および実コントラスト設定部605は、ユーザに対して目標コントラストC1および実コントラストC2の値を入力インターフェイスなどを介して設定させる。
以下、各部の詳細について説明する。
〈目標コントラスト変換部601〉
目標コントラスト変換部601は、視覚処理装置600に入力された入力信号ISを、コントラスト表現に適した目標コントラスト信号JSに変換する。ここで、入力信号ISでは、視覚処理装置600に入力される画像の輝度値が値[0.0〜1.0]の階調で表されている。
目標コントラスト変換部601は、目標コントラストC1(値[m])を用いて、入力信号IS(値[P])を「式M20」により変換し、目標コントラスト信号JS(値[A])を出力する。ここで、式M20は、A={(m−1)/m}*P+1/mである。
目標コントラストC1の値[m]は、表示装置により表示される表示画像が最もコントラスト良く見えるようなコントラスト値として設定される。
ここで、コントラスト値とは、画像の黒レベルに対する白レベルの明度比として表される値であり、黒レベルを1とした場合の白レベルの輝度値を示している(黒レベル:白レベル=1:m)。
目標コントラストC1の値[m]は、100〜1000(黒レベル:白レベル=1:100〜1:1000)程度に設定されるのが適切であるが、表示装置が表示可能な黒レベルに対する白レベルの明度比に基づいて決定してもよい。
図25を用いて、式M20による変換をさらに詳しく説明する。図25は、入力信号ISの値(横軸)と目標コントラスト信号JSの値(縦軸)との関係を示すグラフである。図25が示すように、目標コントラスト変換部601により、値[0.0〜1.0]の範囲の入力信号ISが値[1/m〜1.0]の範囲の目標コントラスト信号JSに変換される。
〈変換信号処理部602〉
図24を用いて、変換信号処理部602の詳細について説明する。
変換信号処理部602は、入力される目標コントラスト信号JSの局所的なコントラストを維持しつつ、ダイナミックレンジを圧縮し、視覚処理信号KSを出力する。具体的には、変換信号処理部602は、第1実施形態で示した視覚処理装置21における入力信号IS(図16参照)を目標コントラスト信号JSと見なし、出力信号OS(図16参照)を視覚処理信号KSと見なしたのと同様の構成・作用・効果を有している。
変換信号処理部602は、目標コントラスト信号JSとアンシャープ信号USとの比を強調する演算に基づいて視覚処理信号KSを出力する。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、変換信号処理部602は、強調された目標コントラスト信号JSとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて視覚処理信号KSを出力する。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
《変換信号処理部602の構成》
変換信号処理部602は、目標コントラスト信号JSにおける画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部622と、目標コントラスト信号JSとアンシャープ信号USとを用いて、目標コントラスト信号JSに対する視覚処理を行い、視覚処理信号KSを出力する視覚処理部623とを備えている。
空間処理部622は、視覚処理装置1(図1参照)が備える空間処理部2と同様の動作を行うため、詳しい説明を省略する。
視覚処理部623は、除算部625と、強調処理部626と、DR圧縮部628および乗算部629を有する出力処理部627とを備えている。
除算部625は、目標コントラスト信号JSを第1の入力、アンシャープ信号USを第2の入力とし、目標コントラスト信号JSをアンシャープ信号USで除算した除算信号RSを出力する。強調処理部626は、除算信号RSを第1の入力、目標コントラストC1を第2の入力、実コントラストC2を第3の入力とし、強調処理信号TSを出力する。
出力処理部627は、目標コントラスト信号JSを第1の入力、強調処理信号TSを第2の入力、目標コントラストC1を第3の入力、実コントラストC2を第4の入力とし、視覚処理信号KSを出力する。DR圧縮部628は、目標コントラスト信号JSを第1の入力、目標コントラストC1を第2の入力、実コントラストC2を第3の入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力する。乗算部629は、DR圧縮信号DRSを第1の入力、強調処理信号TSを第2の入力とし、視覚処理信号KSを出力する。
《変換信号処理部602の作用》
変換信号処理部602は、目標コントラストC1(値[m])および実コントラストC2(値[n])を用いて、目標コントラスト信号JS(値[A])を「式M2」により変換し、視覚処理信号KS(値[C])を出力する。ここで、式M2は、ダイナミックレンジ圧縮関数F4と強調関数F5とを用いて、C=F4(A)*F5(A/B)とあらわされる。なお、値[B]は、目標コントラスト信号JSを空間処理したアンシャープ信号USの値である。
ダイナミックレンジ圧縮関数F4は、上に凸の単調増加関数である「べき関数」であり、F4(x)=x^γと表される。ダイナミックレンジ圧縮関数F4の指数γは、常用対数を用いて、γ=log(n)/log(m)と表される。強調関数F5は、「べき関数」であり、F5(x)=x^(1−γ)と表される。
以下、式M2と変換信号処理部602の各部の動作との関係について説明を加える。
空間処理部622は、値[A]の目標コントラスト信号JSに対して空間処理を行い、値[B]のアンシャープ信号USを出力する。
除算部625は、値[A]の目標コントラスト信号JSを値[B]のアンシャープ信号USで除算し、値[A/B]の除算信号RSを出力する。強調処理部626は、強調関数F5を用いて、値[A/B]の除算信号RSから値[F5(A/B)]の強調処理信号TSを出力する。DR圧縮部628は、ダイナミックレンジ圧縮関数F4を用いて、値[A]の目標コントラスト信号JSから値[F4(A)]のDR圧縮信号DRSを出力する。乗算部629は、値[F4(A)]のDR圧縮信号DRSと値[F5(A/B)]の強調処理信号TSとを乗算し、値[F4(A)*F5(A/B)]の視覚処理信号KSを出力する。
なお、ダイナミックレンジ圧縮関数F4、強調関数F5を用いた計算は、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
《変換信号処理部602の効果》
視覚処理信号KSにおける視覚的なダイナミックレンジは、ダイナミックレンジ圧縮関数F4の値により決定される。
図26を用いて、式M2による変換をさらに詳しく説明する。図26は、目標コントラスト信号JSの値(横軸)と、目標コントラスト信号JSにダイナミックレンジ圧縮関数F4を適用した値(縦軸)との関係を示すグラフである。図26が示すように、目標コントラスト信号JSのダイナミックレンジは、ダイナミックレンジ圧縮関数F4により圧縮される。より詳しくは、ダイナミックレンジ圧縮関数F4により、値[1/m〜1.0]の範囲の目標コントラスト信号JSは、値[1/n〜1.0]の範囲に変換される。この結果、視覚処理信号KSにおける視覚的なダイナミックレンジは、1/n(最小値:最大値=1:n)へと圧縮される。
ここで、実コントラストC2について説明する。実コントラストC2の値[n]は、表示環境の環境光のもとでの表示画像の視覚的なコントラスト値として設定されている。すなわち、実コントラストC2の値[n]は、目標コントラストC1の値[m]を、表示環境の環境光の輝度による影響分だけ低下させた値として決定することができる。
このようにして設定された実コントラストC2の値[n]を用いているため、式M2により目標コントラスト信号JSのダイナミックレンジは、1:mから1:nへと圧縮されることとなる。なお、ここで「ダイナミックレンジ」とは、信号の最小値と最大値との比を意味している。
一方、視覚処理信号KSにおける局所的なコントラストの変化は、目標コントラスト信号JSの値[A]と視覚処理信号KSの値[C]との変換の前後における変化量の比として表される。ここで、局所的すなわち狭い範囲におけるアンシャープ信号USの値[B]は一定と見なせる。このため、式M2における値Cの変化量と値Aの変化量との比は1となり、目標コントラスト信号JSと視覚処理信号KSとの局所的なコントラストは変化しないこととなる。
人間の視覚は、局所コントラストを維持すれば、全体的なコントラストが低下していても同じコントラストに見える性質がある。このため、変換信号処理部602では、目標コントラスト信号JSのダイナミックレンジの圧縮を行いつつ、視覚的なコントラストを低下させない視覚処理を実現することが可能となる。
〈実コントラスト変換部603〉
図24を用いて、実コントラスト変換部603の詳細について説明する。
実コントラスト変換部603は、視覚処理信号KSを、表示装置(図示しない)に入力可能な範囲の画像データに変換する。表示装置に入力可能な範囲の画像データとは、例えば、画像の輝度値を、値[0.0〜1.0]の階調で表した画像データである。
実コントラスト変換部603は、実コントラストC2(値[n])を用いて、視覚処理信号KS(値[C])を「式M21」により変換し、出力信号OS(値[Q])を出力する。ここで、式M21は、Q={n/(n−1)}*C−{1/(n−1)}である。
図27を用いて、式M21による変換をさらに詳しく説明する。図27は、視覚処理信号KSの値(横軸)と出力信号OSの値(縦軸)との関係を示すグラフである。図27が示すように、実コントラスト変換部603により、値[1/n〜1.0]の範囲の視覚処理信号KSが値[0.0〜1.0]の範囲の出力信号OSに変換される。ここで、それぞれの視覚処理信号KSの値に対して、出力信号OSの値は減少することとなる。この減少分は、表示画像の各輝度が環境光から受ける影響に相当している。
なお、実コントラスト変換部603では、値[1/n]以下の視覚処理信号KSが入力される場合には、出力信号OSは、値[0]に変換される。また、実コントラスト変換部603では、値[1]以上の視覚処理信号KSが入力される場合には、出力信号OSは、値[1]に変換される。
〈視覚処理装置600の効果〉
視覚処理装置600は、第1実施形態で説明した視覚処理装置21と同様の効果を奏する。以下、視覚処理装置600に特徴的な効果を記載する。
(i)
視覚処理装置600の出力信号OSを表示する表示環境に環境光が存在する場合、出力信号OSは、環境光の影響を受けて視覚される。しかし、出力信号OSは、実コントラスト変換部603により、環境光の影響を補正する処理が施された信号である。すなわち、環境光の存在する表示環境のもとでは、表示装置に表示された出力信号OSは、視覚処理信号KSの特性を持つ表示画像として視覚される。
視覚処理信号KSの特性とは、第1実施形態で説明した視覚処理装置21の出力信号OS(図16参照)などと同様に、局所的なコントラストを維持しつつ画像全体のダイナミックレンジが圧縮されている、というものである。すなわち、視覚処理信号KSは、局所的には表示画像が最適に表示される目標コントラストC1を維持しつつ、環境光の影響下において表示可能なダイナミックレンジ(実コントラストC2に相当)に圧縮された信号となっている。
このため、視覚処理装置600では、環境光の存在によって低下するコントラストの補正を行いつつ、視覚特性を利用した処理により視覚的なコントラストを維持することが可能となる。
〈視覚処理方法〉
図28を用いて、上記視覚処理装置600と同様の効果を奏する視覚処理方法を説明する。なお、それぞれのステップの具体的な処理は、上記視覚処理装置600における処理と同様であるため、説明を省略する。
図28に示す視覚処理方法では、まず、設定された目標コントラストC1および実コントラストC2が取得される(ステップS601)。次に、取得された目標コントラストC1を用いて、入力信号ISに対する変換が行われ(ステップS602)、目標コントラスト信号JSが出力される。次に、目標コントラスト信号JSに対して空間処理が行われ(ステップS603)、アンシャープ信号USが出力される。次に、目標コントラスト信号JSがアンシャープ信号USにより除算され(ステップS604)、除算信号RSが出力される。除算信号RSは、目標コントラストC1および実コントラストC2により決定される指数を持つ「べき関数」である強調関数F5により強調され(ステップS605)、強調処理信号TSが出力される。一方、目標コントラスト信号JSは、目標コントラストC1および実コントラストC2により決定される指数を持つ「べき関数」であるダイナミックレンジ圧縮関数F4によりダイナミックレンジ圧縮され(ステップS606)、DR圧縮信号DRSが出力される。次に、ステップS605により出力された強調処理信号TSとステップS606により出力されたDR圧縮信号DRSは、乗算され(ステップS607)、視覚処理信号KSが出力される。次に、実コントラストC2を用いて、視覚処理信号KSに対する変換が行われ(ステップS608)、出力信号OSが出力される。入力信号ISのすべての画素についてステップS602〜ステップS608の処理が繰り返される(ステップS609)。
図28に示す視覚処理方法のそれぞれのステップは、視覚処理装置600やその他のコンピュータなどにおいて、視覚処理プログラムとして実現されるものであっても良い。また、ステップS604〜ステップS607までの処理は、式M2を計算することにより一度に行われるものであってもかまわない。
〈変形例〉
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
(i)式M2−強調関数F5を備えない場合−
上記実施形態では、変換信号処理部602は、式M2に基づいて視覚処理信号KSを出力すると記載した。ここで、変換信号処理部602は、ダイナミックレンジ強調関数F4のみに基づいて視覚処理信号KSを出力するものであってもよい。この場合、変形例としての変換信号処理部602では、空間処理部622、除算部625、強調処理部626、乗算部629を備える必要がなく、DR圧縮部628のみを備えていればよい。
変形例としての変換信号処理部602では、環境光の影響下において表示可能なダイナミックレンジに圧縮された視覚処理信号KSを出力することが可能となる。
(ii)強調関数F5−指数・その他の変形例−
上記実施形態では、強調関数F5は、「べき関数」であり、F5(x)=x^(1−γ)と表される、と記載した。ここで、強調関数F5の指数は、目標コントラスト信号JSの値[A]またはアンシャープ信号USの値[B]の関数であってもよい。
以下、具体例《1》〜《6》を示す。
《1》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも大きい場合に、単調減少する関数である。より具体的には、強調関数F5の指数は、α1(A)*(1−γ)と表され、関数α1(A)は、図29に示すように目標コントラスト信号JSの値[A]に対して単調減少する関数である。なお、関数α1(A)の最大値は、[1.0]となっている。
この場合、強調関数F5により高輝度部の局所コントラストの強調量が少なくなる。このため、着目画素の輝度が周囲画素の輝度よりも高い場合に、高輝度部の局所コントラストの強調過多が抑制される。すなわち、着目画素の輝度値が高輝度へと飽和し、いわゆる白飛びの状態になることが抑制される。
《2》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも小さい場合に、単調増加する関数である。より具体的には、強調関数F5の指数は、α2(A)*(1−γ)と表され、関数α2(A)は、図30に示すように目標コントラスト信号JSの値[A]に対して単調増加する関数である。なお、関数α2(A)の最大値は、[1.0]となっている。
この場合、強調関数F5により低輝度部の局所コントラストの強調量が少なくなる。このため、着目画素の輝度が周囲画素の輝度よりも低い場合に、低輝度部の局所コントラストの強調過多が抑制される。すなわち、着目画素の輝度値が低輝度へと飽和し、いわゆる黒潰れの状態になることが抑制される。
《3》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも大きい場合に、単調増加する関数である。より具体的には、強調関数F5の指数は、α3(A)*(1−γ)と表され、関数α3(A)は、図31に示すように目標コントラスト信号JSの値[A]に対して単調増加する関数である。なお、関数α3(A)の最大値は、[1.0]となっている。
この場合、強調関数F5により低輝度部の局所コントラストの強調量が少なくなる。このため、着目画素の輝度が周囲画素の輝度よりも高い場合に、低輝度部の局所コントラストの強調過多が抑制される。画像中の低輝度部は、信号レベルが小さいため、相対的にノイズの割合が高くなっているが、このような処理を行うことで、SN比の劣化を抑制することが可能となる。
《4》
強調関数F5の指数は、目標コントラスト信号JSの値[A]とアンシャープ信号USの値[B]との関数であって、値[A]と値[B]との差の絶対値に対して単調減少する関数である。言い換えれば、強調関数F5の指数は、値[A]と値[B]との比が1に近い程増加する関数であるとも言える。より具体的には、強調関数F5の指数は、α4(A,B)*(1−γ)と表され、関数α4(A,B)は、図32に示すように値[A−B]の絶対値に対して単調減少する関数である。
この場合、周囲画素との明暗差が小さい着目画素における局所的なコントラストを特に強調し、周囲画素との明暗差が大きい着目画素における局所的なコントラストの強調を抑制するということが可能となる。
《5》
上記《1》〜《4》の強調関数F5の演算結果には、上限あるいは下限が設けられていてもよい。具体的には、値[F5(A/B)]が所定の上限値を超える場合には、強調関数F5の演算結果として所定の上限値が採用される。また、値[F5(A/B)]が所定の下限値を超える場合には、強調関数F5の演算結果として所定の下限値が採用される。
この場合、強調関数F5による局所的なコントラストの強調量を適切な範囲に制限することが可能となり、過多あるいは過少のコントラストの強調が抑制される。
《6》
なお、上記《1》〜《5》は、第1実施形態において強調関数F5を用いた演算を行う場合にも同様に適用可能である(例えば、第1実施形態〈プロファイルデータ〉(2)あるいは(3)など)。なお、第1実施形態では、値[A]は、入力信号ISの値であり、値[B]は、入力信号ISを空間処理したアンシャープ信号USの値である。
(iii)式M2−ダイナミックレンジ圧縮を行わない場合−
上記実施形態では、変換信号処理部602は、第1実施形態で示した視覚処理装置21と同様の構成を有している、と説明した。ここで、変形例としての変換信号処理部602は、第1実施形態で示した視覚処理装置31(図19参照)と同様の構成を有するものであってもよい。具体的には、視覚処理装置31における入力信号ISを目標コントラスト信号JSと見なし、出力信号OSを視覚処理信号KSと見なすことにより変形例としての変換信号処理部602が実現される。
この場合、変形例としての変換信号処理部602では、目標コントラスト信号JS(値[A])およびアンシャープ信号US(値[B])に対して、「式M3」に基づいて視覚処理信号KS(値[C])が出力される。ここで式M3とは、強調関数F5を用いて、C=A*F5(A/B)と表される。
式M3を用いた処理では、入力信号ISに対するダイナミックレンジの圧縮は施されないが、局所的なコントラストを強調することができる。この局所的なコントラストの強調の効果により、「視覚的に」ダイナミックレンジが圧縮あるいは伸張された様な印象を与えることが可能となる。、
なお、本変形例に対しても、上記〈変形例〉(ii)《1》〜《5》を同様に適用可能である。すなわち、本変形例において、強調関数F5は、「べき関数」であり、その指数は、上記〈変形例〉(ii)《1》〜《4》で説明した関数α1(A),α2(A),α3(A),α4(A,B)と同様の傾向を持つ関数であってよい。また、上記〈変形例〉(ii)《5》で説明したように、強調関数F5の演算結果には、上限あるいは下限が設けられていてもよい。
(iv)パラメータ自動設定
上記実施形態では、目標コントラスト設定部604および実コントラスト設定部605は、ユーザに対して目標コントラストC1および実コントラストC2の値を入力インターフェイスなどを介して設定させる、と説明した。ここで、目標コントラスト設定部604および実コントラスト設定部605は、目標コントラストC1および実コントラストC2の値を自動設定できるものであってもよい。
《1》ディスプレイ
出力信号OSを表示する表示装置がPDP,LCD,CRTなどのディスプレイであり、環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とが既知の場合に、実コントラストC2の値を自動設定する実コントラスト設定部605について説明する。
図33に実コントラストC2の値を自動設定する実コントラスト設定部605を示す。実コントラスト設定部605は、輝度測定部605aと、記憶部605bと、計算部605cとを備えている。
輝度測定部605aは、出力信号OSを表示するディスプレイの表示環境における環境光の輝度値を測定する輝度センサである。記憶部605bは、出力信号OSを表示するディスプレイが環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とを記憶している。計算部605cは、輝度測定部605aと記憶部605bとからそれぞれ値を取得し、実コントラストC2の値を計算する。
計算部605cの計算の一例を説明する。計算部605cは、輝度測定部605aから取得した環境光の輝度値を記憶部605bが記憶する黒レベルの輝度値および白レベルの輝度値のそれぞれに加算する。さらに、計算部605cは、黒レベルの輝度値への加算結果を用いて、白レベルの輝度値への加算結果を除算した値を実コントラストC2の値[n]として出力する。これにより、実コントラストC2の値[n]は、環境光が存在する表示環境においてディスプレイが表示するコントラスト値を示すこととなる。
また、図33に示した記憶部605bは、ディスプレイが環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)との比を目標コントラストC1の値[m]として記憶しているものであってもよい。この場合、実コントラスト設定部605は、目標コントラストC1を自動設定する目標コントラスト設定部604の機能を同時に果たすこととなる。なお、記憶部605bは、比を記憶しておらず、比は計算部605cにより計算されるものであってもよい。
《2》プロジェクタ
出力信号OSを表示する表示装置がプロジェクタなどであり、環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とがスクリーンまでの距離に依存する場合に、実コントラストC2の値を自動設定する実コントラスト設定部605について説明する。
図34に実コントラストC2の値を自動設定する実コントラスト設定部605を示す。実コントラスト設定部605は、輝度測定部605dと、制御部605eとを備えている。
輝度測定部605dは、プロジェクタにより表示された出力信号OSの表示環境における輝度値を測定する輝度センサである。制御部605eは、プロジェクタに対して、白レベルと黒レベルとの表示を行わせる。さらに、それぞれのレベルが表示される際の輝度値を輝度測定部605dから取得し、実コントラストC2の値を計算する。
図35を用いて、制御部605eの動作の一例を説明する。まず制御部605eは、環境光の存在する表示環境においてプロジェクタを動作させ、白レベルの表示を行わせる(ステップS620)。制御部605eは、輝度測定部605dから、測定された白レベルの輝度を取得する(ステップS621)。次に、制御部605eは、環境光の存在する表示環境においてプロジェクタを動作させ、黒レベルの表示を行わせる(ステップS622)。制御部605eは、輝度測定部605dから、測定された黒レベルの輝度を取得する(ステップS623)。制御部605eは、取得した白レベルの輝度値と黒レベルの輝度値との比を計算し、実コントラストC2の値として出力する。これにより、実コントラストC2の値[n]は、環境光が存在する表示環境においてプロジェクタが表示するコントラスト値を示すこととなる。
また、上記と同様にして、環境光が存在しない表示環境における白レベルと黒レベルとの比を計算することにより、目標コントラストC1の値[m]を導出することも可能である。この場合、実コントラスト設定部605は、目標コントラストC1を自動設定する目標コントラスト設定部604の機能を同時に果たすこととなる。
(v)他の信号空間
上記実施形態では、視覚処理装置600における処理は、入力信号ISの輝度について行うと説明した。ここで、本発明は、入力信号ISがYCbCr色空間で表されている場合のみに有効であるものではない。入力信号ISは、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、XYZ色空間、YPbPr色空間などで表されているものでもよい。これらの場合に、それぞれの色空間の輝度、明度に対して、上記実施形態で説明した処理を実行することが可能である。
また、入力信号ISがRGB色空間で表されている場合に、視覚処理装置600における処理は、RGBそれぞれの成分に対して独立に行われるものであってもよい。すなわち、入力信号ISのRGB成分に対して、目標コントラスト変換部601による処理が独立に行われ、目標コントラスト信号JSのRGB成分が出力される。さらに、目標コントラスト信号JSのRGB成分に対して、変換信号処理部602による処理が独立に行われ、視覚処理信号KSのRGB成分が出力される。さらに、視覚処理信号KSのRGB成分に対して、実コントラスト変換部603による処理が独立に行われ、出力信号OSのRGB成分が出力される。ここで、目標コントラストC1および実コントラストC2は、RGB成分それぞれの処理において、共通の値が用いられる。
(vi)色差補正処理
視覚処理装置600は、変換信号処理部602により処理された輝度成分の影響により出力信号OSの色相が入力信号ISの色相と異なるものとなることを抑制するため、色差補正処理部をさらに備えるものであってもよい。
図36に色差補正処理部608を備える視覚処理装置600を示す。なお、図24に示す視覚処理装置600と同様の構成については同じ符号を付す。なお、入力信号ISは、YCbCrの色空間を有するとし、Y成分については、上記実施形態で説明したのと同様の処理が行われるとする。以下、色差補正処理部608について説明する。
色差補正処理部608は、目標コントラスト信号JSを第1の入力(値[Yin])、視覚処理信号KSを第2の入力(値[Yout])、入力信号ISのCb成分を第3の入力(値[CBin])、入力信号ISのCr成分を第4の入力(値[CRin])とし、色差補正処理されたCb成分を第1の出力(値[CBout])、色差補正処理されたCr成分を第2の出力(値[CRout])とする。
図37に色差補正処理の概要を示す。色差補正処理部608は、[Yin]、[Yout]、[CBin]、[CRin]の4入力を有し、この4入力を演算することにより、[CBout]、[CRout]の2出力を得る。
[CBout]と[CRout]とは、[Yin]と[Yout]との差および比により、[CBin]と[CRin]とを補正する次式に基づいて導出される。
[CBout]は、a1*([Yout]−[Yin])*[CBin]+a2*(1−[Yout]/[Yin])*[CBin]+a3*([Yout]−[Yin])*[CRin]+a4*(1−[Yout]/[Yin])*[CRin]+[CBin]、に基づいて導出される(以下、式CBという)。
[CRout]は、a5*([Yout]−[Yin])*[CBin]+a6*(1−[Yout]/[Yin])*[CBin]+a7*([Yout]−[Yin])*[CRin]+a8*(1−[Yout]/[Yin])*[CRin]+[CRin]、に基づいて導出される(以下、式CRという)。
式CBおよび式CRにおける係数a1〜a8には、以下に説明する推定演算により事前に視覚処理装置600の外部の計算装置などによって決定された値が用いられている。
図38を用いて、計算装置などにおける係数a1〜a8の推定演算について説明する。
まず、[Yin]、[Yout]、[CBin]、[CRin]の4入力が取得される(ステップS630)。それぞれの入力の値は、係数a1〜a8を決定するためにあらかじめ用意されたデータである。例えば、[Yin]、[CBin]、[CRin]としては、それぞれが取りうる全ての値を所定の間隔で間引いた値などが用いられる。さらに[Yout]としては、[Yin]の値を変換信号処理部602に入力した場合に出力されうる値を所定の間隔で間引いた値などが用いられる。このようにして用意されたデータが、4入力として取得される。
取得された[Yin]、[CBin]、[CRin]は、Lab色空間に変換され、変換されたLab色空間における色度値[Ain]および[Bin]が計算される(ステップS631)。
次に、デフォルトの係数a1〜a8を用いて、「式CB」および「式CR」が計算され、[CBout]および[CRout]の値が取得される(ステップS632)。取得された値および[Yout]は、Lab色空間に変換され、変換されたLab色空間における色度値[Aout]および[Bout]が計算される(ステップS633)。
次に、計算された色度値[Ain]、[Bin]、[Aout]、[Bout]を用いて、評価関数が計算され(ステップS634)、評価関数の値が所定の閾値以下となるか判断される。ここで、評価関数は、[Ain]および[Bin]と、[Aout]および[Bout]との色相の変化が小さくなる場合に小さな値となる関数であり、例えば、それぞれの成分の偏差の自乗和といった関数である。より具体的には、評価関数は、([Ain]−[Aout])^2+([Bin]−[Bout])^2、などである。
評価関数の値が所定の閾値よりも大きい場合(ステップS635)、係数a1〜a8が修正され(ステップS636)、新たな係数を用いて、ステップS632〜ステップS635の演算が繰り返される。
評価関数の値が所定の閾値よりも小さい場合(ステップS635)、評価関数の計算に用いられた係数a1〜a8が推定演算の結果として出力される(ステップS637)。
なお、推定演算においては、あらかじめ用意した[Yin]、[Yout]、[CBin]、[CRin]の4入力の組み合わせのうちの1つを用いて係数a1〜a8を推定演算してもよいが、組み合わせのうちの複数を用いて上述の処理を行い、評価関数を最小とする係数a1〜a8を推定演算の結果として出力してもよい。
〔色差補正処理における変形例〕
《1》
上記色差補正処理部608では、目標コントラスト信号JSの値を[Yin]、視覚処理信号KSの値を[Yout]、入力信号ISのCb成分の値を[CBin]、入力信号ISのCr成分の値を[CRin]、出力信号OSのCb成分の値を[CBout]、出力信号OSのCr成分の値を[CRout]とした。ここで、[Yin]、[Yout]、[CBin]、[CRin]、[CBout]、[CRout]は、他の信号の値を表すものであってもよい。
例えば、入力信号ISがRGB色空間の信号である場合、目標コントラスト変換部601(図24参照)は、入力信号ISのそれぞれの成分に対して処理を行う。この場合、処理後のRGB色空間の信号をYCbCr色空間の信号に変換し、そのY成分の値を[Yin]、Cb成分の値を[CBin]、Cr成分の値を[CRin]としてもよい。
さらに、出力信号OSがRGB色空間の信号である場合、導出された[Yout]、[CBout]、[CRout]をRGB色空間に変換し、それぞれの成分に対して実コントラスト変換部603による変換処理を行い、出力信号OSとしてもよい。
《2》
色差補正処理部608は、変換信号処理部602の処理の前後における信号値の比を用いて、色差補正処理部608に入力されるRGB成分のそれぞれを補正処理するものであってもよい。
図39を用いて、変形例としての視覚処理装置600の構造について説明する。なお、図36に示す視覚処理装置600とほぼ同様の機能を果たす部分については、同じ符号を付し、説明を省略する。変形例としての視覚処理装置600は、特徴的な構成として、輝度信号生成部610を備えている。
RGB色空間の信号である入力信号ISのそれぞれの成分は、目標コントラスト変換部601において、RGB色空間の信号である目標コントラスト信号JSに変換される。詳しい処理については上述したため説明を省略する。ここで、目標コントラスト信号JSのそれぞれの成分の値を[Rin]、[Gin]、[Bin]とする。
輝度信号生成部610は、目標コントラスト信号JSのそれぞれの成分から、値[Yin]の輝度信号を生成する。輝度信号は、RGBのそれぞれの成分の値をある比率で足し合わせることにより求められる。例えば、値[Yin]は、次式、[Yin]=0.299*[Rin]+0.587*[Gin]+0.114*[Bin]、などにより求められる。
変換信号処理部602は、値[Yin]の輝度信号を処理し、値[Yout]の視覚処理信号KSを出力する。詳しい処理は、目標コントラスト信号JSから視覚処理信号KSを出力する変換信号処理部602(図36参照)における処理と同様であるため説明を省略する。
色差補正処理部608は、輝度信号(値[Yin])、視覚処理信号KS(値[Yout])、目標コントラスト信号JS(値[Rin]、[Gin]、[Bin])を用いて、RGB色空間の信号である色差補正信号(値[Rout]、[Gout]、[Bout])を出力する。
具体的には、色差補正処理部608では、値[Yin]と値[Yout]との比(値[[Yout]/[Yin]])が計算される。計算された比は、色差補正係数として、目標コントラスト信号JS(値[Rin]、[Gin]、[Bin])のそれぞれの成分に乗算される。これにより、色差補正信号(値[Rout]、[Gout]、[Bout])が出力される。
実コントラスト変換部603は、RGB色空間の信号である色差補正信号のそれぞれの成分に対して変換を行い、RGB色空間の信号である出力信号OSに変換する。詳しい処理については、上述したため説明を省略する。
変形例としての視覚処理装置600では、変換信号処理部602における処理は、輝度信号に対する処理のみであり、RGB成分のそれぞれについて処理を行う必要がない。このため、RGB色空間の入力信号ISに対しての視覚処理の負荷が軽減される。
《3》
「式CB」および「式CR」は、一例であり、他の式が用いられてもよい。
(vii)視覚処理部623
図24に示す視覚処理部623は、2次元LUTにより形成されていてもよい。
この場合、2次元LUTは、目標コントラスト信号JSの値とアンシャープ信号USの値とに対する視覚処理信号KSの値を格納している。より具体的には、[第1実施形態]〈プロファイルデータ〉(2)《第2プロファイルデータ》で説明した「式M2」に基づいて視覚処理信号KSの値が定められている。なお、「式M2」中、値Aとして目標コントラスト信号JSの値が、値Bとしてアンシャープ信号USの値が用いられる。
視覚処理装置600は、このような2次元LUTを記憶装置(図示せず)に複数備えている。ここで、記憶装置は、視覚処理装置600に内臓されていてもよいし、有線あるいは無線を介して外部に接続されていてもよい。記憶装置に記憶されるそれぞれの2次元LUTは、目標コントラストC1の値と実コントラストC2の値とに対して関連づけられている。すなわち、目標コントラストC1の値と実コントラストC2の値との組み合わせのそれぞれに対して、[第2実施形態]〈変換信号処理部602〉《変換信号処理部602の作用》で説明したのと同様の演算が行われ、2次元LUTとして記憶されている。
視覚処理部623は、目標コントラストC1と実コントラストC2との値を取得すると、記憶装置に記憶されている2次元LUTのうち、取得されたそれぞれの値に関連づけられた2次元LUTを読み込む。さらに、視覚処理部623は、読み込んだ2次元LUTを用いて、視覚処理を行う。具体的には、視覚処理部623は、目標コントラスト信号JSの値とアンシャープ信号USの値とを取得し、取得された値に対する視覚処理信号KSの値を2次元LUTから読み出し、視覚処理信号KSを出力する。
[第3実施形態]
〈1〉
本発明の第3実施形態として、上記第1実施形態および第2実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。
視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の視覚処理を行う装置であり、LSIなどの集積回路として実現される。
より詳しくは、上記実施形態の各機能ブロックは、個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
上記第1実施形態および第2実施形態で説明したそれぞれの視覚処理装置の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、図1の視覚処理装置1において2次元LUT4は、ハードディスク、ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、視覚処理部3は、視覚処理装置1に直接的に接続される、あるいはネットワークを介して間接的に接続されるプロファイルデータ登録装置8からプロファイルデータの提供を受け、2次元LUT4として登録する。
また、視覚処理装置は、動画像を取り扱う機器に内蔵、あるいは接続されて、フレーム毎(フィールド毎)の画像の階調処理を行う装置であってもよい。
また、視覚処理装置1では、上記第1実施形態で説明した視覚処理方法が実行される。
視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、ROMなどの記憶装置に記憶され、画像の視覚処理を実行するプログラムであり、例えば、CD−ROMなどの記録媒体を介して、あるいはネットワークを介して提供される。
〈2〉
上記第1実施形態および第2実施形態で説明した視覚処理装置は、図40〜図41に示す構成で表すことも可能である。
(1)
《構成》
図40は、例えば、図7を用いて示した視覚処理装置525と同様の機能を果たす視覚処理装置910の構成を示すブロック図である。
視覚処理装置910において、センサ911およびユーザ入力部912は、入力装置527(図7参照)と同様の機能を有する。より具体的には、センサ911は、視覚処理装置910が設置される環境、あるいは視覚処理装置910からの出力信号OSが表示される環境における環境光を検出するセンサであり、検出した値を環境光を表すパラメータP1として出力する。また、ユーザ入力部912は、ユーザに対して、環境光の強さを、例えば、「強・中・弱」の段階的に、あるいは無段階的(連続的)に設定させる装置であり、設定された値を環境光を表すパラメータP1として出力する。
出力部914は、プロファイルデータ登録部526(図7参照)と同様の機能を有する。より具体的には、出力部914は、環境光を表すパラメータP1の値に関連づけられた複数のプロファイルデータを備えている。ここで、プロファイルデータとは、入力信号ISと入力信号ISを空間処理した信号とに対する出力信号OSの値を与えるテーブル形式のデータである。さらに、出力部914は、取得した環境光を表すパラメータP1の値に対応するプロファイルデータを輝度調整パラメータP2として変換部915に出力する。
変換部915は、空間処理部2および視覚処理部3(図7参照)と同様の機能を有する。変換部915は、視覚処理の対象となる対象画素(着目画素)の輝度と、対象画素の周辺に位置する周辺画素の輝度と、輝度調整パラメータP2とを入力とし、対象画素の輝度を変換し、出力信号OSを出力する。
より具体的には、変換部915は、対象画素と周辺画素とを空間処理する。さらに、変換部915は、対象画素と空間処理した結果とに対応する出力信号OSの値をテーブル形式の輝度調整パラメータP2から読み出し、出力信号OSとして出力する。
《変形例》
(1)
上記構成において、輝度調整パラメータP2は、上記したプロファイルデータに限定されるものではない。例えば、輝度調整パラメータP2は、対象画素の輝度と周辺画素の輝度とから出力信号OSの値を演算する際に用いられる係数マトリクスデータであってもよい。ここで、係数マトリクスデータとは、対象画素の輝度と周辺画素の輝度とから出力信号OSの値を演算する際に用いられる関数の係数部分を格納したデータである。
(2)
出力部914は、環境光を表すパラメータP1の全ての値に対するプロファイルデータや係数マトリクスデータを備えている必要はない。この場合、取得された環境光を表すパラメータP1に応じて、備えられているプロファイルデータなどを適宜内分あるいは外分することにより適切なプロファイルデータなどを生成するものであってもよい。
(2)
《構成》
図41は、例えば、図24を用いて示した視覚処理装置600と同様の機能を果たす視覚処理装置920の構成を示すブロック図である。
視覚処理装置920では、出力部921が環境光を表すパラメータP1に加えて外部パラメータP3をさらに取得し、環境光を表すパラメータP1と外部パラメータP3とに基づいて輝度調整パラメータP2を出力する。
ここで、環境光を表すパラメータP1とは、上記(1)で記載したのと同様である。
また、外部パラメータP3とは、例えば、出力信号OSを視覚するユーザが求める視覚的効果を表すパラメータである。より具体的には、画像を視覚するユーザが求めるコントラストなどの値(目標コントラスト)である。ここで、外部パラメータP3は、目標コントラスト設定部604(図24参照)により設定される。あるいは、予め出力部921に記憶されたデフォルト値を用いて設定される。
出力部921は、環境光を表すパラメータP1から、図33や図34に示した構成により実コントラストの値を算出し、輝度調整パラメータP2として出力する。また、出力部921は、外部パラメータP3(目標コントラスト)を輝度調整パラメータP2として出力する。また、出力部921は、[第2実施形態]〈変形例〉(vii)で説明した2次元LUTに格納されるプロファイルデータを複数記憶しており、外部パラメータP3と環境光を表すパラメータP1から算出された実コントラストからプロファイルデータを選択し、そのテーブル形式のデータを輝度調整パラメータP2として出力する。
変換部922は、目標コントラスト変換部601,変換信号処理部602,実コントラスト変換部603(以上、図24参照)と同様の機能を有する。より具体的には、変換部922には、入力信号IS(対象画素の輝度および周辺画素の輝度)と、輝度調整パラメータP2とが入力され、出力信号OSが出力される。例えば、入力信号ISは、輝度調整パラメータP2として取得される目標コントラストを用いて、目標コントラスト信号JS(図24参照)に変換される。さらに、目標コントラスト信号JSが、空間処理され、アンシャープ信号US(図24参照)が導出される。
変換部922は、[第2実施形態]〈変形例〉(vii)で説明した変形例としての視覚処理部623を備えており、輝度調整パラメータP2として取得されたプロファイルデータと、目標コントラスト信号JSと、アンシャープ信号USとから、視覚処理信号KS(図24参照)が出力される。さらに、視覚処理信号KSは、輝度調整パラメータP2として取得される実コントラストを用いて、出力信号OSに変換される。
この視覚処理装置920では、外部パラメータP3と環境光を表すパラメータP1とに基づいて視覚処理に用いるプロファイルデータを選択することが可能となる、とともに、環境光による影響を補正し、環境光の存在する環境でも局所的なコントラストを改善し、出力信号OSを視覚するユーザの好みのコントラストに近づけることが可能となる。
《変形例》
なお、本構成においても、(1)で記載したのと同様の変形を行うことが可能である。
また、(1)に記載した構成と(2)に記載した構成とは、必要に応じて切り替えて用いることも可能である。切り替えは、外部からの切り替え信号を用いて行ってもよい。また、外部パラメータP3が存在するか否かでいずれの構成を用いるかを判断してもよい。
また、実コントラストは、出力部921で算出されると記載したが、実コントラストの値が出力部921に直接入力されるような構成であってもよい。
(3)
図41に示す構成では、出力部921から変換部922への入力が急激に変化しないようにするための手段をさらに採用することが可能である。
図42に示す視覚処理装置920’は、図41に示す視覚処理装置920に対して、環境光を表すパラメータP1の時間変化を緩やかにさせる調整部925を備える点において相違している。調整部925は、環境光を表すパラメータP1を入力とし、調整後の出力P4を出力とする。
これにより、出力部921は、急激な変化を伴わない環境光を表すパラメータP1を取得することが可能となり、この結果、出力部921の出力の時間変化も緩やかになる。
調整部925は、例えば、IIRフィルタにより実現される。ここで、IIRフィルタでは、調整部925の出力P4の値[P4]は、[P4]=k1*[P4]’+k2*[P1]により演算される。なお式中、k1,k2は、それぞれ正の値をとるパラメータであり、[P1]は、環境光を表すパラメータP1の値であり、[P4]’は、調整部925の出力P4の遅延出力(例えば、前回の出力)の値である。なお、調整部925における処理は、IIRフィルタ以外の構成を用いて行われてもよい。
さらに、調整部925は、図43に示す視覚処理装置920”のように、出力部921の出力側に備えられ、輝度調整パラメータP2の時間変化を直接緩やかにする手段であってもよい。
ここで、調整部925の動作は、上記したのと同様である。具体的には、調整部925の出力P4の値[P4]は、[P4]=k3*[P4]’+k4*[P2]により演算される。なお式中、k3,k4は、それぞれ正の値をとるパラメータであり、[P2]は、輝度調整パラメータP2の値であり、[P4]’は、調整部925の出力P4の遅延出力(例えば、前回の出力)の値である。なお、調整部925における処理は、IIRフィルタ以外の構成を用いて行われてもよい。
図42、図43などに示した構成により、環境光を表すパラメータP1、あるいは輝度調整パラメータP2の時間変化を制御することが可能となる。このため、例えば、環境光を検出するセンサ911が、センサの前を移動する人に応答し、短時間にパラメータが大きく変化した場合でも、急激なパラメータ変動を抑えることができる。この結果、表示画面のちらつきを抑えることができる。
[第4実施形態]
第4〜第6実施形態では、図104〜図107を用いて説明した従来の階調処理に対する以下の課題を解決することが可能となる。
〈従来の階調処理の課題〉
ヒストグラム作成部302(図104参照)では、画像領域Sm内の画素の明度ヒストグラムHmから階調変換曲線Cmを作成する。画像領域Smに適用する階調変換曲線Cmをより適切に作成するには、画像の暗部(シャドー)から明部(ハイライト)までを満遍なく有していることが必要であり、より多くの画素を参照する必要がある。このため、それぞれの画像領域Smをあまり小さくすることができない、すなわち原画像の分割数nをあまり大きくすることができない。分割数nとしては、画像内容によって異なるが、経験的に、4〜16の分割数が用いられている。
このように、それぞれの画像領域Smをあまり小さくすることができないため、階調処理後の出力信号OSにおいては、次の問題が発生することがある。すなわち、それぞれの画像領域Smごとに1つの階調変換曲線Cmを用いて階調処理するため、それぞれの画像領域Smの境界のつなぎ目が不自然に目立ったり、画像領域Sm内で疑似輪郭が発生する場合がある。また、分割数がせいぜい4〜16では画像領域Smが大きいため、画像領域間で極端に異なる画像が存在する場合、画像領域間の濃淡変化が大きく、擬似輪郭の発生を防止することが難しい。例えば、図105(b)、図105(c)のように、画像(例えば、画像中の物体など)と画像領域Smとの位置関係で極端に濃淡が変化する。
以下、第4〜第6実施形態では、図44〜図64を用いて、従来の階調処理に対する上記課題を解決可能な視覚処理装置について説明する。
〈第4実施形態としての視覚処理装置101の特徴〉
本発明の第4実施形態としての視覚処理装置101について図44〜図48を用いて説明する。視覚処理装置101は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置101は、従来に比して細かく分割された画像領域のそれぞれについて階調処理を行う点を特徴として有している。
〈構成〉
図44に、視覚処理装置101の構造を説明するブロック図を示す。視覚処理装置101は、入力信号ISとして入力される原画像を複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割する画像分割部102と、それぞれの画像領域Pmに対して階調変換曲線Cmを導出する階調変換曲線導出部110と、階調変換曲線Cmをロードしそれぞれの画像領域Pmに対して階調処理した出力信号OSを出力する階調処理部105とを備えている。階調変換曲線導出部110は、それぞれの画像領域Pmと画像領域Pm周辺の画像領域とから構成される広域画像領域Emの画素の明度ヒストグラムHmを作成するヒストグラム作成部103と、作成された明度ヒストグラムHmからそれぞれの画像領域Pmに対する階調変換曲線Cmを作成する階調曲線作成部104とから構成される。
〈作用〉
図45〜図47を用いて、各部の動作について説明を加える。画像分割部102は、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図45参照。)。ここで、原画像の分割数は、図104に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
ヒストグラム作成部103は、それぞれの画像領域Pmに対して広域画像領域Emの明度ヒストグラムHmを作成する。ここで、広域画像領域Emとは、それぞれの画像領域Pmを含む複数の画像領域の集合であり、例えば、画像領域Pmを中心とする縦方向5ブロック、横方向5ブロックの25個の画像領域の集合である。なお、画像領域Pmの位置によっては、画像領域Pmの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Plに対して、画像領域Plの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Elを取ることができない。この場合には、画像領域Plを中心とする縦方向5ブロック横方向5ブロックの領域と原画像とが重なる領域が広域画像領域Elとして採用される。ヒストグラム作成部103が作成する明度ヒストグラムHmは広域画像領域Em内の全画素の明度値の分布状態を示している。すなわち、図46(a)〜(c)に示す明度ヒストグラムHmにおいて、横軸は入力信号ISの明度レベルを、縦軸は画素数を示している。
階調曲線作成部104は、広域画像領域Emの明度ヒストグラムHmの「画素数」を明度の順に累積し、この累積曲線を画像領域Pmの階調変換曲線Cmとする(図47参照。)。図47に示す階調変換曲線Cmにおいて、横軸は入力信号ISにおける画像領域Pmの画素の明度値を、縦軸は出力信号OSにおける画像領域Pmの画素の明度値を示している。階調処理部105は、階調変換曲線Cmをロードし階調変換曲線Cmに基づいて、入力信号ISにおける画像領域Pmの画素の明度値を変換する。
〈視覚処理方法および視覚処理プログラム〉
図48に、視覚処理装置101における視覚処理方法を説明するフローチャートを示す。図48に示す視覚処理方法は、視覚処理装置101においてハードウェアにより実現され、入力信号IS(図1参照)の階調処理を行う方法である。図48に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS110〜S116)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS111)、画像領域Pm毎に階調処理される(ステップS112〜S115)。
それぞれの画像領域Pmと画像領域Pm周辺の画像領域とから構成される広域画像領域Emの画素の明度ヒストグラムHmが作成される(ステップS112)。さらに、明度ヒストグラムHmに基づいて、それぞれの画像領域Pmに対する階調変換曲線Cmが作成される(ステップS113)。ここで、明度ヒストグラムHmおよび階調変換曲線Cmについては、説明を省略する(上記〈作用〉の欄参照。)。作成された階調変換曲線Cmを用いて、画像領域Pmの画素について階調処理が行われる(ステップS114)。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS115)、処理が終了したと判定されるまで、ステップS112〜S115の処理を原画像の分割数回繰り返す。以上により、画像単位の処理が終了する(ステップS116)。
なお、図48に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
(1)
階調変換曲線Cmは、それぞれの画像領域Pmに対して作成される。このため、原画像全体に対して同一の階調変換を行う場合に比して、適切な階調処理を行うことが可能となる。
(2)
それぞれの画像領域Pmに対して作成される階調変換曲線Cmは、広域画像領域Emの明度ヒストグラムHmに基づいて作成される。このため、画像領域Pm毎の大きさは小さくとも十分な明度値のサンプリングが可能となる。またこの結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmを作成することが可能となる。
(3)
隣接する画像領域に対する広域画像領域は、重なりを有している。このため、隣接する画像領域に対する階調変換曲線は、お互いに似通った傾向を示すことが多い。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、隣接する画像領域の境界のつなぎ目が不自然に目立つことが防止可能となる。
(4)
それぞれの画像領域Pmの大きさは、従来に比して小さい。このため、画像領域Pm内での疑似輪郭の発生を抑えることが可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
上記実施形態では、原画像の分割数の一例として、4800分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果(例えば、疑似輪郭の抑制など)を得ることが可能となる。
(2)
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、25個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。
[第5実施形態]
〈第5実施形態としての視覚処理装置111の特徴〉
本発明の第5実施形態としての視覚処理装置111について図49〜図61を用いて説明する。視覚処理装置111は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置111は、あらかじめLUTとして記憶した複数の階調変換曲線を切り換えて用いる点を特徴として有している。
〈構成〉
図49に、視覚処理装置111の構造を説明するブロック図を示す。視覚処理装置111は、画像分割部112と、選択信号導出部113と、階調処理部120とを備えている。画像分割部112は、入力信号ISを入力とし、入力信号ISとして入力される原画像を複数に分割した画像領域Pm(1≦m≦n:nは原画像の分割数)を出力とする。選択信号導出部113は、それぞれの画像領域Pmの階調処理に適用される階調変換曲線Cmを選択するための選択信号Smを出力する。階調処理部120は、階調処理実行部114と、階調補正部115とを備えている。階調処理実行部114は、複数の階調変換曲線候補G1〜Gp(pは候補数)を2次元LUTとして備えており、入力信号ISと選択信号Smとを入力とし、それぞれの画像領域Pm内の画素について階調処理した階調処理信号CSを出力とする。階調補正部115は、階調処理信号CSを入力とし、階調処理信号CSの階調を補正した出力信号OSを出力とする。
(階調変換曲線候補について)
図50を用いて、階調変換曲線候補G1〜Gpについて説明する。階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値と階調処理信号CSの画素の明度値との関係を与える曲線である。図50において、横軸は入力信号ISにおける画素の明度値を、縦軸は階調処理信号CSにおける画素の明度値を示している。階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしている。例えば、階調変換曲線候補G1〜Gpがそれぞれ入力信号ISの画素の明度値を変数とする「べき関数」であり、Gm=x^(δm)と表される場合(1≦m≦p、xは変数、δmは定数)、δ1≦δ2≦・・・≦δpの関係を満たしている。ここで、入力信号ISの明度値は、値[0.0〜1.0]の範囲であるとする。
なお、以上の階調変換曲線候補G1〜Gpの関係は、添え字の大きい階調変換曲線候補について、入力信号ISが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号ISが大きい場合、において、成立していなくてもよい。このような場合は、ほとんど無く、画質への影響が小さいためである。
階調処理実行部114は、階調変換曲線候補G1〜Gpを2次元LUTとして備えている。すなわち、2次元LUTは、入力信号ISの画素の明度値と階調変換曲線候補G1〜Gpを選択する選択信号Smとに対して、階調処理信号CSの画素の明度値を与えるルックアップテーブル(LUT)である。図51に、この2次元LUTの一例を示す。図51に示す2次元LUT141は、64行64列のマトリクスであり、それぞれの階調変換曲線候補G1〜G64を行方向(横方向)に並べたものとなっている。マトリクスの列方向(縦方向)には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値、すなわち64段階に分けられた入力信号ISの値に対する階調処理信号CSの画素値が並んでいる。階調処理信号CSの画素値は、階調変換曲線候補G1〜Gpが「べき関数」である場合、例えば、値[0.0〜1.0]の範囲の値を有する。
〈作用〉
各部の動作について説明を加える。画像分割部112は、図44の画像分割部102とほぼ同様に動作し、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図45参照)。ここで、原画像の分割数は、図104に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
選択信号導出部113は、それぞれの画像領域Pmに対して適用される階調変換曲線Cmを階調変換曲線候補G1〜Gpの中から選択する。具体的には、選択信号導出部113は、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択を行う。すなわち、階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。
ここで、広域画像領域Emとは、[第4実施形態]において図45を用いて説明したのと同様である。すなわち、広域画像領域Emは、それぞれの画像領域Pmを含む複数の画像領域の集合であり、例えば、画像領域Pmを中心とする縦方向5ブロック、横方向5ブロックの25個の画像領域の集合である。なお、画像領域Pmの位置によっては、画像領域Pmの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Plに対して、画像領域Plの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Elを取ることができない。この場合には、画像領域Plを中心とする縦方向5ブロック横方向5ブロックの領域と原画像とが重なる領域が広域画像領域Elとして採用される。
選択信号導出部113の選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。
階調処理実行部114は、入力信号ISが含む画像領域Pmの画素の明度値と選択信号Smとを入力とし、例えば、図51に示す2次元LUT141を用いて、階調処理信号CSの明度値を出力する。
階調補正部115は、階調処理信号CSが含む画像領域Pmの画素の明度値を画素の位置と画像領域Pmおよび画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正する。例えば、画像領域Pmが含む画素に適用された階調変換曲線Cmと画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値を求める。
図52を用いて、階調補正部115の動作についてさらに詳しく説明する。図52は、画像領域Po,Pp,Pq,Pr(o,p,q,rは分割数n(図45参照。)以下の正整数)の階調変換曲線Co,Cp,Cq,Crが階調変換曲線候補Gs,Gt,Gu,Gv(s,t,u,vは階調変換曲線の候補数p以下の正整数)と選択されたことを示している。
ここで、階調補正の対象となる画像領域Poの画素x(明度値[x]とする)の位置を、画像領域Poの中心と画像領域Ppの中心とを[i:1−i]に内分し、かつ、画像領域Poの中心と画像領域Pqの中心とを[j:1−j]に内分する位置であるとする。この場合、階調補正後の画素xの明度値[x’]は、[x’]={(1−j)・(1−i)・[Gs]+(1−j)・(i)・[Gt]+(j)・(1−i)・[Gu]+(j)・(i)・[Gv]}・{[x]/[Gs]}と求められる。なお、[Gs],[Gt],[Gu],[Gv]は、明度値[x]に対して、階調変換曲線候補Gs,Gt,Gu,Gvを適用した場合の明度値であるとする。
〈視覚処理方法および視覚処理プログラム〉
図53に、視覚処理装置111における視覚処理方法を説明するフローチャートを示す。図53に示す視覚処理方法は、視覚処理装置111においてハードウェアにより実現され、入力信号IS(図49参照)の階調処理を行う方法である。図53に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS120〜S126)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS121)、画像領域Pm毎に階調処理される(ステップS122〜S124)。
画像領域Pm毎の処理では、それぞれの画像領域Pmに対して適用される階調変換曲線Cmが階調変換曲線候補G1〜Gpの中から選択される(ステップS122)。具体的には、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択が行われる。階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。ここで、広域画像領域Emについては、説明を省略する(上記〈作用〉の欄参照。)。
入力信号ISが含む画像領域Pmの画素の明度値と階調変換曲線候補G1〜GpのうちステップS122で選択された階調変換曲線候補を示す選択信号Smとに対して、例えば、図51に示す2次元LUT141を用いて、階調処理信号CSの明度値が出力される(ステップS123)。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS124)、処理が終了したと判定されるまで、ステップS122〜S124の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。
階調処理信号CSが含む画像領域Pmの画素の明度値は、画素の位置と画像領域Pmおよび画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正される(ステップS125)。例えば、画像領域Pmが含む画素に適用された階調変換曲線Cmと画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値が求められる。補正の詳細な内容については、説明を省略する(上記〈作用〉の欄、図52参照。)。
以上により、画像単位の処理が終了する(ステップS126)。
なお、図53に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
本発明により、上記[第4実施形態]の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第5実施形態特有の効果を記載する。
(1)
それぞれの画像領域Pmに対して選択される階調変換曲線Cmは、広域画像領域Emの平均明度値に基づいて作成される。このため、画像領域Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmを選択して適用することが可能となる。
(2)
階調処理実行部114は、あらかじめ作成された2次元LUTを有している。このため、階調処理に要する処理負荷、より具体的には、階調変換曲線Cmの作成に要する処理負荷を削減することが可能となる。この結果、画像領域Pmの階調処理に要する処理を高速化することが可能となる。
(3)
階調処理実行部114は、2次元LUTを用いて階調処理を実行する。2次元LUTは、視覚処理装置111が備えるハードディスクあるいはROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す2次元LUTの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。
(4)
階調補正部115は、1つの階調変換曲線Cmを用いて階調処理された画像領域Pmの画素の階調を補正する。このため、より適切に階調処理された出力信号OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号OSにおいては、それぞれの画像領域Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
上記実施形態では、原画像の分割数の一例として、4800分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果(例えば、疑似輪郭の抑制された画像など)を得ることが可能となる。
(2)
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、25個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。
(3)
上記実施形態では、64行64列のマトリクスからなる2次元LUT141を2次元LUTの一例とした。ここで、本発明の効果は、このサイズの2次元LUTに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ISの画素値をさらに細かいステップに区切った値に対する階調処理信号CSの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば10ビットで表される入力信号ISのそれぞれの画素値に対して、階調処理信号CSの画素値を並べたもので有っても良い。
2次元LUTのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、2次元LUTを記憶するメモリの削減などが可能となる。
(4)
上記実施形態では、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値、すなわち64段階に分けられた入力信号ISの値に対する階調処理信号CSの画素値が並んでいる、と説明した。ここで、階調処理信号CSは、階調処理実行部114により、入力信号ISの画素値の下位4ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分が並んでおり、入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分と、入力信号ISの画素値の上位6ビットの値に[1]を加えた値に対するマトリクスの成分(例えば、図51では、1行下の成分)とを入力信号ISの画素値の下位4ビットの値を用いて線形補間し、階調処理信号CSとして出力する。
これにより、2次元LUT141(図51参照)のサイズが小さくとも、より適切な階調処理を行うことが可能となる。
(5)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択すると説明した。ここで、階調変換曲線Cmの選択方法は、この方法に限られない。例えば、広域画像領域Emの最大明度値、あるいは最小明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択してもよい。なお、階調変換曲線Cmの選択に際して、選択信号Smの値[Sm]は、広域画像領域Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。この場合、選択信号Smの取りうる値を64段階に分けたそれぞれの値に対して、階調変換曲線候補G1〜G64が関連付けられていることとなる。
また例えば、次のようにして画像領域Pmに適用する階調変換曲線Cmを選択してもよい。すなわち、それぞれの画像領域Pmについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域Pmについての仮の選択信号Sm’を求める。ここで、仮の選択信号Sm’は、階調変換曲線候補G1〜Gpの添え字の番号を値としている。さらに、広域画像領域Emが含むそれぞれの画像領域について、仮の選択信号Sm’の値を平均し、画像領域Pmの選択信号Smの値[Sm]を求め、階調変換曲線候補G1〜Gpのうち値[Sm]に最も近い整数を添え字とする候補を階調変換曲線Cmとして選択する。
(6)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択すると説明した。ここで、広域画像領域Emの単純平均でなく、加重平均(重み付き平均)に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択してもよい。例えば、図54に示すように、広域画像領域Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域Pmの平均明度値と大きく異なる平均明度値を持つ画像領域Ps1,Ps2,・・・については、重み付けを軽くして、あるいは除外して、広域画像領域Emの平均明度値を求める。
これにより、広域画像領域Emが明度的に特異的な領域を含む場合(例えば、広域画像領域Emが2つの明度値の異なる物体の境界を含む場合)であっても、画像領域Pmに適用される階調変換曲線Cmの選択に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な階調処理が行われることとなる。
(7)
上記実施形態において、階調補正部115の存在は任意としても良い。すなわち、階調処理信号CSを出力とした場合であっても、従来の視覚処理装置300(図104参照)に比して、[第4実施形態]の〈効果〉に記載したのと同様の効果、および[第5実施形態]の〈効果〉(1)および(2)に記載したのと同様の効果を得ることが可能である。
(8)
上記実施形態では、階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしていると説明した。ここで、2次元LUTが備える階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値の一部に対して、G1≧G2≧・・・≧Gpの関係を満たしていなくてもよい。すなわち、階調変換曲線候補G1〜Gpのいずれかが、互いに交差する関係にあってもよい。
例えば、暗い夜景の中にある小さい明かりの部分など(夜景の中にあるネオン部分など)、入力信号ISの値は大きいが、広域画像領域Emの平均明度値は小さい場合、階調処理された画像信号の値が画質に与える影響は小さい。このような場合には、2次元LUTが備える階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値の一部に対して、G1≧G2≧・・・≧Gpの関係を満たしていなくてもよい。すなわち、階調処理後の値が画質に与える影響が小さい部分では、2次元LUTが格納する値は、任意であってよい。
なお、2次元LUTが格納する値が任意である場合にも、同じ値の入力信号ISと選択信号Smとに対して格納されている値は、入力信号ISと選択信号Smとの値に対して、単調増加、あるいは単調減少する関係を維持していることが望ましい。
また、上記実施形態では、2次元LUTが備える階調変換曲線候補G1〜Gpは、「べき関数」であると説明した。ここで、階調変換曲線候補G1〜Gpは、厳密に「べき関数」として定式化されるもので無くともよい。また、S字、逆S字などといった形状を有する関数であってもよい。
(9)
視覚処理装置111では、2次元LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置101(図44参照)における画像分割部102と階調変換曲線導出部110とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして2次元LUTに格納する。
また、2次元LUTに格納される階調変換曲線のそれぞれは、空間処理された入力信号ISに関連づけられていてもかまわない。この場合、視覚処理装置111では、画像分割部112と選択信号導出部113とを、入力信号ISを空間処理する空間処理部に置き換えても良い。
(10)
上記実施形態において、入力信号ISの画素の明度値は、値[0.0〜1.0]の範囲の値でなくてもよい。入力信号ISが他の範囲の値として入力される場合には、その範囲の値を値[0.0〜1.0]に正規化して用いてもよい。また、正規化は行わず、上記した処理において取り扱う値を適宜変更してもよい。
(11)
階調変換曲線候補G1〜Gpのそれぞれは、通常のダイナミックレンジよりも広いダイナミックレンジを有する入力信号ISを階調処理し、通常のダイナミックレンジの階調処理信号CSを出力する階調変換曲線であってもよい。
近年、S/Nの良いCCDを光量を絞って使用する、電子シャッタを長短2回開く、あるいは低感度・高感度の画素を持つセンサを使用する、などの方法により、通常のダイナミックレンジよりも1〜3桁広いダイナミックレンジを扱うことができる機器の開発が進んでいる。
これに伴って、入力信号ISが通常のダイナミックレンジ(例えば、値[0.0〜1.0]の範囲の信号)よりも広いダイナミックレンジを有する場合にも、適切に階調処理することが求められている。
ここで、図55に示すように、値[0.0〜1.0]を超える範囲の入力信号ISに対しても、値[0.0〜1.0]の階調処理信号CSを出力するような階調変換曲線を用いる。
これにより、広いダイナミックレンジを有する入力信号ISに対しても、適切な階調処理を行い、通常のダイナミックレンジの階調処理信号CSを出力することが可能となる。
また、上記実施形態では、「階調処理信号CSの画素値は、階調変換曲線候補G1〜Gpが「べき関数」である場合、例えば、値[0.0〜1.0]の範囲の値を有する。」と記載した。ここで、階調処理信号CSの画素値は、この範囲に限られない。例えば、値[0.0〜1.0]の入力信号ISに対して、階調変換曲線候補G1〜Gpは、ダイナミックレンジ圧縮を行うものであってもよい。
(12)
上記実施形態では、「階調処理実行部114は、階調変換曲線候補G1〜Gpを2次元LUTとして有している。」と説明した。ここで、階調処理実行部114は、階調変換曲線候補G1〜Gpを特定するための曲線パラメータと選択信号Smとの関係を格納する1次元LUTを有するものであってもよい。
《構成》
図56に、階調処理実行部114の変形例としての階調処理実行部144の構造を説明するブロック図を示す。階調処理実行部144は、入力信号ISと選択信号Smとを入力とし、階調処理された入力信号ISである階調処理信号CSを出力とする。階調処理実行部144は、曲線パラメータ出力部145と演算部148とを備えている。
曲線パラメータ出力部145は、第1LUT146と第2LUT147から構成される。第1LUT146および第2LUT147は、選択信号Smを入力とし、選択信号Smが指定する階調変換曲線候補Gmの曲線パラメータP1およびP2をそれぞれ出力する。
演算部148は、曲線パラメータP1およびP2と、入力信号ISとを入力とし、階調処理信号CSを出力とする。
《1次元LUTについて》
第1LUT146および第2LUT147は、それぞれ選択信号Smに対する曲線パラメータP1およびP2の値を格納する1次元LUTである。第1LUT146および第2LUT147について詳しく説明する前に、曲線パラメータP1およびP2の内容について説明する。
図57を用いて、曲線パラメータP1およびP2と、階調変換曲線候補G1〜Gpとの関係について説明する。図57は、階調変換曲線候補G1〜Gpを示している。ここで、階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしている。なお、以上の階調変換曲線候補G1〜Gpの関係は、添え字の大きい階調変換曲線候補について、入力信号ISが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号ISが大きい場合、などにおいて成立していなくてもよい。
曲線パラメータP1およびP2は、入力信号ISの所定の値に対する階調処理信号CSの値として出力される。すなわち、選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、入力信号ISの所定の値[X1]に対する階調変換曲線候補Gmの値[R1m]として出力され、曲線パラメータP2の値は、入力信号ISの所定の値[X2]に対する階調変換曲線候補Gmの値[R2m]として出力される。ここで、値[X2]は、値[X1]よりも大きい値である。
次に、第1LUT146および第2LUT147について説明する。
第1LUT146および第2LUT147は、それぞれ選択信号Smに対する曲線パラメータP1およびP2の値を格納している。より具体的には、例えば、6ビットの信号として与えられるそれぞれの選択信号Smに対して、曲線パラメータP1およびP2の値がそれぞれ6ビットで与えられる。ここで、選択信号Smや曲線パラメータP1およびP2にたいして確保されるビット数はこれに限られない。
図58を用いて、曲線パラメータP1およびP2と、選択信号Smとの関係について説明する。図58は、選択信号Smに対する曲線パラメータP1およびP2の値の変化を示している。第1LUT146および第2LUT147には、それぞれの選択信号Smに対する曲線パラメータP1およびP2の値が格納されている。例えば、選択信号Smに対する曲線パラメータP1の値として、値[R1m]が格納されており、曲線パラメータP2の値として、値[R2m]が格納されている。
以上の第1LUT146および第2LUT147により、入力された選択信号Smに対して、曲線パラメータP1およびP2が出力される。
《演算部148について》
演算部148は、取得した曲線パラメータP1およびP2(値[R1m]および値[R2m])に基づいて、入力信号ISに対する階調処理信号CSを導出する。具体的な手順を以下記載する。ここで、入力信号ISの値は、値[0.0〜1.0]の範囲で与えられるものとする。また、階調変換曲線候補G1〜Gpは、値[0.0〜1.0]の範囲で与えられる入力信号ISを、値[0.0〜1.0]の範囲に階調変換するものとする。なお、本発明は、入力信号ISをこの範囲に限定しない場合にも適用可能である。
まず、演算部148は、入力信号ISの値と、所定の値[X1],[X2]との比較を行う。
入力信号ISの値(値[X]とする)が[0.0]以上[X1]未満である場合、図57における原点と座標([X1],[R1m])とを結ぶ直線上において、値[X]に対する階調処理信号CSの値(値[Y]とする)が求められる。より具体的には、値[Y]は、次式[Y]=([X]/[X1])*[R1m]、により求められる。
入力信号ISの値が[X1]以上[X2]未満である場合、図57における座標([X1],[R1m])と座標([X2],[R2m])とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[R1m]+{([R2m]−[R1m])/([X2]−[X1])}*([X]−[X1])、により求められる。
入力信号ISの値が[X2]以上[1.0]以下である場合、図57における座標([X2],[R2m])と座標([1.0],[1.0])とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[R2m]+{([1.0]−[R2m])/([1.0]−[X2])}*([X]−[X2])、により求められる。
以上の演算により、演算部148は、入力信号ISに対する階調処理信号CSを導出する。
《階調処理方法・プログラム》
上述の処理は、階調処理プログラムとして、コンピュータなどにより実行されるものであってもよい。階調処理プログラムは、以下記載する階調処理方法をコンピュータに実行させるためのプログラムである。
階調処理方法は、入力信号ISと選択信号Smとを取得し、階調処理信号CSを出力する方法であって、入力信号ISを1次元LUTを用いて階調処理する点に特徴を有している。
まず、選択信号Smが取得されると、第1LUT146および第2LUT147から曲線パラメータP1およびP2が出力される。第1LUT146、第2LUT147、曲線パラメータP1およびP2については、詳細な説明を省略する。
さらに、曲線パラメータP1およびP2に基づいて、入力信号ISの階調処理が行われる。階調処理の詳しい内容は、演算部148についての説明のなかで記載したため省略する。
以上の階調処理方法により、入力信号ISに対する階調処理信号CSが導出される。
《効果》
階調処理実行部114の変形例としての階調処理実行部144では、2次元LUTではなく、2つの1次元LUTを備えている。このため、ルックアップテーブルを記憶するための記憶容量を削減することが可能となる。
《変形例》
(1)
上記変形例では、「曲線パラメータP1およびP2の値は、入力信号ISの所定の値に対する階調変換曲線候補Gmの値である。」、と説明した。ここで、曲線パラメータP1およびP2は、階調変換曲線候補Gmの他の曲線パラメータであってもよい。以下、具体的に説明を加える。
(1−1)
曲線パラメータは、階調変換曲線候補Gmの傾きであってもよい。図57を用いて具体的に説明する。選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、入力信号ISの所定の範囲[0.0〜X1]における階調変換曲線候補Gmの傾きの値[K1m]であり、曲線パラメータP2の値は、入力信号ISの所定の範囲[X1〜X2]における階調変換曲線候補Gmの傾きの値[K2m]である。
図59を用いて、曲線パラメータP1およびP2と、選択信号Smとの関係について説明する。図59は、選択信号Smに対する曲線パラメータP1およびP2の値の変化を示している。第1LUT146および第2LUT147には、それぞれの選択信号Smに対する曲線パラメータP1およびP2の値が格納されている。例えば、選択信号Smに対する曲線パラメータP1の値として、値[K1m]が格納されており、曲線パラメータP2の値として、値[K2m]が格納されている。
以上の第1LUT146および第2LUT147により、入力された選択信号Smに対して、曲線パラメータP1およびP2が出力される。
演算部148では、取得した曲線パラメータP1およびP2に基づいて、入力信号ISに対する階調処理信号CSを導出する。具体的な手順を以下記載する。
まず、演算部148は、入力信号ISの値と、所定の値[X1],[X2]との比較を行う。
入力信号ISの値(値[X]とする)が[0.0]以上[X1]未満である場合、図57における原点と座標([X1],[K1m]*[X1](以下、[Y1]と記載する))とを結ぶ直線上において、値[X]に対する階調処理信号CSの値(値[Y]とする)が求められる。より具体的には、値[Y]は、次式[Y]=[K1m]*[X]、により求められる。
入力信号ISの値が[X1]以上[X2]未満である場合、図57における座標([X1],[Y1])と座標([X2],[K1m]*[X1]+[K2m]*([X2]−[X1])(以下、[Y2]と記載する))とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[Y1]+[K2m]*([X]−[X1])、により求められる。
入力信号ISの値が[X2]以上[1.0]以下である場合、図57における座標([X2],[Y2])と座標(1.0,1.0)とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[Y2]+{([1.0]−[Y2])/([1.0]−[X2])}*([X]−[X2])、により求められる。
以上の演算により、演算部148は、入力信号ISに対する階調処理信号CSを導出する。
(1−2)
曲線パラメータは、階調変換曲線候補Gm上の座標であってもよい。図60を用いて具体的に説明する。選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、階調変換曲線候補Gm上の座標の一方の成分の値[Mm]であり、曲線パラメータP2の値は、階調変換曲線候補Gm上の座標の他方の成分の値[Nm]である。さらに、階調変換曲線候補G1〜Gpは、全て座標(X1,Y1)を通過する曲線である。
図61を用いて、曲線パラメータP1およびP2と、選択信号Smとの関係について説明する。図61は、選択信号Smに対する曲線パラメータP1およびP2の値の変化を示している。第1LUT146および第2LUT147には、それぞれの選択信号Smに対する曲線パラメータP1およびP2の値が格納されている。例えば、選択信号Smに対する曲線パラメータP1の値として、値[Mm]が格納されており、曲線パラメータP2の値として、値[Nm]が格納されている。
以上の第1LUT146および第2LUT147により、入力された選択信号Smに対して、曲線パラメータP1およびP2が出力される。
演算部148では、図57を用いて説明した変形例と同様の処理により、入力信号ISから階調処理信号CSが導出される。詳しい説明は、省略する。
(1−3)
以上の変形例は、一例であり、曲線パラメータP1およびP2は、階調変換曲線候補Gmのさらに他の曲線パラメータであってもよい。
また、曲線パラメータの個数も上記に限られない。さらに少なくてもよいし、さらに多くてもよい。
演算部148についての説明では、階調変換曲線候補G1〜Gpが直線の線分から構成される曲線である場合についての演算について記載した。ここで、階調変換曲線候補G1〜Gp上の座標が曲線パラメータとして与えられる場合には、与えられた座標を通過する滑らかな曲線が作成され(カーブフィッティング)、作成された曲線を用いて、階調変換処理が行われるものであってもよい。
(2)
上記変形例では、「曲線パラメータ出力部145は、第1LUT146と第2LUT147から構成される。」と説明した。ここで、曲線パラメータ出力部145は、選択信号Smの値に対する曲線パラメータP1およびP2の値を格納するLUTを備えないものであってもよい。
この場合、曲線パラメータ出力部145は、曲線パラメータP1およびP2の値を演算する。より具体的には、曲線パラメータ出力部145は、図58、図59、図61などに示される曲線パラメータP1およびP2のグラフを表すパラメータを記憶している。曲線パラメータ出力部145は、記憶されたパラメータから曲線パラメータP1およびP2のグラフを特定する。さらに、曲線パラメータP1およびP2のグラフを用いて、選択信号Smに対する曲線パラメータP1およびP2の値を出力する。
ここで、曲線パラメータP1およびP2のグラフを特定するためのパラメータとは、グラフ上の座標、グラフの傾き、曲率などである。例えば、曲線パラメータ出力部145は、図58に示す曲線パラメータP1およびP2のグラフ上のそれぞれ2点の座標を記憶しており、この2点の座標を結ぶ直線を、曲線パラメータP1およびP2のグラフとして用いる。
ここで、パラメータから曲線パラメータP1およびP2のグラフを特定する際には、直線近似だけでなく、折れ線近似、曲線近似などを用いてもよい。
これにより、LUTを記憶するためのメモリを用いずに曲線パラメータを出力することが可能となる。すなわち、装置が備えるメモリの容量をさらに削減することが可能となる。
[第6実施形態]
〈第6実施形態としての視覚処理装置121の特徴〉
本発明の第6実施形態としての視覚処理装置121について図62〜図64を用いて説明する。視覚処理装置121は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置121は、あらかじめLUTとして記憶した複数の階調変換曲線を階調処理の対象となる画素ごとに切り換えて用いる点を特徴として有している。
〈構成〉
図62に、視覚処理装置121の構造を説明するブロック図を示す。視覚処理装置121は、画像分割部122と、選択信号導出部123と、階調処理部130とを備えている。画像分割部122は、入力信号ISを入力とし、入力信号ISとして入力される原画像を複数に分割した画像領域Pm(1≦m≦n:nは原画像の分割数)を出力とする。選択信号導出部123は、それぞれの画像領域Pmに対して階調変換曲線Cmを選択するための選択信号Smを出力する。階調処理部130は、選択信号補正部124と、階調処理実行部125とを備えている。選択信号補正部124は、選択信号Smを入力とし、それぞれの画像領域Pm毎の選択信号Smを補正した信号である画素毎の選択信号SSを出力する。階調処理実行部125は、複数の階調変換曲線候補G1〜Gp(pは候補数)を2次元LUTとして備えており、入力信号ISと画素毎の選択信号SSとを入力とし、それぞれの画素について階調処理した出力信号OSを出力とする。
(階調変換曲線候補について)
階調変換曲線候補G1〜Gpについては、[第5実施形態]において図50を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値と出力信号OSの画素の明度値との関係を与える曲線である。
階調処理実行部125は、階調変換曲線候補G1〜Gpを2次元LUTとして備えている。すなわち、2次元LUTは、入力信号ISの画素の明度値と階調変換曲線候補G1〜Gpを選択する選択信号SSとに対して、出力信号OSの画素の明度値を与えるルックアップテーブル(LUT)である。具体例は、[第5実施形態]において図51を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対する出力信号OSの画素値が並んでいる。
〈作用〉
各部の動作について説明を加える。画像分割部122は、図44の画像分割部102とほぼ同様に動作し、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図45参照)。ここで、原画像の分割数は、図104に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
選択信号導出部123は、それぞれの画像領域Pmに対して階調変換曲線Cmを階調変換曲線候補G1〜Gpの中から選択する。具体的には、選択信号導出部123は、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択を行う。すなわち、階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。
ここで、広域画像領域Emとは、[第4実施形態]において図45を用いて説明したのと同様である。すなわち、広域画像領域Emは、それぞれの画像領域Pmを含む複数の画像領域の集合であり、例えば、画像領域Pmを中心とする縦方向5ブロック、横方向5ブロックの25個の画像領域の集合である。なお、画像領域Pmの位置によっては、画像領域Pmの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Plに対して、画像領域Plの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Elを取ることができない。この場合には、画像領域Plを中心とする縦方向5ブロック横方向5ブロックの領域と原画像とが重なる領域が広域画像領域Elとして採用される。
選択信号導出部123の選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。
選択信号補正部124は、それぞれの画像領域Pmに対して出力されたそれぞれの選択信号Smを用いた補正により、入力信号ISを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号SSを出力する。例えば、画像領域Pmに含まれる画素に対する選択信号SSは、画像領域Pmおよび画像領域Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。
図63を用いて、選択信号補正部124の動作についてさらに詳しく説明する。図63は、画像領域Po,Pp,Pq,Pr(o,p,q,rは分割数n(図45参照。)以下の正整数)に対して選択信号So,Sp,Sq,Srが出力された状態を示している。
ここで、階調補正の対象となる画素xの位置を、画像領域Poの中心と画像領域Ppの中心とを[i:1−i]に内分し、かつ、画像領域Poの中心と画像領域Pqの中心とを[j:1−j]に内分する位置であるとする。この場合、画素xに対する選択信号SSの値[SS]は、[SS]={(1−j)・(1−i)・[So]+(1−j)・(i)・[Sp]+(j)・(1−i)・[Sq]+(j)・(i)・[Sr]}と求められる。なお、[So],[Sp],[Sq],[Sr]は、選択信号So,Sp,Sq,Srの値であるとする。
階調処理実行部125は、入力信号ISが含む画素の明度値と選択信号SSとを入力とし、例えば図51に示す2次元LUT141を用いて、出力信号OSの明度値を出力する。
なお、選択信号SSの値[SS]が、2次元LUT141の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、値[SS]に最も近い整数を添え字とする階調変換曲線候補G1〜Gpが入力信号ISの階調処理に用いられる。
〈視覚処理方法および視覚処理プログラム〉
図64に、視覚処理装置121における視覚処理方法を説明するフローチャートを示す。図64に示す視覚処理方法は、視覚処理装置121においてハードウェアにより実現され、入力信号IS(図62参照)の階調処理を行う方法である。図64に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS130〜S137)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS131)、画像領域Pm毎に階調変換曲線Cmが選択され(ステップS132〜S133)、画像領域Pm毎に階調変換曲線Cmを選択するための選択信号Smに基づいて、原画像の画素毎に階調変換曲線が選択され、画素単位での階調処理が行われる(ステップS134〜S136)。
それぞれのステップについて具体的に説明を加える。
それぞれの画像領域Pmに対して階調変換曲線Cmが階調変換曲線候補G1〜Gpの中から選択される(ステップS132)。具体的には、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択が行われる。階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。ここで、広域画像領域Emについては、説明を省略する(上記〈作用〉の欄参照。)。選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS133)、処理が終了したと判定されるまで、ステップS132〜S133の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。
それぞれの画像領域Pmに対して出力されたそれぞれの選択信号Smを用いた補正により、入力信号ISを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号SSが出力される(ステップS134)。例えば、画像領域Pmに含まれる画素に対する選択信号SSは、画像領域Pmおよび画像領域Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。補正の詳細な内容については、説明を省略する(上記〈作用〉の欄、図63参照。)。
入力信号ISが含む画素の明度値と選択信号SSとを入力とし、例えば図51に示す2次元LUT141を用いて、出力信号OSの明度値が出力される(ステップS135)。さらに、全ての画素についての処理が終了したか否かを判定し(ステップS136)、処理が終了したと判定されるまで、ステップS134〜S136の処理を画素数回繰り返す。以上により、画像単位の処理が終了する。
なお、図64に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
本発明により、上記[第4実施形態]および[第5実施形態]の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第6実施形態特有の効果を記載する。
(1)
それぞれの画像領域Pmに対して選択される階調変換曲線Cmは、広域画像領域Emの平均明度値に基づいて作成される。このため、画像領域Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmが選択される。
(2)
選択信号補正部124は、画像領域単位で出力される選択信号Smに基づいた補正により、画素毎の選択信号SSを出力する。入力信号ISを構成する原画像の画素は、画素毎の選択信号SSが指定する階調変換曲線候補G1〜Gpを用いて、階調処理される。このため、より適切に階調処理された出力信号OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号OSにおいては、それぞれの画像領域Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。
(3)
階調処理実行部125は、あらかじめ作成された2次元LUTを有している。このため、階調処理に要する処理負荷を削減すること、より具体的には、階調変換曲線Cmの作成に要する処理負荷を削減することが可能となる。この結果、階調処理を高速化することが可能となる。
(4)
階調処理実行部125は、2次元LUTを用いて階調処理を実行する。ここで、2次元LUTの内容は、視覚処理装置121が備えるハードディスクあるいはROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す2次元LUTの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。例えば、上記[第5実施形態]〈変形例〉とほぼ同様の変形を第6実施形態に適用することが可能である。特に、[第5実施形態]〈変形例〉の(10)〜(12)では、選択信号Smを選択信号SSと、階調処理信号CSを出力信号OSと読み替えることにより、同様に適用可能である。
以下、第6実施形態特有の変形例を記載する。
(1)
上記実施形態では、64行64列のマトリクスからなる2次元LUT141を2次元LUTの一例とした。ここで、本発明の効果は、このサイズの2次元LUTに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ISの画素値をさらに細かいステップに区切った値に対する出力信号OSの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば10ビットで表される入力信号ISのそれぞれの画素値に対して、出力信号OSの画素値を並べたもので有っても良い。
2次元LUTのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、2次元LUTを記憶するメモリの削減などが可能となる。
(2)
上記実施形態では、選択信号SSの値[SS]が、2次元LUT141(図51参照)の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、値[SS]に最も近い整数を添え字とする階調変換曲線候補G1〜Gpが入力信号ISの階調処理に用いられる、と説明した。ここで、選択信号SSの値[SS]が、2次元LUT141の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、選択信号SSの値[SS]を超えない最大の整数(k)を添え字とする階調変換曲線候補Gk(1≦k≦p−1)と、[SS]を超える最小の整数(k+1)を添え字とする階調変換曲線候補Gk+1との双方を用いて階調処理した入力信号ISの画素値を、選択信号SSの値[SS]の小数点以下の値を用いて加重平均(内分)し、出力信号OSを出力してもよい。
(3)
上記実施形態では、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対する出力信号OSの画素値が並んでいる、と説明した。ここで、出力信号OSは、階調処理実行部125により、入力信号ISの画素値の下位4ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分が並んでおり、入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分と、入力信号ISの画素値の上位6ビットの値に[1]を加えた値に対するマトリクスの成分(例えば、図51では、1行下の成分)とを入力信号ISの画素値の下位4ビットの値を用いて線形補間し、出力信号OSとして出力する。
これにより、2次元LUT141(図51参照)のサイズが小さくとも、より適切な階調処理を行うことが可能となる。
(4)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに対する選択信号Smを出力すると説明した。ここで、選択信号Smの出力方法は、この方法に限られない。例えば、広域画像領域Emの最大明度値、あるいは最小明度値に基づいて、画像領域Pmに対する選択信号Smを出力してもよい。なお、選択信号Smの値[Sm]は、広域画像領域Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。
また例えば、次のようにして画像領域Pmに対する選択信号Smを出力してもよい。すなわち、それぞれの画像領域Pmについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域Pmについての仮の選択信号Sm’を求める。ここで、仮の選択信号Sm’は、階調変換曲線候補G1〜Gpの添え字の番号を値としている。さらに、広域画像領域Emが含むそれぞれの画像領域について、仮の選択信号Sm’の値を平均し、画像領域Pmの選択信号Smとする。
(5)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに対する選択信号Smを出力すると説明した。ここで、広域画像領域Emの単純平均でなく、加重平均(重み付き平均)に基づいて、画像領域Pmに対する選択信号Smを出力しても良い。詳細は、上記[第5実施形態]で図54を用いて説明したのと同様であり、広域画像領域Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域Pmの平均明度値と大きく異なる平均明度値を持つ画像領域Ps1,Ps2,・・・については、重み付けを軽くして広域画像領域Emの平均明度値を求める。
これにより、広域画像領域Emが明度的に特異的な領域を含む場合(例えば、広域画像領域Emが2つの明度値の異なる物体の境界を含む場合)であっても、選択信号Smの出力に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な選択信号Smの出力が行われることとなる。
(6)
視覚処理装置121では、2次元LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置101(図44参照)における画像分割部102と階調変換曲線導出部110とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして2次元LUTに格納する。
また、2次元LUTに格納される階調変換曲線のそれぞれは、空間処理された入力信号ISに関連づけられていてもかまわない。この場合、視覚処理装置121では、画像分割部122と選択信号導出部123と選択信号補正部124とを、入力信号ISを空間処理する空間処理部に置き換えても良い。
[第7実施形態]
図65〜図71を用いて本発明の第7実施形態としての視覚処理装置161について説明する。
図65に示す視覚処理装置161は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置161は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
視覚処理装置161は、画像信号と、画像信号に対して空間処理(ボケフィルタ処理)を施したボケ信号とを用いた視覚処理を行う装置であり、空間処理において特徴を有している。
従来、対象画素の周辺の画素を用いてボケ信号を導出する際に、周辺の画素が対象画素と大きく濃度の異なる画素を含むと、ボケ信号は、濃度の異なる画素の影響を受ける。すなわち、画像において物体のエッジ近傍の画素を空間処理する場合、本来エッジでない画素がエッジの濃度の影響を受けることとなる。このため、この空間処理により、例えば、擬似輪郭の発生などが引き起こされることとなる。
そこで、空間処理を画像の内容に適応させて行うことが求められる。これに対して、例えば、特開平10−75395号公報は、ボケ度合いの異なる複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることにより適切なボケ信号を出力する。これにより、空間処理のフィルタサイズを変更し、濃度の異なる画素の影響を抑制することを目的とする。
一方、上記公報では、複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることとなるため、装置における回路規模、あるいは処理負荷が大きくなる。
そこで、本発明の第7実施形態としての視覚処理装置161では、適切なボケ信号を出力することを目的とし、かつ、装置における回路規模、あるいは処理負荷を削減することを目的とする。
〈視覚処理装置161〉
図65に、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置161の基本構成を示す。視覚処理装置161は、入力信号ISとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号USを出力する空間処理部162と、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部163とを備えている。
〈空間処理部162〉
図66を用いて、空間処理部162の空間処理について説明する。空間処理部162は、空間処理の対象となる対象画素165と、対象画素165の周辺領域の画素(以下、周辺画素166という)との画素値を入力信号ISから取得する。
周辺画素166は、対象画素165の周辺領域に位置する画素であり、対象画素165を中心として広がる縦9画素、横9画素の周辺領域に含まれる画素である。なお、周辺領域の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺画素166は、対象画素165からの距離に応じて近いものから第1周辺画素167、第2周辺画素168と分けられている。図66では、第1周辺画素167は、対象画素165を中心とする縦5画素、横5画素の領域に含まれる画素であるとする。さらに第2周辺画素168は、第1周辺画素167の周辺に位置する画素であるとする。
空間処理部162は、対象画素165に対してフィルタ演算を行う。フィルタ演算では、対象画素165と周辺画素166との画素値とが、対象画素165と周辺画素166との画素値の差および距離に基づく重みを用いて、加重平均される。加重平均は、次式F=(Σ[Wij]*[Aij])/(Σ[Wij])に基づいて計算される。ここで、[Wij]は、対象画素165および周辺画素166において、i行j列目に位置する画素の重み係数であり、[Aij]は、対象画素165および周辺画素166において、i行j列目に位置する画素の画素値である。また、「Σ」は、対象画素165および周辺画素166のそれぞれの画素についての合計の計算を行うことを意味している。
図67を用いて、重み係数[Wij]について説明する。重み係数[Wij]は、対象画素165と周辺画素166との画素値の差および距離に基づいて定められる値である。より具体的には、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。
例えば、対象画素165に対しては、重み係数[Wij]は、値[1]である。
第1周辺画素167のうち、対象画素165の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数[Wij]は、値[1]である。第1周辺画素167のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数[Wij]は、値[1/2]である。すなわち、第1周辺画素167に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。
第2周辺画素168のうち、対象画素165の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数[Wij]は、値[1/2]である。第2周辺画素168のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数[Wij]は、値[1/4]である。すなわち、第2周辺画素168に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。また、対象画素165からの距離が第1周辺画素167よりも大きい第2周辺画素168では、より小さい重み係数が与えられている。
ここで、所定の閾値とは、値[0.0〜1.0]の範囲の値をとる対象画素165の画素値に対して、値[20/256〜60/256]などといった大きさの値である。
以上により計算された加重平均が、アンシャープ信号USとして出力される。
〈視覚処理部163〉
視覚処理部163では、同一の画素についての入力信号ISとアンシャープ信号USとの値を用いて、視覚処理を行う。ここで行われる視覚処理は、入力信号ISのコントラスト強調、あるいはダイナミックレンジ圧縮などといった処理である。コントラスト強調では、入力信号ISとアンシャープ信号USとの差、あるいは比を強調する関数を用いて強調した信号を入力信号ISに加え、画像の鮮鋭化が行われる。ダイナミックレンジ圧縮では、入力信号ISからアンシャープ信号USが減算される。
視覚処理部163における処理は、入力信号ISとアンシャープ信号USとを入力として出力信号OSを出力する2次元LUTを用いて行われても良い。
〈視覚処理方法・プログラム〉
上述の処理は、視覚処理プログラムとして、コンピュータなどにより実行されるものであってもよい。視覚処理プログラムは、以下記載する視覚処理方法をコンピュータに実行させるためのプログラムである。
視覚処理方法は、入力信号ISとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号USを出力する空間処理ステップと、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理ステップとを備えている。
空間処理ステップでは、入力信号ISの画素毎に、空間処理部162の説明において記載した加重平均を行い、アンシャープ信号USを出力する。詳細については、上述したため省略する。
視覚処理ステップでは、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、視覚処理部163の説明において記載した視覚処理を行い出力信号OSを出力する。詳細については、上述したため省略する。
〈効果〉
図68(a)〜(b)を用いて、視覚処理装置161による視覚処理の効果を説明する。図68(a)と図68(b)とは、従来のフィルタによる処理を示している。図68(b)は、本発明のフィルタによる処理を示している。
図68(a)は、周辺画素166が濃度の異なる物体171を含む様子を示している。対象画素165の空間処理では、所定のフィルタ係数を持つ平滑化フィルタが用いられる。このため、本来物体171の一部でない対象画素165が物体171の濃度の影響を受けることとなる。
図68(b)は、本発明の空間処理の様子を示している。本発明の空間処理では、周辺画素166が物体171を含む部分166a、物体171を含まない第1周辺画素167、物体171を含まない第2周辺画素168、対象画素165、のそれぞれに対して、異なる重み係数を用いて空間処理が行われる。このため、空間処理された対象画素165が極端に濃度の異なる画素から受ける影響を抑えることが可能となり、より適切な空間処理が可能となる。
また、視覚処理装置161では、特開平10−75395号公報のように複数のボケ信号を作成する必要が無い。このため、装置における回路規模、あるいは処理負荷を削減することが可能となる。
さらに、視覚処理装置161では、実質的に、空間フィルタのフィルタサイズ、およびフィルタが参照する画像の形状を画像内容に応じて適応的に変更することが可能である。このため、画像内容に適した空間処理を行うことが可能となる。
〈変形例〉
(1)
上記した周辺画素166、第1周辺画素167、第2周辺画素168などの大きさは、一例であり、他の大きさであってもよい。
上記した重み係数は、一例であり、他のものであっても良い。例えば、画素値の差の絶対値が所定の閾値を超える場合に、重み係数を値[0]として与えてもよい。これにより、空間処理された対象画素165が極端に濃度の異なる画素から受ける影響を無くすことが可能となる。このことは、コントラスト強調を目的とした応用では、元々ある程度コントラストの大きい部分におけるコントラストを過剰に強調しないという効果がある。
また、重み係数は、次に示すような関数の値として与えられるものであってもよい。
(1−a)
画素値の差の絶対値を変数とする関数により重み係数の値を与えてもよい。関数は、例えば、画素値の差の絶対値が小さいときは重み係数が大きく(1に近く)、画素値の差の絶対値が大きいときは重み係数が小さく(0に近く)なるような、画素値の差の絶対値に対して単調減少する関数である。
(1−b)
対象画素165からの距離を変数とする関数により重み係数の値をあたえてもよい。関数は、例えば、対象画素165からの距離が近いときには重み係数が大きく(1に近く)、対象画素165からの距離が遠いときには重み係数が小さく(0に近く)なるような、対象画素165からの距離に対して単調減少する関数である。
上記(1−a)、(1−b)では、重み係数がより連続的に与えられることとなる。このため、閾値を用いた場合に比して、より適切な重み係数を与えることが可能となり、過剰なコントラスト強調を抑制し、擬似輪郭の発生などを抑制し、より視覚的効果の高い処理を行うことが可能となる。
(2)
上記したそれぞれの画素についての処理は、複数の画素を含むブロックを単位として行われても良い。具体的には、まず、空間処理の対象となる対象ブロックの平均画素値と、対象ブロックの周辺の周辺ブロックの平均画素値とが計算される。さらに、それぞれの平均画素値が上記と同様の重み係数を用いて加重平均される。これにより、対象ブロックの平均画素値がさらに空間処理されることとなる。
このような場合には、空間処理部162を選択信号導出部113(図49参照)あるいは選択信号導出部123(図62参照)として用いることも可能である。この場合、[第5実施形態]〈変形例〉(6)、あるいは[第6実施形態]〈変形例〉(5)に記載したのと同様である。
これに関し、図69〜図71を用いて説明を加える。
《構成》
図69は、図65〜図68を用いて説明した処理を複数の画素を含むブロック単位で行う視覚処理装置961の構成を示すブロック図である。
視覚処理装置961は、入力信号ISとして入力される画像を複数の画像ブロックに分割する画像分割部964と、分割された画像ブロック毎の空間処理を行う空間処理部962と、入力信号ISと空間処理部962の出力である空間処理信号US2とを用いて視覚処理を行う視覚処理部963とから構成されている。
画像分割部964は、入力信号ISとして入力される画像を複数の画像ブロックに分割する。さらに、分割された画像ブロック毎の特徴パラメータを含む処理信号US1を導出する。特徴パラメータとは、例えば、分割された画像ブロック毎の画像の特徴を表すパラメータであり、例えば、平均値(単純平均、加重平均など)や代表値(最大値、最小値、中央値など)である。
空間処理部962は、画像ブロック毎の特徴パラメータを含む処理信号US1を取得し、空間処理を行う。
図70を用いて、空間処理部962の空間処理について説明する。図70は、複数画素を含む画像ブロックに分割された入力信号ISを示している。ここで、それぞれの画像ブロックは、縦3画素・横3画素の9画素を含む領域に分割されている。なお、この分割方法は、一例であり、このような分割方法に限定されるわけではない。また、視覚処理効果を十分に発揮するためには、かなり広い領域を対象として空間処理信号US2を生成することが好ましい。
空間処理部962は、空間処理の対象となる対象画像ブロック965と、対象画像ブロック965の周辺に位置する周辺領域966に含まれるそれぞれの周辺画像ブロックとの特徴パラメータを処理信号US1から取得する。
周辺領域966は、対象画像ブロック965の周辺に位置する領域であり、対象画像ブロック965を中心として広がる縦5ブロック、横5ブロックの領域である。なお、周辺領域966の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺領域966は、対象画像ブロック965からの距離に応じて近いものから第1周辺領域967、第2周辺領域968と分けられている。
図70では、第1周辺領域967は、対象画像ブロック965を中心とする縦3ブロック、横3ブロックの領域であるとする。さらに第2周辺領域968は、第1周辺領域967の周辺に位置する領域であるとする。
空間処理部962は、対象画像ブロック965の特徴パラメータに対してフィルタ演算を行う。
フィルタ演算では、対象画像ブロック965と周辺領域966の周辺画像ブロックとの特徴パラメータの値が加重平均される。ここで加重平均の重みは、対象画像ブロック965と周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められている。
より具体的には、加重平均は、次式F=(Σ[Wij]*[Aij])/(Σ[Wij])に基づいて計算される。
ここで、[Wij]は、対象画像ブロック965および周辺領域966において、i行j列目に位置する画像ブロックに対する重み係数であり、[Aij]は、対象画像ブロック965および周辺領域966において、i行j列目に位置する画像ブロックの特徴パラメータの値である。また、「Σ」は、対象画像ブロック965および周辺領域966のそれぞれの画像ブロックについての合計の計算を行うことを意味している。
図71を用いて、重み係数[Wij]について説明する。
重み係数[Wij]は、対象画像ブロック965と周辺領域966の周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められる値である。より具体的には、特徴パラメータの値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。
例えば、対象画像ブロック965に対しては、重み係数[Wij]は、値[1]である。
第1周辺領域967のうち、対象画像ブロック965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1]である。第1周辺領域967のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/2]である。すなわち、第1周辺領域967に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。
第2周辺領域968のうち、対象画像ブロック965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/2]である。第2周辺領域968のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/4]である。すなわち、第2周辺領域968に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。また、対象画像ブロック965からの距離が第1周辺領域967よりも大きい第2周辺領域968では、より小さい重み係数が与えられている。
ここで、所定の閾値とは、値[0.0〜1.0]の範囲の値をとる対象画像ブロック965の特徴パラメータの値に対して、値[20/256〜60/256]などといった大きさの値である。
以上により計算された加重平均が、空間処理信号US2として出力される。
視覚処理部963では、視覚処理部163(図65参照)と同様の視覚処理が行われる。ただし、視覚処理部163との相違点は、アンシャープ信号USの代わりに、視覚処理の対象となる対象画素を含む対象画像ブロックの空間処理信号US2が用いられる点である。
また、視覚処理部963における処理は、対象画素を含む対象画像ブロック単位で一括して処理されてもよいが、入力信号ISから取得される画素の順序で空間処理信号US2を切り換えて処理されてもよい。
以上の処理が、入力信号ISに含まれる全ての画素について行われる。
《効果》
空間処理部962の処理では、画像ブロックを単位とした処理が行われる。このため、空間処理部962の処理量を削減でき、より高速の視覚処理が実現可能となる。また、ハードウェア規模を小さくすることが可能となる。
《変形例》
上記では、正方のブロック単位で処理を行うと記載した。ここで、ブロックの形状は、任意としてもよい。
また、上記した重み係数、閾値なども適宜変更可能である。
ここで、重み係数の一部の値は、値[0]であってもよい。この場合には、周辺領域966の形状を任意の形状とすることと同じこととなる。
また、空間処理部962では、対象画像ブロック965と周辺領域966との特徴パラメータを用いて空間処理を行うと説明したが、空間処理は、周辺領域966のみの特徴パラメータを用いて行うものであってもよい。すなわち、空間処理の加重平均の重みにおいて、対象画像ブロック965の重みを値[0]としてもよい。
(3)
視覚処理部163における処理は、上記したものに限られない。例えば、視覚処理部163は、入力信号ISの値A、アンシャープ信号USの値B、ダイナミックレンジ圧縮関数F4、強調関数F5を用いて、次式C=F4(A)*F5(A/B)により演算される値Cを出力信号OSの値として出力するものであってもかまわない。ここで、ダイナミックレンジ圧縮関数F4は、上に凸のべき関数などの単調増加関数であり、例えば、F4(x)=x^γ(0<γ<1)と表される。強調関数F5は、べき関数であり、例えば、F5(x)=x^α(0<α≦1)と表される。
視覚処理部163においてこのような処理が行われる場合、本発明の空間処理部162により出力された適切なアンシャープ信号USが用いられれば、入力信号ISのダイナミックレンジを圧縮しつつ、局所的なコントラストを強調することが可能となる。
一方、アンシャープ信号USが適切でなく、ボケが少なすぎる場合には、エッジ強調的ではあるがコントラストの強調が適切に行えない。また、ボケが多すぎる場合には、コントラストの強調は行えるが、ダイナミックレンジの圧縮が適切に行えない。
[第8実施形態]
本発明の第8実施形態として、上記第4〜第7実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。
視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置であり、LSIなどの集積回路として実現される。
より詳しくは、上記実施形態の各機能ブロックは、個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
図44、図49、図62、図65、図69の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。また、図49、図62の階調処理実行部114,125において参照される2次元LUTは、ハードディスク、ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、2次元LUTは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される2次元LUTの提供装置から提供されるものであってもよい。また、図56の階調処理実行部144において参照される1次元LUTについても同様である。
また、視覚処理装置は、動画像を取り扱う機器に内蔵、あるいは接続されて、フレーム毎(フィールド毎)の画像の階調処理を行う装置であってもよい。
また、それぞれの視覚処理装置では、上記第4〜第7実施形態で説明した視覚処理方法が実行される。
視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、ROMなどの記憶装置に記憶され、画像の階調処理を実行するプログラムであり、例えば、CD−ROMなどの記録媒体を介して、あるいはネットワークを介して提供される。
上記実施形態では、それぞれの画素の明度値について処理を行うと説明した。ここで、本発明は、入力信号ISの色空間に依存するものではない。すなわち、上記実施形態における処理は、入力信号ISがYCbCr色空間、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、XYZ色空間、YPbPr色空間、RGB色空間などで表されている場合に、それぞれの色空間の輝度、明度に対して、同様に適用可能である。
また入力信号ISがRGB色空間で表されている場合に、上記実施形態における処理は、RGBそれぞれの成分に対して独立に行われるものであってもよい。
[第9実施形態]
本発明の第9実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図72〜図75を用いて説明する。
図72は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図72のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの表示に際して、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを用いても良い。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであっても良い。
また、ストリーミングサーバex103は、視覚処理装置に対して、インターネットex101を介してプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバex103は、複数台存在し、それぞれ異なるプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバex103は、プロファイルの作成を行うものであっても良い。このように、インターネットex101を介して、視覚処理装置がプロファイルデータを取得できる場合、視覚処理装置は、あらかじめ視覚処理に用いるプロファイルデータを記憶しておく必要が無く、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットex101介して接続される複数のサーバからプロファイルデータを取得できるため、異なる視覚処理を実現することが可能となる。
一例として携帯電話について説明する。
図73は、上記実施形態の視覚処理装置を備えた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図74を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像復号化部ex309は、上記実施形態の視覚処理装置を備えていても良い。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図75に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施形態の復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を補間して再生し、モニタex408に表示することができる。
なお、カーナビゲーションex413の構成は例えば図74に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
[第10実施形態]
図76〜図94を用いて、本発明の第10実施形態としての表示装置720について説明する。
図76に示す表示装置720は、PDP、LCD、CRT、プロジェクタなど、画像を表示する表示装置である。表示装置720は、上記実施形態で説明した視覚処理装置を含む画像処理装置723を有する点、自動あるいは手動により視覚処理に用いるプロファイルデータを切り替えることできる点に特徴を有している。なお、表示装置720は、独立した装置であってもよいが、携帯電話機、PDA、PCなどの携帯情報端末に備えられている装置であってもよい。
〈表示装置720〉
表示装置720は、表示部721、駆動制御部722、画像処理装置723、CPU724、入力部725、チューナ726、アンテナ727、コーデック728、メモリコントローラ729、メモリ730、外部インタフェース(I/F)731、外部装置740を備えている。
表示部721は、駆動制御部722から読み出された画像情報d360を表示する表示デバイスである。駆動制御部722は、画像処理装置723から出力された出力画像信号d361をCPU724からの制御により表示部721に読み出すとともに、表示部721を駆動するための装置である。より具体的には、駆動制御部722は、CPU724からの制御により、出力画像信号d361の値に応じた電圧値を表示部721に与え画像を表示させる。
画像処理装置723は、CPU724からの制御を受け、入力画像信号d362に含まれる入力画像データd372(図77参照)の画像処理を行い、出力画像データd371(図77参照)を含む出力画像信号d361を出力する装置である。画像処理装置723は、上記実施形態で説明した視覚処理装置を含み、プロファイルデータを用いて画像処理を行う点に特徴を有している。詳細については、後述する。
CPU724は、表示装置720の各部のデータ処理に関する演算を行うとともに、各部の制御を行うための装置である。入力部725は、表示装置720への操作をユーザに行わせるためのユーザインタフェースであり、各部の制御をするためのキー、つまみ、リモコンなどで構成される。
チューナ726は、無線あるいは有線を介して受信した信号を復調し、デジタルデータとして出力する。詳しくは、チューナ726は、アンテナ727あるいはケーブル(図示せず)を介して、地上波(デジタル/アナログ)放送、BS(デジタル/アナログ)・CS放送などを受信する。コーデック728は、チューナ726により復調されたデジタルデータの復号化を行い、画像処理装置723に入力される入力画像信号d362を出力する。
メモリコントローラ729は、DRAMなどで構成されるCPUの作業用メモリ730のアドレスやアクセスタイミングなどの制御を行う。
外部I/F731は、メモリカード733、PC735などの外部装置740から画像データや、プロファイル情報などを取得し、入力画像信号d362として出力するためのインタフェースである。プロファイル情報とは、画像処理を行うためのプロファイルデータに関する情報である。詳しくは、後述する。外部I/F731は、例えば、メモリカードI/F732、PCI/F734、ネットワークI/F736、無線I/F737などにより構成される。なお、外部I/F731は、ここに例示したものの全てを備えている必要は無い。
メモリカードI/F732は、画像データやプロファイル情報などを記録したメモリカード733と表示装置720とを接続するためのインタフェースである。PCI/F734は、画像データやプロファイル情報などを記録したパーソナルコンピュータなどの外部機器であるPC735と表示装置720とを接続するためのインタフェースである。ネットワークI/F736は、表示装置720をネットワークに接続し、画像データやプロファイル情報などを取得するためのインタフェースである。無線I/F737は、表示装置720を無線LANなどを介して外部機器と接続し、画像データやプロファイル情報などを取得するためのインタフェースである。なお、外部I/F731は、図示したものに限られず、例えば、USB、光ファイバーなどと表示装置720とを接続するためのインタフェースであってもよい。
外部I/F731を介して取得された画像データやプロファイル情報は、必要によりコーデック728により復号化された後、入力画像信号d362として画像処理装置723に入力される。
〈画像処理装置723〉
(1)画像処理装置723の構成
図77を用いて、画像処理装置723の構成について説明する。画像処理装置723は、入力画像信号d362に含まれる入力画像データd372に対して視覚処理および色処理を行い、出力画像データd371を含む出力画像信号d361を出力する装置である。ここで、入力画像データd372および出力画像データd371は、RGB成分を有する画像データであり、入力画像データd372は、(IR,IG,IB)をRGB色空間の成分とし、出力画像データd371は、(OtR,OtG,OtB)をRGB色空間の成分とする。
画像処理装置723は、入力画像データd372に対してカラー視覚処理を行うカラー視覚処理装置745と、カラー視覚処理装置745の出力であるカラー視覚処理信号d373に対して色処理を行う色処理装置746と、カラー視覚処理および色処理に用いられるプロファイルデータを特定するためのプロファイル情報SSI,SCIを出力するプロファイル情報出力部747とを備えている。ここで、カラー視覚処理信号d373は、RGB成分を有する画像データであり、(OR,OG,OB)をRGB色空間の成分とする。
以下、プロファイル情報出力部747、カラー視覚処理装置745、色処理装置746の順に詳しい構成を説明する。
(2)プロファイル情報出力部747とプロファイル情報SSI,SCI
《2−1》プロファイル情報出力部747の概要
図78を用いて、プロファイル情報SSI,SCIを出力するプロファイル情報出力部747について説明する。
プロファイル情報出力部747は、カラー視覚処理装置745と色処理装置746とにプロファイル情報SSI,SCIをそれぞれ出力する装置であり(図77参照)、環境検出部749と、情報入力部748と、出力制御部750とから構成される。環境検出部749は、後述する環境情報の少なくとも一部を自動的に検出し、検出情報Sd1として出力する。情報入力部748は、検出情報Sd1を取得し、検出情報Sd1が含む環境情報以外の環境情報をユーザに入力させ、入力情報Sd2として出力する。出力制御部750は、検出情報Sd1と入力情報Sd2とを取得し、カラー視覚処理装置745と色処理装置746とにプロファイル情報SSI,SCIを出力する。
各部の詳細な説明を行う前に、まずプロファイル情報SSI,SCIについて説明する。
《2−1》プロファイル情報SSI,SCI
プロファイル情報SSI,SCIとは、カラー視覚処理装置745と色処理装置746とにおいて用いられるプロファイルデータを特定するための情報である。具体的には、プロファイル情報SSI,SCIは、プロファイルデータ、プロファイルデータを特定する番号などのタグ情報、プロファイルデータの処理の特徴を示すパラメータ情報、表示部721(図76参照)の表示環境あるいは表示部721に表示される画像が視覚される視環境に関する環境情報のうちの少なくとも一つを含んでいる。
プロファイルデータとは、カラー視覚処理装置745または色処理装置746における画像処理に用いられるデータであり、処理される画像データに対する変換係数を格納する係数マトリクスデータや処理される画像データに対する処理後の画像データを与えるテーブルデータ(例えば、2次元LUTなど)などである。
タグ情報とは、プロファイルデータを他のプロファイルデータと識別するための識別情報であり、例えば、カラー視覚処理装置745と色処理装置746とに登録された複数のプロファイルデータのそれぞれに割り振られた番号などである。
パラメータ情報とは、プロファイルデータの処理の特徴を示す情報であり、例えば、プロファイルデータが実現するコントラスト強調処理、ダイナミックレンジ圧縮処理、色変変換処理などの処理度合いを数値化した情報である。
環境情報とは、画像処理された画像データが表示され、視覚される環境に関する情報であり、例えば、表示装置720の設置場所における環境光の明るさや色温度といった環境光情報、表示部721の製品情報(例えば、製品番号など)、表示部721が表示する画像サイズ情報、表示される画像と画像を視覚するユーザとの距離に関する位置情報、ユーザの年齢・性別などユーザに関するユーザ情報などの情報である。
なお、以下では、プロファイル情報SSI,SCIがタグ情報を含む場合について説明する。
《2−2》環境検出部749
環境検出部749は、センサなどを用いて環境情報の検出を行う装置である。環境検出部749は、例えば、環境光の明るさや色温度の検出を行う光センサや、表示部721に取り付けられた製品情報を無線あるいは有線を介して読み取る装置(例えば、無線タグの読み取り装置、バーコードの読み取り装置、表示装置720が備える各部の情報を管理するデータベースから情報を読み取る装置など)や、ユーザとの距離を測定する無線あるいは赤外線などのセンサや、ユーザに関する情報を取得するカメラなど、といった装置である。
環境検出部749は、検出した情報を検出情報Sd1として、情報入力部748と出力制御部750に出力する。
《2−3》情報入力部748
情報入力部748は、ユーザが環境情報を入力するための入力装置であり、入力された環境情報を入力情報Sd2として出力する。情報入力部748は、例えば、スイッチおよびスイッチからの入力を感知する回路などで構成されていてもよいし、表示部721あるいは情報入力部748自体に表示された入力用のユーザインタフェースを操作するソフトで構成されてもよい。また、情報入力部748は、表示装置720に内蔵されているものであってもよいし、ネットワークなどを介して情報を入力する装置であってもよい。
情報入力部748では、検出情報Sd1に含まれる環境情報以外の環境情報が入力される。例えば、情報入力部748では、検出情報Sd1に含まれる環境情報に応じて、ユーザが入力可能な環境情報が制御される。
なお、情報入力部748は、検出情報Sd1に関わらず全ての環境情報を入力させるものであってもよい。この場合には、情報入力部748は、検出情報Sd1を取得しないものであってもよいし、検出情報Sd1を取得しつつユーザがさらに詳細な情報を入力することができるものであってもよい。
《2−4》出力制御部750
出力制御部750は、検出情報Sd1と入力情報Sd2とを取得し、プロファイル情報SSI,SCIを出力する。具体的には、出力制御部750は、検出情報Sd1と入力情報Sd2とから取得される環境情報に応じて好適なプロファイルデータを選択し、そのタグ情報を出力する。より具体的には、出力制御部750は、選択されるプロファイルデータの候補と環境情報のそれぞれの値とを関連づけるデータベースを参照することにより、取得された環境情報に対して好適なプロファイルデータを選択する。
環境情報とプロファイルデータとの関連づけについてさらに説明する。
例えば、表示装置720の環境光の明度が高い場合、局所的なコントラストを強調する視覚処理を行うことが望ましい。このため、出力制御部750では、より局所的なコントラストを強調するプロファイルデータのタグ情報を出力する。
また、例えば、ユーザと表示装置720との距離が遠い場合、表示部721に表示される画像の視角が小さくなり、画像が小さく見えることとなる。視角の大きさが異なると、画像の明るさが異なって感じられる。このため、出力制御部750では、視角の大きさに基づいて、階調、コントラストを変化させるようなプロファイルデータのタグ情報を出力する。なお、表示装置720の表示部721の大きさの違いもこの視角の大きさに影響を与える要因となる。
さらに、出力制御部750の動作の一例を記載する。
人間の視覚では、表示される画像サイズが大きくなるとより明るく感じる傾向があり、暗部領域改善を抑えた方が好ましく感じることがある。この点を考慮して、例えば、取得される環境情報により表示部721が表示する画像サイズが大きいと判断された場合には、カラー視覚処理装置745に対しては、画像全域での暗部領域改善を抑え、かつ、局所的なコントラスト改善を強める、ような処理を行うプロファイルデータのタグ情報がプロファイル情報SSIとして出力される。さらに、色処理装置746に対しては、プロファイル情報SSIと他の環境情報とに応じた色処理を行うプロファイルデータのタグ情報がプロファイル情報SCIとして出力される。ここで、「プロファイル情報SSIと他の環境情報とに応じた色処理」とは、例えば、プロファイル情報SSIにより指定されたプロファイルデータで視覚処理された画像が、環境光の影響下で適切に色再現されるような色処理などである。
なお、出力制御部750では、検出情報Sd1と入力情報Sd2とにより重複して環境情報が取得された場合に、検出情報Sd1と入力情報Sd2とのいずれかを優先して用いることとしてもよい。
(3)カラー視覚処理装置745
《3−1》カラー視覚処理装置745の構成
図79を用いて、カラー視覚処理装置745の構成について説明する。カラー視覚処理装置745は、上記実施形態で説明した視覚処理を実行可能な視覚処理装置753を備え、入力画像データd372の輝度成分に対して視覚処理を行う点、色制御部752を備え、輝度成分に対して行われた視覚処理を色成分にまで拡張する点、において特徴を有している。
カラー視覚処理装置745は、第1色空間変換部751と、視覚処理装置753と、色制御部752と、第2色空間変換部754とを備えている。
第1色空間変換部751は、RGB色空間の入力画像データd372を、輝度成分と色成分に変換する。例えば、第1色空間変換部751は、RGB色空間の入力画像データd372を、YCbCr色空間の信号に変換する。変換後の輝度成分の信号を入力信号IS、色成分の信号を色信号ICb、ICrとする。
視覚処理装置753は、入力画像データd372の輝度成分である入力信号ISの視覚処理を行い、出力信号OSを出力する装置である。また、視覚処理装置753には、プロファイル情報出力部747(図77参照)からプロファイル情報SSIが入力され、入力されたプロファイル情報SSIにより特定されるプロファイルデータを用いた視覚処理が行われる。視覚処理装置753の詳細については、後述する。
色制御部752には、色信号ICb、ICrと、入力信号ISと、出力信号OSとが入力され、補正された色信号である補正色信号OCb、OCrが出力される。例えば、色制御部752では、入力信号ISと出力信号OSとの比を用いた補正が行われる。より具体的には、入力信号ISの信号値に対する出力信号OSの信号値の割合を色信号ICb、ICrの信号値に乗算した値を、それぞれ補正色信号OCb、OCrの値とする。
第2色空間変換部754は、YCbCr色空間の信号である出力信号OS、補正色信号OCb、OCrをRGB色空間のカラー視覚処理信号d373に変換する。
《3−2》視覚処理装置753の構成
視覚処理装置753としては、上記実施形態で説明した視覚処理装置1(図1参照)と同様の視覚処理装置が用いられる。
図80を用いて、視覚処理装置753の構成について説明する。
図80に示す視覚処理装置753は、図1に示す視覚処理装置1と同様の構成を有する視覚処理装置である。視覚処理装置1とほぼ同様の機能を果たす部分には、同じ符号を付している。図80に示す視覚処理装置753と、図1に示す視覚処理装置1との相違点は、プロファイルデータ登録装置8が、取得されたプロファイル情報SSIにより特定されるプロファイルデータを2次元LUT4に登録する点である。その他の各部の説明は、上記実施形態と同様であるため省略する。
図80に示す視覚処理装置753は、2次元LUT4に登録されたプロファイルデータを用いて入力信号ISの視覚処理を行い、出力信号OSを出力する。
(4)色処理装置746
色処理装置746は、取得されたプロファイル情報SCIにより特定されるプロファイルデータを用いて、カラー視覚処理装置745の出力であるカラー視覚処理信号d373の色処理を行う。色処理装置746で用いられるプロファイルデータは、例えば、カラー視覚処理信号d373の成分(OR,OG,OB)に対して、出力画像データd371の成分(OtR,OtG,OtB)を与える3つの3次元ルックアップテーブルや3行3列の変換係数マトリクスデータである。
〈表示装置720の効果〉
(1)
表示装置720では、取得された環境情報に好適なプロファイルデータを用いた画像処理を行うことが可能となる。特に、自動的に検出された環境情報のみならず、ユーザが入力した環境情報にも基づいてプロファイルデータの選択が行われるため、ユーザにとってより視覚的効果の高い画像処理を行うことが可能となる。
プロファイルデータとしてルックアップテーブルを用いた場合には、テーブルの参照により画像処理が行われるため高速な画像処理が実現可能となる。
表示装置720では、プロファイルデータを変更することにより異なる画像処理が実現される。すなわち、ハードウェア構成を変更することなく異なる画像処理が実現される。
プロファイルデータを用いた画像処理では、予めプロファイルデータを生成しておくことができるため、複雑な画像処理を容易に実現することが可能となる。
(2)
プロファイル情報出力部747では、カラー視覚処理装置745と色処理装置746とのそれぞれに対して、異なるプロファイル情報を出力することが可能となる。このため、カラー視覚処理装置745と色処理装置746とにおけるそれぞれの画像処理が重複した処理、あるいは効果が相殺される処理となることが防止可能となる。すなわち、画像処理装置723による画像処理を適切に行うことが可能となる。
〈変形例〉
(1)
上記実施形態において、入力画像データd372、出力画像データd371、カラー視覚処理信号d373は、RGB色空間の信号であると記載したが、他の色空間の信号であっても良い。例えば、それぞれの信号は、YCbCr色空間、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、XYZ色空間、YPbPr色空間などで表される信号であってもよい。
また、第1色空間変換部751、第2色空間変換部754において取り扱われる信号についても同様であり、実施形態に記載したものに限らない。
(2)
上記実施形態では、プロファイル情報SSI,SCIがタグ情報を含む場合について説明した。ここで、プロファイル情報SSI,SCIがその他の情報(プロファイルデータ、パラメータ情報、環境情報など)を含む場合の画像処理装置723の各部の動作について説明する。
《2−1》
プロファイル情報SSI,SCIがプロファイルデータを含む場合、出力制御部750は、プロファイルデータを登録して記憶している、あるいはプロファイデータを生成可能な装置であり、取得した検出情報Sd1と入力情報Sd2とからカラー視覚処理装置745と色処理装置746とにおいて用いられるプロファイルデータを判断し、それぞれの出力する。
カラー視覚処理装置745と色処理装置746とでは、取得したプロファイルデータを用いて画像処理を行う。例えば、視覚処理装置753(図80参照)のプロファイルデータ登録装置8は、プロファイル情報SSIに含まれるプロファイルデータを2次元LUT4に登録して視覚処理を行う。なおこの場合、視覚処理装置753は、プロファイルデータ登録装置8を備えていなくてもよい。
この画像処理装置723では、プロファイルデータそのものをプロファイル情報出力部747からカラー視覚処理装置745と色処理装置746とに出力するため、用いられるプロファイルデータをより確実に特定することが可能となる。さらに、カラー視覚処理装置745と色処理装置746とにおけるプロファイルデータのための記憶容量を削減することが可能となる。
《2−2》
プロファイル情報SSI,SCIがパラメータ情報を含む場合、出力制御部750は、検出情報Sd1と入力情報Sd2とからパラメータ情報を出力するためのデータベースなどを有している装置である。このデータベースは、環境情報の値と、その値を示す環境において好適な画像処理との関係を記憶している。
カラー視覚処理装置745と色処理装置746とでは、取得したパラメータ情報の値に近い画像処理を実現するプロファイルデータを選択し、画像処理を行う。例えば、視覚処理装置753(図80参照)のプロファイルデータ登録装置8は、プロファイル情報SSIに含まれるパラメータ情報を用いてプロファイルデータを選択し、選択したプロファイルデータを2次元LUT4に登録して視覚処理を行う。
この画像処理装置723では、プロファイル情報SSI,SCIのデータ量を削減することが可能となる。
《2−3》
プロファイル情報SSI,SCIが環境情報を含む場合、出力制御部750は、検出情報Sd1と入力情報Sd2とをプロファイル情報として出力する装置である。ここで、出力制御部750は、検出情報Sd1と入力情報Sd2とから取得した環境情報の全てをプロファイル情報SSI,SCIとして出力してもよいし、選択的にプロファイルファイル情報SSIとプロファイル情報SCIとに振り分けて出力してもよい。
カラー視覚処理装置745と色処理装置746とでは、環境情報に応じて好適なプロファイルデータを選択し、画像処理を行う。例えば、視覚処理装置753(図80参照)のプロファイルデータ登録装置8は、プロファイル情報SSIに含まれる環境情報のそれぞれの値と選択されるプロファイルデータの候補とを関連づけるデータベースなどを参照することにより、取得された環境情報に対して好適なプロファイルデータを選択し、選択したプロファイルデータを2次元LUT4に登録して視覚処理を行う。
環境情報の全てをプロファイル情報SSI,SCIとして出力する場合には、出力制御部750における処理を削減することが可能となる。環境情報を選択的にプロファイル情報SSI,SCIとして出力する場合には、カラー視覚処理装置745と色処理装置746とにおけるそれぞれの処理を考慮することができるため、重複した効果を奏する画像処理や、相殺される効果を奏する画像処理を防止することが可能となる。さらに、カラー視覚処理装置745と色処理装置746とでは、適切に選択された環境情報のみを取得するため、より適切かつ簡易にプロファイルデータの選択を行うことが可能となる。
《2−4》
プロファイル情報SSI,SCIは、プロファイルデータ、タグ情報、パラメータ情報、環境情報の少なくとも一つを含んでいればよく、それぞれが同時に含まれていてもよい。
また、プロファイル情報SSIとプロファイル情報SCIとは、必ずしも異なる情報である必要は無く、同じ情報であってもよい。
(3)
視覚処理装置753は、[第1実施形態]〈変形例〉(7)で述べたプロファイルデータ登録装置701(図9参照)を含む装置であり、プロファイル情報SSIを用いて選択されたプロファイルデータと、プロファイル情報SSIから取得される合成度とから新たなプロファイルデータを生成することができる装置であっても良い。
図81を用いて、変形例としての視覚処理装置753の動作について説明を加える。
変形例としての視覚処理装置753では、プロファイルデータ登録部702に登録されたプロファイルデータのうち、プロファイル情報SSIに基づいて選択されたプロファイルデータを用いて新たなプロファイルデータが生成される。
プロファイルデータ登録部702は、プロファイル情報SSIが含むタグ情報などに基づいて、プロファイルデータ761とプロファイルデータ762を選択したとする。ここで、プロファイルデータ761は、暗部改善処理を行うためのプロファイルデータであり、環境光が弱い場合などに選択されるプロファイルデータであり、プロファイルデータ762は、局所的コントラスト改善処理を行うためのプロファイルデータであり、環境光が強い場合などに選択されるプロファイルデータであるとする。
プロファイル生成部704は、プロファイル情報SSIが含む環境情報のうち環境光の強さを取得し、その環境光の強さにおいて適切な画像処理を行うためのプロファイルデータをプロファイルデータ761とプロファイルデータ762とから生成する。より具体的には、環境情報が含む環境光の強さの値を用いてプロファイルデータ761とプロファイルデータ762との値を内分する。
以上のようにして、変形例としての視覚処理装置753は、新しいプロファイルデータを生成し、視覚処理を行うことが可能となる。変形例としての視覚処理装置753では、予め多くのプロファイルデータを登録しておかなくとも、プロファイルデータを生成して多くの異なる視覚処理を実現することが可能となる。
(4)
視覚処理装置753は、図80に示したものに限定されない。例えば、上記実施形態で説明した視覚処理装置520(図6参照)、視覚処理装置525(図7参照)、視覚処理装置530(図8参照)のいずれかであってもよい。
図82〜図84を用いてそれぞれの構成について説明する。
《4−1》
図82を用いて、視覚処理装置753aの構成について説明する。
図82に示す視覚処理装置753aは、図6に示す視覚処理装置520と同様の構成を有する視覚処理装置である。視覚処理装置520とほぼ同様の機能を果たす部分には、同じ符号を付している。図82に示す視覚処理装置753aと、図6に示す視覚処理装置520との相違点は、プロファイルデータ登録部521が、取得されたプロファイル情報SSIと画像判定部522からの判定結果SAとに基づいて特定されるプロファイルデータを2次元LUT4に登録する点である。その他の各部の説明は、上記実施形態と同様であるため省略する。
この視覚処理装置753aでは、プロファイル情報SSIだけでなく、判定結果SAにも基づいてプロファイルデータの選択が行われるため、より適切な視覚処理を行うことが可能となる。
《4−2》
図83を用いて、視覚処理装置753bの構成について説明する。
図83に示す視覚処理装置753bは、図7に示す視覚処理装置525と同様の構成を有する視覚処理装置である。視覚処理装置525とほぼ同様の機能を果たす部分には、同じ符号を付している。図83に示す視覚処理装置753bと、図7に示す視覚処理装置525との相違点は、プロファイルデータ登録部526が、取得されたプロファイル情報SSIと入力装置527からの入力結果SBとに基づいて特定されるプロファイルデータを2次元LUT4に登録する点である。その他の各部の説明は、上記実施形態と同様であるため省略する。
この視覚処理装置753bでは、プロファイル情報SSIだけでなく、入力結果SBにも基づいてプロファイルデータの選択が行われるため、より適切な視覚処理を行うことが可能となる。
《4−3》
図84を用いて、視覚処理装置753cの構成について説明する。
図84に示す視覚処理装置753cは、図8に示す視覚処理装置530と同様の構成を有する視覚処理装置である。視覚処理装置530とほぼ同様の機能を果たす部分には、同じ符号を付している。図84に示す視覚処理装置753cと、図8に示す視覚処理装置530との相違点は、プロファイルデータ登録部531が、取得されたプロファイル情報SSIと、画像判定部522からの判定結果SAと、入力装置527からの入力結果SBとに基づいて特定されるプロファイルデータを2次元LUT4に登録する点である。その他の各部の説明は、上記実施形態と同様であるため省略する。
この視覚処理装置753bでは、プロファイル情報SSIだけでなく、判定結果SAと入力結果SBとにも基づいてプロファイルデータの選択が行われるため、より適切な視覚処理を行うことが可能となる。
(5)
上記実施形態で説明した表示装置720の各部において、同様の機能を実現する部分は、共通のハードウェアで実現されていても良い。
例えば、表示装置720の入力部725(図76参照)は、プロファイル情報出力部747の情報入力部748、視覚処理装置753b(図83参照)の入力装置527、視覚処理装置753c(図84参照)の入力装置527などと兼用される装置であってもよい。
また、視覚処理装置753(図80参照)のプロファイルデータ登録装置8、視覚処理装置753a(図82参照)のプロファイルデータ登録部521、視覚処理装置753b(図83参照)のプロファイルデータ登録部526、視覚処理装置753c(図84参照)のプロファイルデータ登録部531などは、画像処理装置723(図76参照)の外部に備えられる物であっても良く、例えば、メモリ730や外部装置740により実現されていても良い。
また、それぞれのプロファイルデータ登録部やプロファイルデータ登録装置に登録されるプロファイルデータは、予め各部に登録されているものであってもよいし、外部装置740、あるいはチューナ726から取得されるものであってもよい。
また、それぞれのプロファイルデータ登録部やプロファイルデータ登録装置は、色処理装置746においてプロファイルデータが記憶される記憶装置と兼用されていても良い。
また、プロファイル情報出力部747は、画像処理装置723の外部や表示装置720の外部に有線または無線で接続される装置であっても良い。
(6)
視覚処理装置753(図80参照)のプロファイルデータ登録装置8、視覚処理装置753a(図82参照)のプロファイルデータ登録部521、視覚処理装置753b(図83参照)のプロファイルデータ登録部526、視覚処理装置753c(図84参照)のプロファイルデータ登録部531などは、視覚処理に用いられるプロファイルデータのプロファイル情報を出力できる装置であってもよい。
例えば、視覚処理装置753(図80参照)のプロファイルデータ登録装置8は、2次元LUT4に登録したプロファイルデータのプロファイル情報を出力する。出力されたプロファイル情報は、例えば、色処理装置746に入力され、色処理装置746においてプロファイルデータを選択するために用いられる。
これにより、プロファイル情報SSIにより指定されたプロファイルデータ以外のプロファイルデータが視覚処理装置753で用いられた場合でも、色処理装置746は、視覚処理装置753で用いられたプロファイルデータを判断することが可能となる。このため、カラー視覚処理装置745と色処理装置746とにおける画像処理がそれぞれ重複する処理となることや相殺する処理となることがさらに防止可能となる。
(7)
画像処理装置723では、プロファイル情報出力部747に変えて、ユーザに入力を行わせるユーザ入力部を備えていてもよい。
図85に画像処理装置723(図77参照)の変形例としての画像処理装置770を示す。画像処理装置770は、ユーザに入力を行わせるユーザ入力部772を備えている点に特徴を有している。画像処理装置770において、画像処理装置723とほぼ同様の機能を果たす部分には同じ符号を付して説明を省略する。
ユーザ入力部772は、カラー視覚処理装置745と色処理装置746とにそれぞれプロファイル情報SSI,SCIを出力する。
図86を用いて、ユーザ入力部772について説明を加える。
ユーザ入力部772は、ユーザに入力を行わせる部分と、入力された情報に基づいてプロファイル情報SSI,SCIを出力する部分とから構成されている。
ユーザに入力を行わせる部分は、例えば、ユーザの嗜好する明るさを入力させる明るさ入力部775と、ユーザの嗜好する画質を入力させる画質入力部776とから構成されている。
明るさ入力部775は、例えば、表示される画像中の光の状態を入力するスイッチ、画像が表示される環境の光の状態を入力するスイッチなどから構成されており、入力結果を第1入力結果Sd14として出力する。表示される画像中の光の状態を入力するスイッチは、例えば、画像中の逆光・順光や、撮影時のストロボの有無や、撮影時に用いられたマクロプログラムの状態などを入力するためのスイッチである。ここで、マクロプログラムとは、撮影装置を被写体の状態に応じて制御するためのプログラムである。画像が表示される環境の光の状態を入力するスイッチは、例えば、環境光の明るさ、色温度などを入力するためのスイッチである。
画質入力部776は、ユーザの画質の好みを入力するためのスイッチであり、例えば、デフォルト・ダイナミック・クラシックなどといった異なる視覚効果を入力するスイッチである。画質入力部776は、入力結果を第2入力結果Sd13として出力する。
入力された情報に基づいてプロファイル情報SSI,SCIを出力する部分は、出力制御部777から構成されている。出力制御部777は、第1入力結果Sd14と第2入力結果Sd13を取得し、プロファイル情報SSI,SCIを出力する。より具体的には、第1入力結果Sd14や第2入力結果Sd13の値に関連づけられたプロファイルデータのプロファイル情報SSI,SCIを出力する。
さらに、出力制御部777の動作について具体的に説明する。例えば、明るさ入力部775と画質入力部776とで「ダイナミック」な「逆光モード」と入力された場合、プロファイル情報SSIでは、逆光による暗部改善を実現するプロファイルデータのプロファイル情報が出力される。一方、プロファイル情報SCIでは、逆光部分での色処理を行わないプロファイルデータのプロファイル情報が出力され、画像処理装置770全体としての画像処理が適正化される。
画像処理装置770による効果を記載する。
画像処理装置770では、ユーザの好みに応じた適切なプロファイルデータによる画像処理が実現可能となる。さらに、カラー視覚処理装置745と色処理装置746とに異なるプロファイル情報SSI,SCIを出力することができるため、それぞれの画像処理が重複した処理あるいは相殺した処理となることが防止可能となる。またさらに、カラー視覚処理装置745と色処理装置746とのそれぞれに対して異なるプロファイル情報SSI,SCIを出力するため、それぞれの装置で考慮すべきプロファイル情報SSI,SCIの情報量を削減でき、より簡易にプロファイルデータの選択を行うことが可能となる。
(8)
画像処理装置723は、入力画像信号d362に含まれる属性情報を分離し、分離した属性情報に基づいてプロファイルデータを選択し、画像処理を行う装置であってもよい。
《8−1》画像処理装置800の構成
図87に、画像処理装置723の変形例としての画像処理装置800を示す。画像処理装置800は、入力画像信号d362から属性情報d380を分離する分離部801を備える点、分離された属性情報d380に基づいてプロファイル情報SSI,SCIを出力する点において特徴を有している。
図87に示す画像処理装置800は、入力画像信号d362から入力画像データd372と属性情報d380とを分離する分離部801と、属性情報d380に基づいてプロファイル情報SSI,SCIを出力する属性判定部802と、入力画像データd372とプロファイル情報SSIとに基づいて視覚処理を行うカラー視覚処理装置745と、カラー視覚処理信号d373とプロファイル情報SCIとに基づいて色処理を行う色処理装置746とを備えている。なお、上記実施形態とほぼ同じ機能を有する部分については、同じ符号を付し説明を省略する。
分離部801は、入力画像信号d362から入力画像データd372と属性情報d380とを分離する。属性情報d380は、入力画像信号d362のヘッダ部分などに配置される情報であり、入力画像信号d362の属性に関する情報である。分離部801は、入力画像信号d362を先頭から所定のビット数だけ読みとることにより、属性情報d380を分離する。なお、属性情報d380は、入力画像信号d362の後尾に配置されるものであってもよい。あるいは、入力画像信号d362中にフラグ情報を伴って分離可能な状態で配置されていてもよい。
図88に、属性情報d380が含まれる入力画像信号d362のフォーマットの一例を示す。図88に示す入力画像信号d362では、データの先頭部分に属性情報d380としてのコンテンツ情報が配置されているとともに、それに続いて入力画像データd372が配置されている。
コンテンツ情報は、入力画像データd372の全体の内容に関する属性であり、入力画像データd372のタイトル、制作会社、監督、制作年、種類、制作側指定属性などを含んでいる。ここで、種類とは、コンテンツの種類に関する情報であり、例えば、SF、アクション、ドラマ、ホラー、などといった情報が含まれる。制作側指定属性とは、コンテンツ制作側が指定する表示特性に関する情報であり、例えば、ダイナミック、恐怖感、などといった情報が含まれる。
属性判定部802は、分離された属性情報d380に基づいてプロファイル情報SSI,SCIを出力する。
図89を用いて、属性判定部802の構成について説明する。属性判定部802は、属性検出部806と属性入力部805と出力制御部807とを備えている。
属性検出部806は、属性情報d380に含まれるコンテンツ情報を検出し、検出情報Sd3として出力する。
属性入力部805は、ユーザにコンテンツ情報の入力を行わせるための装置である。属性入力部805は、検出情報Sd3を取得し、検出情報Sd3が含む情報を更新する、あるいは検出情報Sd3が含まない情報を追加し、入力情報Sd4として出力する。
ここで、属性入力部805は、ユーザがコンテンツ情報を入力するための入力装置であり、入力されたコンテンツ情報を入力情報Sd4として出力する。属性入力部805は、例えば、スイッチおよびスイッチからの入力を感知する回路などで構成されていてもよいし、表示部721あるいは属性入力部805自体に表示された入力用のユーザインタフェースを操作するソフトで構成されてもよい。また、表示装置720に内蔵されているものであってもよいし、ネットワークなどを介して情報を入力する装置であってもよい。
なお、属性入力部805では、検出情報Sd3に含まれるコンテンツ情報に応じて、ユーザが入力可能なコンテンツ情報が制御されるものであってもよい。例えば、属性検出部806が入力画像データd372の種類は「アニメ」であると検出した場合、属性入力部805では、アニメに関する項目(例えば、アニメ監督、アニメタイトルなど)のみを入力させるとしてもよい。
出力制御部807は、検出情報Sd3と入力情報Sd4とを取得し、プロファイル情報SSI,SCIを出力する。
出力制御部807の詳しい動作について説明を加える。出力制御部807は、検出情報Sd3と入力情報Sd4とから属性情報d380の内容を取得する。さらに、その属性情報d380を有する画像に対して好適な画像処理を行うプロファイルデータを決定する。例えば、出力制御部807は、属性情報d380の各項目とプロファイルデータとの関連付けを記憶するデータベースを参照し、プロファイルデータを決定する。ここで、出力制御部807は、検出情報Sd3と入力情報Sd4とにより同じ項目のコンテンツ情報について異なる値が取得された場合、いずれかの情報を優先させることとしてもよい。例えば、常に入力情報Sd4を優先的に利用するなどしてもよい。
さらに、出力制御部807は、決定したプロファイルデータ、決定したプロファイルデータを特定する番号などのタグ情報、決定したプロファイルデータの処理の特徴を示すパラメータ情報のうち少なくとも一つを含むプロファイル情報SSI,SCIを出力する。
プロファイル情報SSI,SCIに関する詳しい説明は上記実施形態と同様であるため省略する。
カラー視覚処理装置745や色処理装置746では、プロファイル情報SSI,SCIから画像処理に用いるプロファイルデータを判断し、画像処理を行う。例えば、プロファイル情報SSI,SCIがプロファイルデータを含む場合、そのプロファイルデータを用いて画像処理を行う。プロファイル情報SSI,SCIがタグ情報、パラメータ情報を含む場合、それぞれの情報により特定されるプロファイルデータを用いて画像処理を行う。
なお、出力制御部807は、検出情報Sd3と入力情報Sd4とから取得されるコンテンツ情報の各項目をプロファイル情報SSI,SCIとして出力してもよい。この場合、カラー視覚処理装置745や色処理装置746では、プロファイル情報SSI,SCIから画像処理に用いるプロファイルデータを特定し、画像処理を行う。
《8−2》効果
(1)
コンテンツ制作時のコンテンツ情報に応じて適切なプロファイルデータを用いた画像処理を行うことが可能となる。このため、コンテンツ制作側の意図を考慮して画像処理を行うことが可能となる。
より具体的には、タイトル、制作会社などにより、画像全体の明るさ、色温度などの傾向を判断し、画像全体の明るさ、色温度などを変換する画像処理を行うことなどが可能となる。また、制作側指定属性などにより、制作側の意図する画像表示を行わせることが可能となる。
(2)
属性判定部802は、自動的にコンテンツ情報を検出する属性検出部806だけでなく、手動によりコンテンツ情報を入力させる属性入力部805も備える。このため、コンテンツ情報の検出に不具合がある場合でも、属性入力部805によりコンテンツ情報を適切に入力することが可能となり、適切な画像処理を行うことが可能となる。さらに、属性入力部805により、ユーザ側の好みを画像処理に反映させることも可能となる。例えば、アニメはメリハリを強くした画像に、映画は鮮やかな画像に、というようにユーザ側の好みを反映させることが可能となる。さらに、デジタルリマスター版のように修正された画像のコンテンツ情報を修正することが可能となる。
(3)
カラー視覚処理装置745と色処理装置746とにそれぞれプロファイル情報SSI,SCIを指示することが可能となる。このため、コンテンツ情報の種類として「アクションおよびホラー」などと複数の値が指定されている場合にでも、アクションのように動きが多い部分に対しては、カラー視覚処理装置745で適切に視覚処理を行わせ、ホラーのように色が心理的影響を与える部分に対しては、色処理装置746で適切に色処理を行わせることが可能となる。
また、カラー視覚処理装置745と色処理装置746とのそれぞれに対して異なるプロファイル情報SSI,SCIを出力するため、それぞれの装置で考慮すべきプロファイル情報SSI,SCIの情報量を削減でき、より簡易にプロファイルデータの選択を行うことが可能となる。
《8−3》変形例
(1)
一旦取得されたコンテンツ情報は、繰り返し用いてもよい。この場合、再度すべての情報を取得しなくても記憶されたコンテンツ情報を用いて画像処理を行うプロファイルデータを特定できるものであってもよい。
(2)
画像処理装置800は、属性入力部805または属性検出部806のいずれか一方を備えない装置であってもよい。また、分離部801は、必ずしも画像処理装置800の内部に備えられていなくともよい。
(3)
プロファイル情報SSIとプロファイル情報SCIとは、必ずしも異なる情報である必要は無く、同じ情報であってもよい。
(4)
属性情報d380は、コンテンツ情報以外の情報を含むものであってもよい。具体的には、入力画像データの一部に関わる属性であるシーン属性情報、入力画像信号d362が生成された環境に関わる撮影属性情報、入力画像信号d362が表示装置720に取得されるまでの媒体に関わる放送属性情報、入力画像信号d362が記録される媒体・機器に関わる記録属性情報、画像処理に用いられるプロファイルデータに関わるプロファイル属性情報などを含んでもかまわない。以下、それぞれについて具体的に説明を加える。
なお、以下の説明では、属性情報d380がシーン属性情報、撮影属性情報、放送属性情報、記録属性情報、プロファイル属性情報のそれぞれを含む場合について別々に説明するが、コンテンツ情報を含めたこれらの情報は、属性情報d380において全て同時に、あるいは、いくつかを組み合わせて、含まれるものであってもよい。この場合には、それぞれの情報による効果をさらに向上させることが可能となる。
(4−1)シーン属性情報
(4−1−1)
図90に、属性情報d380としてシーン属性情報が含まれる入力画像信号d362のフォーマットを示す。図90に示す入力画像信号d362では、入力画像データd372のシーンを単位としてシーン属性情報が配置されている。シーン属性情報は、例えば、フラグ情報を伴うなどして入力画像データd372と分離可能な状態で配置されている。
シーン属性情報は、それに続く入力画像データd372のシーン内容を記述する情報である。例えば、シーン属性情報は、「明るさ」、「対象」、「動作」、「シーン概要」などといった項目の組み合わせにより記述されており、「暗い・森・風景」、「明るい・人物・アップ」、「暗い・人物・風景」などといった内容が記述されている。なお、これらはシーン属性情報一例であり、これに限定される訳ではない。たとえば、「シーン概要」として、ニュース、スポーツ、ホームドラマ、アクションなどといった内容が指定がされていてもよい。
シーン属性情報を含む入力画像信号d362に対して画像処理を行う画像処理装置は、画像処理装置800をシーン属性情報に対応させたものと同様である。
分離部801(図87参照)は、図90に示したフォーマットに基づいて属性情報d380を分離する。
属性検出部806(図89参照)は、属性情報d380に含まれるシーン属性情報を検出し、検出情報Sd3を出力する。属性入力部805は、ユーザにシーン属性情報の入力を行わせる。
出力制御部807(図89参照)は、検出情報Sd3と入力情報Sd4とを取得し、プロファイル情報SSI,SCIを出力する。例えば、出力制御部807は、検出情報Sd3と入力情報Sd4とから取得されるシーン属性情報の各項目とプロファイルデータとの関連付けを記憶するデータベースを参照するなどして、カラー視覚処理装置745と色処理装置746とで用いられるプロファイルデータを決定する。
プロファイル情報SSI,SCIに関する詳しい説明は上記実施形態と同様であるため省略する。なお、プロファイル情報SSI,SCIは、シーン属性情報を含んでいてもよい。この場合、カラー視覚処理装置745と色処理装置746とは、取得したシーン属性情報から画像処理に用いるプロファイルデータを選択し、画像処理を行う。
その他、画像処理装置800の各部の動作は、属性情報d380がコンテンツ情報を含む場合と同様であるため説明を省略する。
(4−1−2)
本発明により、上記実施形態で記載した効果と同様の効果が得られる。以下、本変形例に特徴的な効果を記載する。
シーン属性情報に応じて適切なプロファイルデータを用いた画像処理を行うことが可能となる。このため、コンテンツ制作側の意図を考慮して画像処理を行うことが可能となる。
シーン属性情報は、入力画像データd372のシーン毎に必要に応じて配置されている。このため、より詳細に画像処理を切り替えることが可能となり、より適切に画像処理を行うことが可能となる。
例えば、検出情報Sd3と入力情報Sd4とにより、シーン属性情報が「暗い・森・風景」と取得された場合、出力制御部807は、「影の暗部を改善するプロファイルデータ」を指定するプロファイル情報SSIを出力するとともに、「緑色の記憶色補正を行い、肌色の記憶色補正を行わないプロファイルデータ」を指定するプロファイル情報SCIを出力する。
また例えば、検出情報Sd3と入力情報Sd4とにより、シーン属性情報が「明るい・人物・アップ」と取得された場合、出力制御部807は、「コントラスト強調を抑制したプロファイルデータ」を指定するプロファイル情報SSIを出力するとともに、「肌色の記憶色補正を行うプロファイルデータ」を指定するプロファイル情報SCIを出力する。
また例えば、検出情報Sd3と入力情報Sd4とにより、シーン属性情報が「暗い・人物・風景」と取得された場合、出力制御部807は、「人物の暗部を強調し、背景の暗部改善を抑制したプロファイルデータ」を指定するプロファイル情報SSIを出力するとともに、「ホワイトバランスの調整と肌色の記憶色補正とを行わないプロファイルデータ」を指定するプロファイル情報SCIを出力する。
また例えば、検出情報Sd3と入力情報Sd4とにより、シーン属性情報が「人物・ドラマ」と取得された場合、画像内で主たる処理対象は人物となる。よって、出力制御部807は、カラー視覚処理装置745に対して、肌色でかつ輝度の低い領域のコントラスト改善を行い、かつ、それ以外の輝度の低い領域のコントラスト改善をしない、ようなプロファイルデータを指定するプロファイル情報SSIを出力する。それに対して、色処理装置746に対して、肌色の記憶補正を行い、かつ、それ以外の緑等の記憶色に対する補正を弱める、ようなプロファイルデータを指定するプロファイル情報SCIを出力する。
属性検出部806により自動的に検出されたシーン属性情報のみならず、ユーザが入力したシーン属性情報にも基づいてプロファイルデータの選択が行われる。このため、ユーザにとっての主観的な画質をより向上させることが可能となる。
また、人物の移動シーンにおいて背景が太陽光の向きやが徐々に変動するような一連のシーンの場合、各シーンごとにシーン属性情報を付加することも可能であるが、その先頭シーンのみにシーン属性情報を付加することも可能である。また、先頭シーンにまずシーン属性情報を付加して、続く連続シーンには先頭シーンからの明るさの変動情報や対象の変動情報のみをシーン属性情報として付加することも可能である。こうすることで、動画像の画像処理におけるちらつきや画質の急激な変化を抑えることができる。
(4−2)撮影属性情報
(4−2−1)
図91に、属性情報d380として撮影属性情報が含まれる入力画像信号d362のフォーマットを示す。図91に示す入力画像信号d362では、入力画像信号d362のヘッダ部分に撮影属性情報が配置されている。なお、撮影属性情報は、これに限らず、例えば、フラグ情報を伴うなどして入力画像データd372と分離可能な状態で配置されていてもよい。
撮影属性情報は、それに続く入力画像データd372の撮影状況を記述する情報である。例えば、撮影属性情報は、「位置・方角」、「日付」、「時刻」、「撮影機器情報」などといった項目の組み合わせにより記述されている。「位置・方角」は、撮影時にGPSなどから取得される情報である。「撮影機器情報」は、撮影時の機器の情報であり、ストロボ有無、絞り、シャッタースピード、マクロ撮影(接写撮影)有無などの情報が格納されている。なお、これらは撮影属性情報の一例であり、これに限定される訳ではない。例えば、撮影時に用いたマクロプログラム(ストロボ有無、絞り、シャッタースピードなどの制御を組み合わせて実行するためのプログラム)を特定するための情報であってもよい。
撮影属性情報を含む入力画像信号d362に対して画像処理を行う画像処理装置は、画像処理装置800を撮影属性情報に対応させたものと同様である。
分離部801(図87参照)は、図91に示したフォーマットに基づいて属性情報d380を分離する。
属性検出部806(図89参照)は、属性情報d380に含まれる撮影属性情報を検出し、検出情報Sd3を出力する。属性入力部805は、ユーザに撮影属性情報の入力を行わせる。
出力制御部807(図89参照)は、検出情報Sd3と入力情報Sd4とを取得し、プロファイル情報SSI,SCIを出力する。例えば、出力制御部807は、検出情報Sd3と入力情報Sd4とから取得される撮影属性情報の各項目とプロファイルデータとの関連付けを記憶するデータベースを参照するなどして、カラー視覚処理装置745と色処理装置746とで用いられるプロファイルデータを決定する。プロファイル情報SSI,SCIに関する詳しい説明は上記実施形態と同様であるため省略する。
なお、プロファイル情報SSI,SCIは、撮影属性情報を含んでいてもよい。この場合、カラー視覚処理装置745と色処理装置746とは、取得した撮影属性情報から画像処理に用いるプロファイルデータを選択し、画像処理を行う。
その他、画像処理装置800の各部の動作は、属性情報d380がコンテンツ情報を含む場合と同様であるため説明を省略する。
(4−2−2)
本発明により、上記実施形態で記載した効果と同様の効果が得られる。以下、本変形例に特徴的な効果を記載する。
撮影属性情報に応じて適切なプロファイルデータを用いた画像処理を行うことが可能となる。このため、コンテンツ制作側の意図を考慮して画像処理を行うことが可能となる。
例えば、「位置・方角」、「日付」、「時刻」、「撮影機器情報」などといった項目から、入力画像データd372が生成された環境における「太陽の方向」、「季節」、「天気」、「太陽光の色」、「ストロボ有無」などの情報を取得し、被写体の撮影状況(例えば、順光か逆光かなど)を解析することが可能となる。さらに、解析された撮影状況に対して適切なプロファイルデータを用いて画像処理を行うことが可能となる。
属性検出部806により自動的に検出された撮影属性情報のみならず、ユーザが入力した撮影属性情報にも基づいてプロファイルデータの選択が行われる。このため、ユーザにとっての主観的な画質をより向上させることが可能となる。
(4−3)放送属性情報
(4−3−1)
図92に、属性情報d380として放送属性情報が含まれる入力画像信号d362のフォーマットを示す。図92に示す入力画像信号d362では、入力画像信号d362のヘッダ部分に放送属性情報が配置されている。なお、放送属性情報は、これに限らず、例えば、フラグ情報を伴うなどして入力画像データd372と分離可能な状態で配置されていてもよい。
放送属性情報は、入力画像信号d362が表示装置720に取得されるまでの媒体に関わる情報であって、特に、どのような放送形態により入力画像信号d362が取得されたかに関わる情報である。例えば、放送属性情報には、「地上波デジタル放送」「地上波アナログ放送」「衛星デジタル放送」「衛星アナログ放送」「インターネット放送」のいずれかを示す値が格納されている。
放送属性情報を含む入力画像信号d362に対して画像処理を行う画像処理装置は、画像処理装置800を放送属性情報に対応させたものと同様である。
分離部801(図87参照)は、図92に示したフォーマットに基づいて属性情報d380を分離する。
属性検出部806(図89参照)は、属性情報d380に含まれる放送属性情報を検出し、検出情報Sd3を出力する。属性入力部805は、ユーザに放送属性情報の入力を行わせる。
出力制御部807(図89参照)は、検出情報Sd3と入力情報Sd4とを取得し、プロファイル情報SSI,SCIを出力する。例えば、出力制御部807は、検出情報Sd3と入力情報Sd4とから取得される放送属性情報とプロファイルデータとの関連付けを記憶するデータベースを参照するなどして、カラー視覚処理装置745と色処理装置746とで用いられるプロファイルデータを決定する。プロファイル情報SSI,SCIに関する詳しい説明は上記実施形態と同様であるため省略する。
なお、プロファイル情報SSI,SCIは、放送属性情報を含んでいてもよい。この場合、カラー視覚処理装置745と色処理装置746とは、取得した放送属性情報から画像処理に用いるプロファイルデータを選択し、画像処理を行う。
その他、画像処理装置800の各部の動作は、属性情報d380がコンテンツ情報を含む場合と同様であるため説明を省略する。
(4−3−2)
本発明により、上記実施形態で記載した効果と同様の効果が得られる。以下、本変形例に特徴的な効果を記載する。
放送属性情報に応じて適切なプロファイルデータを用いた画像処理を行うことが可能となる。例えば、放送経路が画像に与える影響を補正し、放送局側の意図を考慮して画像処理を行うことが可能となる。
より具体的には、例えば、地上波アナログ放送、衛星アナログ放送などにより取得された画像に対しては、伝送時のノイズを過剰に強調しないプロファイルデータの選択が行われる。これにより、夜景中に被写体が存在する画像に対して、夜景領域は輝度を保持しつつ被写体の明瞭化を行うプロファイルデータを用いて画像処理を行うことなどが可能となる。
属性検出部806により自動的に検出された放送属性情報のみならず、ユーザが入力した放送属性情報にも基づいてプロファイルデータの選択が行われる。このため、ユーザにとっての主観的な画質をより向上させることが可能となる。
(4−4)記録属性情報
(4−4−1)
図93に、属性情報d380として記録属性情報が含まれる入力画像信号d362のフォーマットを示す。図93に示す入力画像信号d362では、入力画像信号d362のヘッダ部分に記録属性情報が配置されている。なお、記録属性情報は、これに限らず、例えば、フラグ情報を伴うなどして入力画像データd372と分離可能な状態で配置されていてもよい。
記録属性情報は、入力画像信号d362が記録された媒体・装置に関わる情報である。例えば、記録属性情報は、入力画像信号d362が記録された「年代」、記録媒体・装置の「提供メーカ」、記録媒体・装置を特定するための「製品情報」などを含んでいる。
記録属性情報を含む入力画像信号d362に対して画像処理を行う画像処理装置は、画像処理装置800を記録属性情報に対応させたものと同様である。
分離部801(図87参照)は、図93に示したフォーマットに基づいて属性情報d380を分離する。
属性検出部806(図89参照)は、属性情報d380に含まれる記録属性情報を検出し、検出情報Sd3を出力する。属性入力部805は、ユーザに記録属性情報の入力を行わせる。
出力制御部807(図89参照)は、検出情報Sd3と入力情報Sd4とを取得し、プロファイル情報SSI,SCIを出力する。例えば、出力制御部807は、検出情報Sd3と入力情報Sd4とから取得される記録属性情報とプロファイルデータとの関連付けを記憶するデータベースを参照するなどして、カラー視覚処理装置745と色処理装置746とで用いられるプロファイルデータを決定する。プロファイル情報SSI,SCIに関する詳しい説明は上記実施形態と同様であるため省略する。
なお、プロファイル情報SSI,SCIは、記録属性情報を含んでいてもよい。この場合、カラー視覚処理装置745と色処理装置746とは、取得した記録属性情報から画像処理に用いるプロファイルデータを選択し、画像処理を行う。
その他、画像処理装置800の各部の動作は、属性情報d380がコンテンツ情報を含む場合と同様であるため説明を省略する。
(4−4−2)
本発明により、上記実施形態で記載した効果と同様の効果が得られる。以下、本変形例に特徴的な効果を記載する。
記録属性情報に応じて適切なプロファイルデータを用いた画像処理を行うことが可能となる。例えば、「提供メーカ」が色処理を専門的に扱うカメラメーカなどである場合、色処理装置746が色処理をあまり行わないようにプロファイル情報SCIが出力される。また例えばフィルムなどで記録された入力画像データd372に対しては、フィルムの色表現領域の特性を考慮して色処理を行うようにプロファイル情報SCIが出力される。このように、記録媒体・記録装置が画像に与える影響を補正し、制作側の意図を考慮して画像処理を行うことが可能となる。
属性検出部806により自動的に検出された記録属性情報のみならず、ユーザが入力した記録属性情報にも基づいてプロファイルデータの選択が行われる。このため、ユーザにとっての主観的な画質をより向上させることが可能となる。
(4−5)プロファイル属性情報
(4−5−1)
図94に、属性情報d380としてプロファイル属性情報が含まれる入力画像信号d362のフォーマットを示す。図94に示す入力画像信号d362では、入力画像信号d362のヘッダ部分にプロファイル属性情報が配置されている。なお、プロファイル属性情報は、これに限らず、例えば、フラグ情報を伴うなどして入力画像データd372と分離可能な状態で配置されていてもよい。
プロファイル属性情報は、プロファイルデータを特定するための情報であり、例えば、入力画像データd372を生成する撮影装置などが推奨するプロファイルデータを特定するための情報である。プロファイル属性情報は、プロファイルデータ、プロファイルデータを特定する番号などのタグ情報、プロファイルデータの処理の特徴を示すパラメータ情報のうちの少なくとも一つを含んでいる。プロファイルデータ、タグ情報、パラメータ情報は、上記実施形態においてプロファイル情報SSI,SCIの説明の際に記載したのと同様である。
プロファイル属性情報が特定するプロファイルデータは、次の画像処理〔a〕〜画像処理〔c〕のいずれかの画像処理を行うためのプロファイルデータである。画像処理〔a〕は、入力画像データd372を生成する撮影装置などにおいて、入力画像データd372に対して好適であると判断された画像処理である。画像処理〔b〕は、画像処理〔a〕に加えて、撮影装置の表示部と標準モデルの表示装置との特性の差異を補正するための画像処理を行うための画像処理である。画像処理〔c〕は、画像処理〔a〕に加えて、撮影装置の表示部と表示装置720(図76参照)との特性の差異を補正するための画像処理を行うための画像処理である。
さらに、プロファイル属性情報は、入力画像信号d362に含まれる入力画像データd372が既に撮影装置などにおいて画像処理されたデータであるか否かに関する処理フラグ情報を含んでいる。
プロファイル属性情報を含む入力画像信号d362に対して画像処理を行う画像処理装置は、画像処理装置800をプロファイル属性情報に対応させたものと同様である。
分離部801(図87参照)は、図94に示したフォーマットに基づいて属性情報d380を分離する。
属性検出部806(図89参照)は、属性情報d380に含まれるプロファイル属性情報を検出し、検出情報Sd3を出力する。属性入力部805は、ユーザにプロファイル属性情報の入力を行わせる。
出力制御部807(図89参照)は、検出情報Sd3と入力情報Sd4とを取得し、プロファイル情報SSI,SCIを出力する。プロファイル情報SSI,SCIは、プロファイル属性情報の形式(プロファイルデータ、タグ情報、パラメータ情報のいずれか)に関わらず、プロファイルデータ、タグ情報、パラメータ情報のいずれの形式で出力されてもよい。
以下、出力制御部807の動作について詳細に説明を加える。
出力制御部807は、検出情報Sd3または入力情報Sd4から取得されるプロファイル属性情報のうち、プロファイルデータを特定する情報をそのままプロファイル情報SSI,SCIとして出力するか否かを判断する。
例えば、入力情報Sd4によりプロファイルデータが指定されている場合、プロファイル属性情報にかかわらず「出力する」と判断する。
例えば、プロファイル属性情報が画像処理〔a〕または画像処理〔c〕を行うプロファイルデータを特定する情報を含んでおり、処理フラグ情報が「処理無し」を示している場合、「出力する」と判断する。
それ以外の場合、「出力しない」と判断する。
例えば、プロファイル属性情報が画像処理〔a〕を行うプロファイルデータを特定する情報を含んでおり、処理フラグ情報が「処理有り」を示している場合、出力制御部807は、カラー視覚処理装置745と色処理装置746とに画像処理を行わせないプロファイルデータを特定する情報をプロファイル情報SSI,SCIとして出力する。
例えば、プロファイル属性情報が画像処理〔b〕を行うプロファイルデータを特定する情報を含んでおり、処理フラグ情報が「処理無し」を示している場合、画像処理〔a〕に加えて、標準モデルの表示装置と表示装置720との特性の差異を補正するための画像処理を行うプロファイルデータを特定するための情報をプロファイル情報SSI,SCIとして出力する。
例えば、プロファイル属性情報が画像処理〔b〕を行うプロファイルデータを特定する情報を含んでおり、処理フラグ情報が「処理有り」を示している場合、標準モデルの表示装置と表示装置720との特性の差異を補正するための画像処理を行うプロファイルデータを特定するための情報をプロファイル情報SSI,SCIとして出力する。
例えば、プロファイル属性情報が画像処理〔c〕を行うプロファイルデータを特定する情報を含んでおり、処理フラグ情報が「処理有り」を示している場合、出力制御部807は、カラー視覚処理装置745と色処理装置746に対して、撮影装置の表示部と表示装置720とのデバイス特性の差異を補正するための画像処理を行うプロファイルデータを特定するための情報をプロファイル情報をSSI,SCIとして出力する。
なお、これらの処理は、一例であり、これに限定される訳ではない。
その他、画像処理装置800の各部の動作は、属性情報d380がコンテンツ情報を含む場合と同様であるため説明を省略する。
(4−5−2)
本発明により、上記実施形態で記載した効果と同様の効果が得られる。以下、本変形例に特徴的な効果を記載する。
プロファイル属性情報に応じて適切なプロファイルデータを用いた画像処理を行うことが可能となる。例えば、撮影側で推奨されるプロファイルデータを用いた画像処理を行うことが可能となる。さらに、撮影側の表示部で確認された画像に近い表示を行うことが可能となる。このため、制作側の意図を考慮して画像処理を行うことが可能となる。
属性検出部806により自動的に検出されたプロファイル属性情報のみならず、ユーザが入力したプロファイル属性情報にも基づいてプロファイルデータの選択が行われる。このため、ユーザにとっての主観的な画質をより向上させることが可能となる。
[第11実施形態]
図95〜図103を用いて、本発明の第11実施形態としての撮影装置820について説明する。
図95に示す撮影装置820は、画像の撮影を行うスチールカメラ、ビデオカメラなど、画像を撮影する撮影装置である。撮影装置820は、上記実施形態で説明した視覚処理装置を含む画像処理装置832を有する点、自動あるいは手動により視覚処理に用いるプロファイルデータを切り替えることができる点に特徴を有している。なお、撮影装置820は、独立した装置であってもよいが、携帯電話機、PDA、PCなどの携帯情報端末に備えられている装置であってもよい。
〈撮影装置820〉
撮影装置820は、撮影部821、画像処理装置832、表示部834、CPU846、照明部848、入力部850、セキュリティ判定部852、コーデック840、メモリコントローラ842、メモリ844、外部インタフェース(I/F)854、外部装置856を備えている。
撮影部821は、画像の撮影を行い、入力画像信号d362を出力する部分であり、レンズ822、絞り・シャッター部824、CCD826、アンプ828、A/D変換部830、CCD制御部836、情報検出部838から構成されている。
レンズ822は、CCD826上に被写体の画像を結像するためのレンズである。絞り・シャッター部824は、レンズ822を通過した光束の通過範囲や通過時間を変えて露出を制御するための機構である。CCD826は、被写体の画像を光電変換して画像信号として出力するためのイメージセンサである。アンプ828は、CCD826から出力された画像信号を増幅するための装置である。A/D変換部830は、アンプ828により増幅されたアナログ画像信号をデジタル画像信号に変換する装置である。CCD制御部836は、CCD826を駆動するタイミングを制御する装置である。情報検出部838は、デジタル画像信号からオートフォーカス、絞り、露出などの情報を検出し、CPU846に出力する装置である。
画像処理装置832は、[第10実施形態]で図77を用いて説明した画像処理装置723のと同様の画像処理装置である。画像処理装置832は、CPU846からの制御を受け、入力画像信号d362に含まれる入力画像データd372(図96参照)の画像処理を行い、出力画像データd371(図96参照)を含む出力画像信号d361を出力する装置である。画像処理装置832は、上記実施形態で説明した視覚処理装置を含み、プロファイルデータを用いて画像処理を行う点に特徴を有している。詳細な構成は、後ほど図96を用いて説明する。
表示部834は、画像処理装置832により出力された出力画像信号d361を、例えばサムネイル表示する装置である。表示部834は、LCDで構成されることが多いが、PDP、CRT、プロジェクタなど、画像を表示する装置であれば特に限定しない。なお、表示部834は、撮影装置820に内蔵されているものだけでなく、有線あるいは無線のネットワークなどを介して接続されていてもよい。また、表示部834は、画像処理装置832とCPU846を介して接続されていてもよい。
CPU846は、画像処理装置832、コーデック840、メモリコントローラ842、外部I/F854、とバスラインを介して接続されており、情報検出部838の検出結果、入力部850による入力結果、照明部848による発光情報、セキュリティ判定部852による判定結果などを受け取るとともに、レンズ822、絞り・シャッター部824、CCD制御部836、画像処理装置832、照明部848、入力部850、セキュリティ判定部852やバスラインに接続された各部などの制御を実行する装置である。
照明部848は、被写体に照射する照明光を発光するストロボなどである。
入力部850は、撮影装置820への操作をユーザに行わせるためのユーザインタフェースであり、各部の制御をするためのキー、つまみ、リモコンなどである。
セキュリティ判定部852は、外部から取得されるセキュリティ情報を判定して、CPUを介して画像処理装置832の制御を行う部分である。
コーデック840は、画像処理装置832からの出力画像信号d361をJPEGあるいはMPEGなどにより圧縮処理する圧縮回路である。
メモリコントローラ842は、DRAMなどで構成されるCPUのメモリ844のアドレスやアクセスタイミングなどの制御を行う。
メモリ844は、DRAMなどで構成され、画像処理などの際に作業用メモリとして用いられる。
外部I/F854は、メモリカード859、PC861などの外部装置856に出力画像信号d361、あるいはコーデック840で圧縮処理された出力画像信号d361を出力するとともに、画像処理を行うためのプロファイルデータに関する情報であるプロファイル情報などを取得し、入力画像信号d362として画像処理装置832に出力するためのインタフェースである。プロファイル情報は、[第10実施形態]で説明したのと同様である。外部I/F854は、例えば、メモリカードI/F858、PCI/F860、ネットワークI/F862、無線I/F864などにより構成される。なお、外部I/F854は、ここに例示したものの全てを備えている必要は無い。
メモリカードI/F858は、画像データやプロファイル情報などを記録するメモリカード859と撮影装置820とを接続するためのインタフェースである。PCI/F860は、画像データやプロファイル情報などを記録するパーソナルコンピュータなどの外部機器であるPC861と撮影装置820とを接続するためのインタフェースである。ネットワークI/F862は、撮影装置820をネットワークに接続し、画像データやプロファイル情報などを送受信するためのインタフェースである。無線I/F864は、撮影装置820を無線LANなどを介して外部機器と接続し、画像データやプロファイル情報などを送受信するためのインタフェースである。なお、外部I/F854は、図示したものに限られず、例えば、USB、光ファイバーなどと撮影装置820とを接続するためのインタフェースであってもよい。
〈画像処理装置832〉
図96に、画像処理装置832の構成を示す。画像処理装置832は、画像処理装置723と同様の構成を有している。図96では、画像処理装置723と同じ機能を有する部分に同じ符号を付している。
画像処理装置832は、入力画像データd372に対してカラー視覚処理を行うカラー視覚処理装置745と、カラー視覚処理装置745の出力であるカラー視覚処理信号d373に対して色処理を行う色処理装置746と、カラー視覚処理および色処理に用いられるプロファイルデータを特定するためのプロファイル情報SSI,SCIを出力するプロファイル情報出力部747とを備えている。
各部の動作は、[第10実施形態]で説明したため、詳しい説明を省略する。
なお、[第10実施形態]では、プロファイル情報SSI,SCIが含む環境情報は、「画像処理された画像データが表示され、視覚される環境に関する情報である」、と記載したが、これは、撮影が行われる環境に関する情報であってもよい。
〈撮影装置820の効果〉
撮影装置820は、[第10実施形態]で説明した画像処理装置723と同様の画像処理装置832を備えている。このため、画像処理装置723を備える表示装置720(図76参照)と同様の効果を奏することが可能である。
(1)
撮影装置820では、プロファイル情報出力部747(図78参照)を備え、取得された環境情報に好適なプロファイルデータを用いた画像処理を行うことが可能となる。特に、自動的に検出された環境情報のみならず、ユーザが入力した環境情報にも基づいてプロファイルデータの選択が行われるため、ユーザにとってより視覚的効果の高い画像処理を行うことが可能となる。
プロファイルデータとしてルックアップテーブルを用いた場合には、テーブルの参照により画像処理が行われるため高速な画像処理が実現可能となる。
撮影装置820では、プロファイルデータを変更することにより異なる画像処理が実現される。すなわち、ハードウェア構成を変更することなく異なる画像処理が実現される。
プロファイルデータを用いた画像処理では、予めプロファイルデータを生成しておくことができるため、複雑な画像処理を容易に実現することが可能となる。
(2)
画像処理装置832のプロファイル情報出力部747では、カラー視覚処理装置745と色処理装置746とのそれぞれに対して、異なるプロファイル情報を出力することが可能となる。このため、カラー視覚処理装置745と色処理装置746とにおけるそれぞれの画像処理が重複した処理、あるいは効果が相殺される処理となることが防止可能となる。すなわち、画像処理装置832による画像処理を適切に行うことが可能となる。
(3)
撮影装置820は、表示部834を備え、画像処理された画像を確認しつつ撮影を行うことが可能である。このため、撮影時の画像の印象と、撮影された画像を表示した時の印象とを近づけることが可能となる。
〈変形例〉
撮影装置820では、上記実施形態において画像処理装置723や視覚処理装置753(図79参照)に関して記載したのと同様の変形が可能である。以下、撮影装置820に特徴的な変形例を記載する。
(1)
[第10実施形態]の説明において、プロファイル情報出力部747の情報入力部748(図78参照)は、ユーザが環境情報を入力するための入力装置であると説明した。
撮影装置820では、情報入力部748は、環境情報に加えて、あるいは変えて、他の情報を入力することができる装置であってもよい。例えば、情報入力部748は、ユーザの嗜好する明るさや画質といったユーザ入力情報を入力することができる装置であってもよい。
本変形例としてのプロファイル情報出力部747では、情報入力部748に加えて、あるいは変えて、[第10実施形態]〈変形例〉(7)に記載したユーザ入力部772(図86参照)を備えているものでもよい。ユーザ入力部772の詳しい説明は、上記実施形態で行ったため省略する。
本変形例としてのプロファイル情報出力部747の出力制御部750(図78参照)は、ユーザ入力部772から入力されたユーザ入力情報と、環境検出部749が検出した環境情報とに基づいて、プロファイル情報SSI,SCIを出力する。より具体的には、本変形例としての出力制御部750は、ユーザ入力情報の値と環境情報の値とに関連づけられたプロファイルデータのデータベースを参照するなどしてプロファイル情報SSI,SCIを出力する。
これにより、撮影装置820では、ユーザの好みに応じた適切なプロファイルデータによる画像処理が実現可能となる。
(2)
上記実施形態で説明した撮影装置820の各部において、同様の機能を実現する部分は、共通のハードウェアで実現されていても良い。
例えば、撮影装置820の入力部850(図95参照)は、プロファイル情報出力部747の情報入力部748、変形例としてのプロファイル情報出力部747のユーザ入力部772、視覚処理装置753b(図83参照)の入力装置527、視覚処理装置753c(図84参照)の入力装置527などと兼用される装置であってもよい。
また、視覚処理装置753(図80参照)のプロファイルデータ登録装置8、視覚処理装置753a(図82参照)のプロファイルデータ登録部521、視覚処理装置753b(図83参照)のプロファイルデータ登録部526、視覚処理装置753c(図84参照)のプロファイルデータ登録部531などは、画像処理装置832の外部に備えられる物であっても良く、例えば、メモリ844や外部装置856により実現されていても良い。
また、それぞれのプロファイルデータ登録部やプロファイルデータ登録装置に登録されるプロファイルデータは、予め各部に登録されているものであってもよいし、外部装置856から取得されるものであってもよい。
また、それぞれのプロファイルデータ登録部やプロファイルデータ登録装置は、色処理装置746においてプロファイルデータが記憶される記憶装置と兼用されていても良い。
また、プロファイル情報出力部747は、画像処理装置832の外部や撮影装置820の外部に有線または無線で接続される装置であっても良い。
(3)
撮影装置820の画像処理装置832は、画像処理に用いるプロファイルデータを特定するためのプロファイル情報を、入力画像データd372または画像処理された入力画像データd372とともに出力画像信号d361として出力する装置であってもよい。
これについて、図97〜図101を用いて説明する。
《3−1》画像処理装置886の構成
図97を用いて、変形例としての画像処理装置886の構成を説明する。画像処理装置886は、入力画像データd372の画像処理を行い、処理結果を表示部834に表示させるとともに、画像処理に好適なプロファイルデータのプロファイル情報d401を入力画像データd372に付加して出力する装置である。
画像処理装置886は、カラー視覚処理装置888と、色処理装置889と、推奨プロファイル情報抽出部890と、プロファイル情報付加部892とを備えている。
カラー視覚処理装置888は、[第10実施形態]で説明したカラー視覚処理装置745とほぼ同様の構成を有しており、カラー視覚処理装置745と同様に、入力画像データd372の視覚処理を行い、カラー視覚処理信号d373を出力する。
カラー視覚処理装置888とカラー視覚処理装置745との相違点は、カラー視覚処理装置888が有する視覚処理装置が、視覚処理装置1(図1参照)、視覚処理装置520(図6参照)、視覚処理装置525(図7参照)、視覚処理装置530(図8参照)のいずれかとほぼ同様の視覚処理装置であり、かつ、視覚処理装置が推奨プロファイル情報SSOを出力する点である。推奨プロファイル情報SSOの詳細については、後述する。
色処理装置889は、[第10実施形態]で説明した色処理装置746とほぼ同様の構成を有しており、色処理装置746と同様に、カラー視覚処理信号d373の色処理を行い、出力画像データd371を出力する。
色処理装置889と色処理装置746との相違点は、色処理装置889が色処理に用いたプロファイルデータのプロファイル情報を推奨プロファイル情報SCOとして出力する点である。推奨プロファイル情報SCOの詳細については、後述する。
推奨プロファイル情報抽出部890は、推奨プロファイル情報SSO,SCOを抽出し、それらの情報をプロファイル情報d401として出力する。
プロファイル情報付加部892は、入力画像データd372に対してプロファイル情報d401を付加し、出力画像信号d361として出力する。
図98に、プロファイル情報付加部892がプロファイル情報d401を付加した出力画像信号d361のフォーマット例を示す。
図98(a)では、出力画像信号d361の先頭部にプロファイル情報d401が配置されており、それに続いて入力画像データd372が配置されている。このようなフォーマットでは、先頭部のプロファイル情報d401を用いて、全ての入力画像データd372の画像処理が行われる。このため、プロファイル情報d401は、出力画像信号d361中において一箇所だけ配置されていればよく、出力画像信号d361に占めるプロファイル情報d401の割合を削減することが可能となる。
図98(b)では、複数に分割された入力画像データd372のそれぞれに対して、プロファイル情報d401が配置されている。このようなフォーマットでは、分割された入力画像データd372のそれぞれの画像処理において、異なるプロファイルデータが用いられる。このため、例えば、入力画像データd372のシーン毎に異なるプロファイルデータを用いた画像処理を行うことが可能となり、より画像処理を適切に行うことが可能となる。
また、連続的に変化するような一連のシーンの場合、まず先頭シーンにシーン属性情報を付加して、続く複数のシーンには先頭シーンからの明るさの変動情報や対象の変動情報のみをシーン属性情報として付加することで、動画像に対して画像処理する場合に発生することがあるちらつきや画質の急激な変化を抑えることができる。
《3−2》推奨プロファイル情報SSO,SCO
推奨プロファイル情報SSO,SCOは、それぞれプロファイルデータを特定するための情報であり、プロファイルデータ、プロファイルデータを特定する番号などのタグ情報、プロファイルデータの処理の特徴を示すパラメータ情報のうちの少なくとも一つを含んでいる。プロファイルデータ、タグ情報、パラメータ情報は、プロファイル情報SSI,SCIの説明で記載したのと同様である。
また、推奨プロファイル情報SSO,SCOが特定するプロファイルデータは、次の画像処理〔a〕〜画像処理〔c〕のいずれかの画像処理を行うためのプロファイルデータである。画像処理〔a〕は、カラー視覚処理装置888が入力画像データd372に対して好適であると判断する視覚処理、あるいは、色処理装置889がカラー視覚処理信号d373に対して好適であると判断する色処理である。ここで、画像処理〔a〕において、「好適であると判断される」画像処理とは、例えば、カラー視覚処理装置888と色処理装置889とでそれぞれ用いられた画像処理である。画像処理〔b〕は、画像処理〔a〕に加えて、撮影装置820の表示部834と標準モデルの表示装置との特性の差異を補正するための画像処理を行うための画像処理である。画像処理〔c〕は、画像処理〔a〕に加えて、撮影装置820の表示部834と撮影装置820が撮影した画像を表示する表示装置との特性の差異を補正するための画像処理を行うための画像処理である。
カラー視覚処理装置888と色処理装置889とは、撮影時の画像を確認するための表示部834の表示特性が分からない場合、画像処理〔a〕を行うプロファイルデータのプロファイル情報を推奨プロファイル情報SSO,SCOとして出力する。
カラー視覚処理装置888と色処理装置889とは、撮影装置820で撮影した画像を表示する表示部834の表示特性は分かるが、撮影装置820が撮影した画像を表示する表示装置(例えば、撮影・記録された画像を表示するための表示装置720など)の表示特性が分からない場合、画像処理〔b〕を行うプロファイルデータのプロファイル情報を推奨プロファイル情報SSO,SCOとして出力する。
カラー視覚処理装置888と色処理装置889とは、撮影装置820で撮影した画像を表示する表示部834の表示特性と、撮影装置820が撮影した画像を表示する表示装置(例えば、撮影・記録された画像を表示するための表示装置720など)の表示特性とが分かる場合、画像処理〔c〕を行うプロファイルデータのプロファイル情報を推奨プロファイル情報SSO,SCOとして出力する。
なお、以上の処理は、一例であり、それぞれの場合に選択される画像処理はこれに限らない。
《3−3》画像処理装置886の効果
画像処理装置886では、プロファイル情報d401を含む出力画像信号d361を出力する。このため、出力画像信号d361を取得した装置では、出力画像信号d361が含む入力画像データd372の画像処理を行う際に、好適なプロファイルデータを用いた画像処理を行うことが可能となる。
また、プロファイル情報d401は、画像処理〔a〕〜画像処理〔c〕のいずれかを行うプロファイルデータのプロファイル情報を含んでいる。このため、例えば、撮影装置820の表示部834において確認した画像と、出力画像信号d361を取得する表示装置が表示する画像とを近づけることが可能となる。すなわち、画像処理〔b〕を行うプロファイルデータのプロファイル情報を取得した表示装置では、出力画像信号d361に対して画像処理〔b〕を行うとともに、標準モデルの表示装置との差異を補正する画像処理を行うことにより、表示画像を表示部834で確認した画像に近づけることが可能となる。また、画像処理〔c〕を行うプロファイルデータのプロファイル情報を取得した表示装置では、出力画像信号d361に対して画像処理〔c〕を行うことにより、表示画像を表示部834で確認した画像に近づけることが可能となる。
《3−4》変形例
(1)処理フラグ情報
出力画像信号d361は、出力画像信号d361が含む入力画像データd372が画像処理装置886において画像処理されたデータであるか否かについての処理フラグ情報をさらに含んでいてもよい。これにより、出力画像信号d361を取得する表示装置は、出力画像信号d361が含む入力画像データd372が画像処理されたデータであるか否かについて判断することが可能となる。このため、表示装置において過剰な画像処理や、効果を相殺させるような画像処理を行うことが防止できる。
(2)画像処理装置
上記した画像処理装置886の説明において、「プロファイル情報付加部892は、入力画像データd372にプロファイル情報d401を付加して出力する」、と説明した。
ここで、プロファイル情報付加部892は、入力画像データd372を画像処理した結果である出力画像データd371にプロファイル情報d401を付加して出力する、ものであってもよい。
図99に画像処理装置886の変形例としての画像処理装置894を示す。画像処理装置886の各部と同じ機能を果たす部分については同じ符号を付して示す。図99に示す画像処理装置894は、プロファイル情報付加部892が、出力画像データd371に対して、プロファイル情報d401を付加している点に特徴を有している。
また、図99の画像処理装置894では、推奨プロファイル情報SSO,SCOが特定するプロファイルデータは、次の画像処理〔a’〕〜画像処理〔c’〕のいずれかの画像処理を行うためのプロファイルデータである。画像処理〔a’〕は、カラー視覚処理装置888が入力画像データd372に対して好適であると判断する視覚処理、あるいは、色処理装置889がカラー視覚処理信号d373に対して好適であると判断する色処理である。ここで、画像処理〔a’〕において、「好適であると判断される」画像処理とは、例えば、カラー視覚処理装置888と色処理装置889とのそれぞれにおいて用いられた画像処理である。画像処理〔b’〕は、撮影装置820の表示部834と標準モデルの表示装置との特性の差異を補正するための画像処理である。画像処理〔c’〕は、撮影装置820の表示部834と撮影装置820が撮影した画像を表示する表示装置との特性の差異を補正するための画像処理である。
その他各部の動作については、説明を省略する。
画像処理装置894では、例えば、上述の画像処理〔a’〕を行うプロファイルデータのプロファイル情報を取得した表示装置は、画像処理〔a’〕の逆変換を行うことにより入力画像データd372を再生することが可能となる。また、画像処理〔a’〕を行うプロファイルデータのプロファイル情報を取得した表示装置では、カラー視覚処理や色処理をこれ以上実行しないような指示をすることも可能である。また、上述の画像処理〔b’〕を行うプロファイルデータのプロファイル情報を取得した表示装置は、標準モデルの表示装置との差異を補正する画像処理を行うことで、表示画像を表示部834で確認した画像に近づけることが可能となる。また、上述の画像処理〔c’〕を行うプロファイルデータのプロファイル情報を取得した表示装置は、画像処理〔c’〕を行うことで、表示画像を表示部834で確認した画像に近づけることが可能となる。
また、画像処理装置894では、上記(4−1)に記載の処理フラグ情報を含む出力画像信号d361を出力してもよい。これにより、出力画像信号d361を取得する表示装置は、出力画像信号d361が含む出力画像データd371は、画像処理されたデータであると判断することが可能となり、表示装置において過剰な画像処理や、効果を相殺させるような画像処理を行うことが防止できる。
(3)画像処理装置
上記した画像処理装置886および画像処理装置894は、[第10実施形態]〈変形例〉(7)に記載したユーザ入力部772(図86参照)と同様のユーザ入力部897を備え、ユーザの入力をプロファイルデータの選択に反映させる装置であってもよい。
図100〜図101に、ユーザ入力部897を備える画像処理装置896および画像処理装置898を示す。ユーザ入力部897の動作は、[第10実施形態]〈変形例〉(7)に記載したユーザ入力部772の動作と同様であるため、詳しい説明を省略する。
画像処理装置896および画像処理装置898では、カラー視覚処理装置888は、視覚処理装置753(図80参照)、視覚処理装置753a(図82参照)、視覚処理装置753b(図83参照)、視覚処理装置753c(図84参照)のいずれかとほぼ同様の視覚処理装置であり、かつ、推奨プロファイル情報SSOを出力することのできる視覚処理装置を備えている。すなわち、ユーザ入力部897からプロファイル情報SSIを取得するとともに、推奨プロファイル情報SSOを出力することができる。
また、画像処理装置896および画像処理装置898では、色処理装置889は、ユーザ入力部897からプロファイル情報SCIを取得するとともに、推奨プロファイル情報SCOを出力することができる。
これにより、画像処理装置896、画像処理装置898では、表示部834に表示される画像を見ながら撮影時の画像処理に用いるプロファイルデータを適正化することが可能となる。この際、プロファイル情報SSI,SCIとをカラー視覚処理装置888と色処理装置889とに与えることができるため、各装置における処理の効果が過剰となること、あるいは効果が相殺されることを防止できる。また、ユーザ入力部897により、より微妙な画像処理の調整を行うことが可能となる。さらに、カラー視覚処理装置888と色処理装置889とが必要とするプロファイル情報SSI,SCIのみを与えることで、各装置における処理情報を削減でき、より簡易に処理を行うことが可能となる。
(4)
《4−1》
撮影装置820において、画像処理装置832(図96参照)は、セキュリティ情報を取得し、セキュリティ情報に応じて画像処理に用いるプロファイルデータを切り替える装置であってもよい。ここで、セキュリティ情報とは、撮影装置820の撮影環境において撮影が許可されているか否か、あるいはその許可の程度を表す情報である。
図102に、画像処理装置832の変形例としての画像処理装置870を示す。画像処理装置870は、入力画像データd372の画像処理を行い、出力画像データd371を出力する点において、画像処理装置832と同様である。画像処理装置870と画像処理装置832との相違点は、画像処理装置870が撮影環境におけるセキュリティ情報を取得するセキュリティ情報入力部872を備える点である。その他、画像処理装置832と共通する部分については、同じ符号を付し、説明を省略する。
セキュリティ情報入力部872は、例えば、ユーザに直接セキュリティ情報を入力させる入力装置、無線、赤外線あるいは有線によりセキュリティ情報を取得する受信装置などにより主に構成されている。さらに、セキュリティ情報入力部872は、取得したセキュリティ情報に基づいて、プロファイル情報SSI,SCIを出力する。
ここで、プロファイル情報SSI,SCIは、それぞれプロファイルデータを特定するための情報であり、プロファイルデータ、プロファイルデータを特定する番号などのタグ情報、プロファイルデータの処理の特徴を示すパラメータ情報のうちの少なくとも一つを含んでいる。プロファイルデータ、タグ情報、パラメータ情報は、上記実施形態で記載したのと同様である。
出力されるプロファイル情報SSI,SCIは、セキュリティ情報が示す撮影許可の程度が高いほど、より高画質な撮影が行えるようなプロファイルデータを特定し、撮影許可の程度が低いほど、より低画質な撮影しか行えないようなプロファイルデータを特定する。
図103を用いて画像処理装置870の動作についてさらに詳しく説明する。
図103は、撮影が制御される撮影制御領域880における、画像処理装置870を備える撮影装置820の動作について説明するための説明図である。
撮影制御領域880には、撮影が禁止される撮影禁止物883が配置されている。撮影禁止物883とは、例えば、人物、書物など、肖像権や著作権などの対象となるものなどである。撮影制御領域880には、セキュリティ情報発信装置881が設置されている。セキュリティ情報発信装置881は、無線、赤外線などによりセキュリティ情報を発信する。
撮影制御領域880内の撮影装置820は、セキュリティ情報入力部872によりセキュリティ情報を受信する。セキュリティ情報入力部872は、セキュリティ情報が示す撮影許可の程度を判断する。さらに、セキュリティ情報入力部872は、撮影許可の程度の値とプロファイルデータとの関連づけを記憶するデータベースなどを参照し、撮影許可の程度の値に応じたプロファイルデータを特定するためのプロファイル情報SSI,SCIを出力する。例えば、データベースでは、より高い撮影許可の程度の値に対して、より高画質な撮影が行えるプロファイルデータが関連づけられている。
より詳しくは、例えば、撮影装置820がセキュリティ情報発信装置881から撮影許可の程度が低いセキュリティ情報を受信した場合、セキュリティ情報入力部872は、画像中心付近や画像の主要な領域を平滑化する(あるいは階調を落とす)ようなプロファイルデータを特定するためのプロファイル情報SSIをカラー視覚処理装置745に出力する。さらに、セキュリティ情報入力部872は、画像を無彩色化するようなプロファイルデータを特定するためのプロファイル情報SCIを色処理装置746に出力する。これにより、適切な画質で撮影を行うことができなくなり、肖像権や著作権などの権利を保護することが可能となる。
《4−2》その他
(1)
セキュリティ情報を受信したセキュリティ情報入力部872は、セキュリティ情報に応じてプロファイルデータを切り替えるだけでなく、画像処理装置870あるいは撮影装置820の一部の機能を停止させてもよい。
(2)
セキュリティ情報を受信したセキュリティ情報入力部872は、さらに、撮影装置820の入力部850などからユーザの認証情報を取得し、撮影許可されたユーザであれば、撮影許可の程度を緩和するようなプロファイルデータを特定するプロファイル情報SSI,SCIを出力するものであってもよい。
ユーザの認証情報は、例えば、ユーザの指紋・眼紋などによる認証情報である。この認証情報を取得したセキュリティ情報入力部872は、撮影許可されたユーザのデータベースを参照し、認証されたユーザが撮影許可されたユーザであるか否かを判断する。また、この際、ユーザの課金情報などにより撮影許可の程度も判断し、その程度が高いほど、より高画質な撮影を行えるようにしてもよい。
なお、セキュリティ情報は、撮影許可された撮影装置820を特定するための情報を通知するものであってもよい。
(3)
プロファイル情報SSI,SCIは、セキュリティ情報を含んでいてもよい。この場合、プロファイル情報SSI,SCIを取得したカラー視覚処理装置745と色処理装置746とは、セキュリティ情報に基づいて、プロファイルデータを選択する。
(4)
セキュリティ情報入力部872は、セキュリティ判定部852と兼用されていてもよい。

[第1付記]
本発明(特に、第4〜7実施形態に記載の発明)は、次のように表現することも可能である。なお、本欄([第1付記])に記載する従属形式の付記では、第1付記に記載の付記に従属するものとする。
〈第1付記の内容〉
(付記1)
入力された画像信号を複数の画像領域に分割する画像領域分割手段と、
前記画像領域毎に階調変換特性を導出する手段であって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。
(付記2)
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出手段は、前記階調特性を用いてヒストグラムを作成するヒストグラム作成手段と、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成手段とを有している、
付記1に記載の視覚処理装置。
(付記3)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理手段は、前記複数の階調変換テーブルを2次元LUTとして有している、
付記1に記載の視覚処理装置。
(付記4)
前記2次元LUTは、前記画像信号の全ての値において、前記選択信号の値に対する階調処理された前記画像信号の値が単調増加あるいは単調減少する順序で前記複数の階調変換テーブルを格納している、
付記3に記載の視覚処理装置。
(付記5)
前記2次元LUTは、プロファイルデータの登録により変更可能である、
付記3又は4に記載の視覚処理装置。
(付記6)
前記選択信号の値は、前記対象画像領域と前記周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される、
付記3〜5のいずれかに記載の視覚処理装置。
(付記7)
前記選択信号は、前記対象画像領域と前記周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される、
付記3〜5のいずれかに記載の視覚処理装置。
(付記8)
前記階調処理手段は、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行手段と、前記階調処理された前記画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正手段とを有している、
付記3〜7のいずれかに記載の視覚処理装置。
(付記9)
前記階調処理手段は、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正手段と、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行手段とを有している、
付記3〜7のいずれかに記載の視覚処理装置。
(付記10)
入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、
前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。
(付記11)
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出ステップは、前記階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、
付記10に記載の視覚処理方法。
(付記12)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、
付記10に記載の視覚処理方法。
(付記13)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、
付記10に記載の視覚処理方法。
(付記14)
コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理プログラムは、コンピュータに、
入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、
前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法を行わせるものである、
視覚処理プログラム。
(付記15)
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出ステップは、前記階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、
付記14に記載の視覚処理プログラム。
(付記16)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、
付記14に記載の視覚処理プログラム。
(付記17)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、
付記14に記載の視覚処理プログラム。
(付記18)
前記階調処理手段は、前記画像信号を階調処理するための階調変換曲線の曲線パラメータを、前記階調変換特性に基づいて出力するパラメータ出力手段を有しており、前記階調変換特定と前記曲線パラメータとに基づいて特定される前記階調変換曲線を用いて、前記画像信号を階調処理する、
付記1に記載の視覚処理装置。
(付記19)
前記パラメータ出力手段は、前記階調変換特性と前記曲線パラメータとの関係を格納するルックアップテーブルである、
付記18に記載の視覚処理装置。
(付記20)
前記曲線パラメータは、前記画像信号の所定の値に対する前記階調処理された画像信号の値を含む、
付記18または19に記載の視覚処理装置。
(付記21)
前記曲線パラメータは、前記画像信号の所定の区間における前記階調変換曲線の傾きを含む、
付記18〜20のいずれかに記載の視覚処理装置。
(付記22)
前記曲線パラメータは、前記階調変換曲線が通る少なくとも1点の座標を含む、
付記18〜21のいずれかに記載の視覚処理装置。
(付記23)
入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段であって、前記空間処理では、前記空間処理の対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、前記対象画像領域と前記周辺画像領域との階調特性の加重平均を行う、空間処理手段と、
前記対象画像領域の階調特性と前記空間処理信号とに基づいて、前記対象画像領域の視覚処理を行う視覚処理手段と、
を備える視覚処理装置。
(付記24)
前記重み付けは、前記階調特性の差の絶対値が大きいほど小さくなる、
付記23に記載の視覚処理装置。
(付記25)
前記重み付けは、前記対象画像領域と前記周辺画像領域との距離が大きいほど小さくなる、
付記23または24に記載の視覚処理装置。
(付記26)
前記画像領域は、複数の画素から構成されており、
前記対象画像領域と前記周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている、
付記23〜25のいずれかに記載の視覚処理装置。
〈第1付記の説明〉
付記1に記載の視覚処理装置は、画像領域分割手段と、階調変換特性導出手段と、階調処理手段とを備えている。画像領域分割手段は、入力された画像信号を複数の画像領域に分割する。階調変換特性導出手段は、画像領域毎に階調変換特性を導出する手段であって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。
本発明の視覚処理装置では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記2に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、階調変換特性は、階調変換曲線である。階調変換特性導出手段は、階調特性を用いてヒストグラムを作成するヒストグラム作成手段と、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成手段とを有している。
ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成手段は、例えば、ヒストグラムの値を累積した累積曲線を階調変換曲線とする。
本発明の視覚処理装置では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
付記3に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。階調処理手段は、複数の階調変換テーブルを2次元LUTとして有している。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理手段は、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。
本発明の視覚処理装置では、階調処理を2次元LUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。
付記4に記載の視覚処理装置は、付記3に記載の視覚処理装置であって、2次元LUTは、画像信号の全ての値において、選択信号の値に対する階調処理された画像信号の値が単調増加あるいは単調減少する順序で複数の階調変換テーブルを格納している。
本発明の視覚処理装置では、例えば、選択信号の値が階調変換の度合いを示すこととなる。
付記5に記載の視覚処理装置は、付記3又は4に記載の視覚処理装置であって、2次元LUTは、プロファイルデータの登録により変更可能である。
ここで、プロファイルデータとは、2次元LUTに格納されるデータであり、例えば、階調処理された画像信号の画素値を要素としている。
本発明の視覚処理装置では、2次元LUTを変更することにより、ハードウェアの構成を変更せずに階調処理の特性を様々に変更することが可能となる。
付記6に記載の視覚処理装置は、付記3〜5のいずれかに記載の視覚処理装置であって、選択信号の値は、対象画像領域と周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される。
ここで、個別選択信号の特徴量とは、例えば、それぞれの画像領域について導出された選択信号の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
本発明の視覚処理装置では、対象画像領域に対する選択信号を周辺画像領域を含む広域の画像領域に対する選択信号の特徴量として導出する。このため、選択信号について空間処理的効果を加えることが可能となり、画像領域の境界が不自然に目立つことが防止可能となる。
付記7に記載の視覚処理装置は、付記3〜5のいずれかに記載の視覚処理装置であって、選択信号は、対象画像領域と周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される。
ここで、階調特性特徴量とは、例えば、対象画像領域と周辺画像領域との広域の階調特性の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
本発明の視覚処理装置では、対象画像領域に対する選択信号を周辺画像領域を含む広域の画像領域に対する階調特性特徴量に基づいて導出する。このため、選択信号について空間処理的効果を加えることが可能となり、画像領域の境界が不自然に目立つことが防止可能となる。
付記8に記載の視覚処理装置は、付記3〜7のいずれかに記載の視覚処理装置であって、階調処理手段は、階調処理実行手段と、補正手段とを有している。階調処理実行手段は、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正手段は、階調処理された画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。
ここで、隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い3つの画像領域として選択される。
補正手段は、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。
本発明の視覚処理装置では、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記9に記載の視覚処理装置は、付記3〜7のいずれかに記載の視覚処理装置であって、階調処理手段は、補正手段と、階調処理実行手段とを有している。補正手段は、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行手段は、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
補正手段は、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理装置では、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記10に記載の視覚処理方法は、画像領域分割ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。画像領域分割ステップは、入力された画像信号を複数の画像領域に分割する。階調変換特性導出ステップは、画像領域毎に階調変換特性を導出するステップであって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。
本発明の視覚処理方法では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。
付記11に記載の視覚処理方法は、付記10に記載の視覚処理方法であって、階調変換特性は、階調変換曲線である。階調変換特性導出ステップは、階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成ステップとを有している。
ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成ステップは、例えば、ヒストグラムの値を累積した累積曲線を階調変換曲線とする。
本発明の視覚処理方法では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
付記12に記載の視覚処理方法は、付記10に記載の視覚処理方法であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、階調処理実行ステップと、補正ステップとを有している。階調処理実行ステップは、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正ステップは、階調処理された画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い3つの画像領域として選択される。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とからLUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。
本発明の視覚処理方法では、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記13に記載の視覚処理方法は、付記10に記載の視覚処理方法であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、補正ステップと、階調処理実行ステップとを有している。補正ステップは、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行ステップは、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理方法では、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記14に記載の視覚処理プログラムは、コンピュータにより、画像領域分割ステップと、階調変換特性導出ステップと、階調処理ステップとを備える視覚処理方法を行わせる視覚処理プログラムである。画像領域分割ステップは、入力された画像信号を複数の画像領域に分割する。階調変換特性導出ステップは、画像領域毎に階調変換特性を導出するステップであって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。
本発明の視覚処理プログラムでは、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。
付記15に記載の視覚処理プログラムは、付記14に記載の視覚処理プログラムであって、階調変換特性は、階調変換曲線である。階調変換特性導出ステップは、階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成ステップとを有している。
ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成ステップは、例えば、ヒストグラムの値を累積した累積曲線を階調変換曲線とする。
本発明の視覚処理プログラムでは、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
付記16に記載の視覚処理プログラムは、付記14に記載の視覚処理プログラムであって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、階調処理実行ステップと、補正ステップとを有している。階調処理実行ステップは、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正ステップは、階調処理された画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い3つの画像領域として選択される。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とからLUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。
本発明の視覚処理プログラムでは、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記17に記載の視覚処理プログラムは、付記14に記載の視覚処理プログラムであって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、補正ステップと、階調処理実行ステップとを有している。補正ステップは、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行ステップは、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理プログラムでは、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記18に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、階調処理手段は、画像信号を階調処理するための階調変換曲線の曲線パラメータを、階調変換特性に基づいて出力するパラメータ出力手段を有している。階調処理手段は、階調変換特定と曲線パラメータとに基づいて特定される階調変換曲線を用いて、画像信号を階調処理する。
ここで、階調変換曲線とは、少なくとも一部が直線であるようなものも含んでいる。曲線パラメータとは、階調変換曲線を他の階調変換曲線と区別するためのパラメータであり、例えば、階調変換曲線上の座標、階調変換曲線の傾き、曲率などである。パラメータ出力手段は、例えば、階調変換特性に対する曲線パラメータを格納するルックアップテーブルや、所定の階調変換特性に対する曲線パラメータを用いた曲線近似などの演算により曲線パラメータを求める演算手段などである。
本発明の視覚処理装置では、階調変換特性に応じて画像信号を階調処理する。このため、より適切に階調処理を行うことが可能となる。また、階調処理に用いられる全ての階調変換曲線の値をあらかじめ記憶しておく必要がなく、出力された曲線パラメータから階調変換曲線を特定して階調処理を行う。このため、階調変換曲線を記憶するための記憶容量を削減することが可能となる。
付記19に記載の視覚処理装置は、付記18に記載の視覚処理装置であって、パラメータ出力手段は、階調変換特性と曲線パラメータとの関係を格納するルックアップテーブルである。
ルックアップテーブルは、階調変換特性と曲線パラメータとの関係を格納している。階調処理手段は、特定された階調変換曲線を用いて、画像信号を階調処理する。
本発明の視覚処理装置では、階調変換特性に応じて画像信号を階調処理する。このため、より適切に階調処理を行うことが可能となる。さらに、用いられる全ての階調変換曲線の値をあらかじめ記憶しておく必要がなく、曲線パラメータを記憶するのみである。このため、階調変換曲線を記憶するための記憶容量を削減することが可能となる。
付記20に記載の視覚処理装置は、付記18または19に記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の値に対する階調処理された画像信号の値を含む。
階調処理手段では、画像信号の所定の値と視覚処理の対象となる画像信号の値との関係を用いて、曲線パラメータが含む階調処理された画像信号の値を非線形あるいは線形に内分し、階調処理された画像信号の値を導出する。
本発明の視覚処理装置では、画像信号の所定の値に対する階調処理された画像信号の値から階調変換曲線を特定し、階調処理を行うことが可能となる。
付記21に記載の視覚処理装置は、付記18〜20のいずれかに記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の区間における階調変換曲線の傾きを含む。
階調処理手段では、画像信号の所定の区間における階調変換曲線の傾きにより、階調変換曲線が特定される。さらに、特定された階調変換曲線を用いて、画像信号の値に対する階調処理された画像信号の値が導出される。
本発明の視覚処理装置では、画像信号の所定の区間における階調変換曲線の傾きにより、階調変換曲線を特定し、階調処理を行うことが可能となる。
付記22に記載の視覚処理装置は、付記18〜21のいずれかに記載の視覚処理装置であって、曲線パラメータは、階調変換曲線が通る少なくとも1点の座標を含む。
曲線パラメータでは、階調変換曲線が通る少なくとも1点の座標が特定されている。すなわち画像信号の値に対する階調処理後の画像信号の値が少なくとも1点特定されている。階調処理手段では、特定された画像信号の値と、視覚処理の対象となる画像信号の値との関係を用いて、特定された階調処理後の画像信号の値を非線形あるいは線形に内分することにより階調処理された画像信号の値を導出する。
本発明の視覚処理装置では、階調変換曲線が通る少なくとも1点の座標により、階調変換曲線を特定し、階調処理を行うことが可能となる。
付記23に記載の視覚処理装置は、空間処理手段と、視覚処理手段とを備えている。空間処理手段は、入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段である。空間処理では、空間処理の対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、対象画像領域と周辺画像領域との階調特性の加重平均を行う。視覚処理手段は、対象画像領域の階調特性と空間処理信号とに基づいて、対象画像領域の視覚処理を行う。
ここで、画像領域とは、画像において、複数の画素を含む領域、あるいは画素そのものを意味している。階調特性とは、画素毎の輝度、明度などといった画素値に基づく値である。例えば、画像領域の階調特性とは、画像領域が含む画素の画素値の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
空間処理手段は、周辺画像領域の階調特性を用いて、対象画像領域の空間処理を行う。空間処理では、対象画像領域と周辺画像領域との階調特性が加重平均される。加重平均における重みは、対象画像領域と周辺画像領域との階調特性の差に基づいて設定される。
本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
付記24に記載の視覚処理装置は、付記23に記載の視覚処理装置であって、重み付けは、階調特性の差の絶対値が大きいほど小さくなる。
ここで、重みは、階調特性の差に応じて単調減少する値として与えられるものであってもよいし、所定の閾値と階調特性の差との比較により、所定の値に設定されるものであってもよい。
本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
付記25に記載の視覚処理装置は、付記23または24に記載の視覚処理装置であって、重み付けは、対象画像領域と周辺画像領域との距離が大きいほど小さくなる。
ここで、重みは、対象画像領域と周辺画像領域との距離の大きさに応じて単調減少する値として与えられるものであってもよいし、所定の閾値と距離の大きさとの比較により、所定の値に設定されるものであってもよい。
本発明の視覚処理装置では、空間処理信号において、対象画像領域と離れた周辺画像領域から受ける影響を抑制することなどが可能となる。このため、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、周辺画像領域と対象画像領域とが離れている場合には、周辺画像領域から受ける影響を抑制し、より適切な空間処理信号を導出することが可能となる。
付記26に記載の視覚処理装置は、付記23〜25のいずれかに記載の視覚処理装置であって、画像領域は、複数の画素から構成されている。対象画像領域と周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている。
本発明の視覚処理装置では、画像領域毎の空間処理を行う際に、画像領域毎に含まれる画素だけでなく、周辺の画像領域を含めた広域の画像領域に含まれる画素の階調特性を用いて処理を行う。このため、より適切な空間処理を行うことが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
[第2付記]
本発明は、次のように表現することも可能である。なお、本欄([第2付記])に記載する従属形式の付記では、第2付記に記載の付記に従属するものとする。
〈第2付記の内容〉
(付記1)
入力された画像信号に対して一定の処理を行い、処理信号を出力する入力信号処理手段と、
入力された前記画像信号および前記処理信号と視覚処理された前記画像信号である出力信号との関係を与える2次元LUTに基づいて、前記出力信号を出力する視覚処理手段と、
を備えた視覚処理装置。
(付記2)
前記2次元LUTでは、前記画像信号と、前記出力信号とが非線形の関係にある、
付記1に記載の視覚処理装置。
(付記3)
前記2次元LUTでは、前記画像信号および前記処理信号の両方と、前記出力信号とが非線形の関係にある、
付記2に記載の視覚処理装置。
(付記4)
前記2次元LUTの各要素の値は、前記画像信号と前記処理信号とから算出された値を強調する演算を含む数式に基づいて定められている、
付記1〜3のいずれかに記載の視覚処理装置。
(付記5)
前記処理信号は、着目画素と着目画素の周囲画素との画像信号に対して前記一定の処理を行った信号である、
付記4に記載の視覚処理装置。
(付記6)
前記強調する演算は、非線形の関数である、
付記4または5に記載の視覚処理装置。
(付記7)
前記強調する演算は、前記画像信号と前記処理信号とに対して所定の変換を行ったそれぞれの変換値の差を強調する強調関数である、
付記4〜6のいずれかに記載の視覚処理装置。
(付記8)
前記2次元LUTの各要素の値Cは、前記画像信号の値A、前記処理信号の値B、変換関数F1、前記変換関数F1の逆変換関数F2、前記強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて定められる、
付記7に記載の視覚処理装置。
(付記9)
前記変換関数F1は、対数関数である、
付記8に記載の視覚処理装置。
(付記10)
前記逆変換関数F2は、ガンマ補正関数である、
付記8に記載の視覚処理装置。
(付記11)
前記強調する演算は、前記画像信号と前記処理信号との比を強調する強調関数である、
付記4〜6のいずれかに記載の視覚処理装置。
(付記12)
前記2次元LUTの各要素の値Cは、前記画像信号の値A、前記処理信号の値B、ダイナミックレンジ圧縮関数F4、前記強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて定められる、
付記11に記載の視覚処理装置。
(付記13)
前記ダイナミックレンジ圧縮関数F4は、単調増加関数である、
付記12に記載の視覚処理装置。
(付記14)
前記ダイナミックレンジ圧縮関数F4は、上に凸の関数である、
付記13に記載の視覚処理装置。
(付記15)
前記ダイナミックレンジ圧縮関数F4は、べき関数である、
付記12に記載の視覚処理装置。
(付記16)
前記ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である、
付記12に記載の視覚処理装置。
(付記17)
前記強調関数F5は、べき関数である、
付記12〜16のいずれかに記載の視覚処理装置。
(付記18)
前記数式は、前記強調関数により強調された前記画像信号と前記処理信号との比に対してダイナミックレンジ圧縮を行う演算をさらに含む、
付記11に記載の視覚処理装置。
(付記19)
前記強調する演算は、前記画像信号と前記処理信号との差を、前記画像信号の値に応じて強調する関数を含む、
付記4〜6のいずれかに記載の視覚処理装置。
(付記20)
前記2次元LUTの各要素の値Cは、前記画像信号の値A、前記処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて定められる、
付記19に記載の視覚処理装置。
(付記21)
前記ダイナミックレンジ圧縮関数F8は、単調増加関数である、
付記20に記載の視覚処理装置。
(付記22)
前記ダイナミックレンジ圧縮関数F8は、上に凸の関数である、
付記21に記載の視覚処理装置。
(付記23)
前記ダイナミックレンジ圧縮関数F8は、べき関数である、
付記20に記載の視覚処理装置。
(付記24)
前記ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である、
付記20に記載の視覚処理装置。
(付記25)
前記数式は、前記強調する演算により強調された値に対して、前記画像信号をダイナミックレンジ圧縮した値を加える演算をさらに含む、
付記19に記載の視覚処理装置。
(付記26)
前記強調する演算は、前記画像信号と前記処理信号との差を強調する強調関数であり、
前記数式は、前記強調関数により強調された値に対して、前記画像信号の値を加えた値を階調補正する演算をさらに含む、
付記4〜6のいずれかに記載の視覚処理装置。
(付記27)
前記2次元LUTの各要素の値Cは、前記画像信号の値A、前記処理信号の値B、前記強調関数F9、階調補正関数F10に対して、数式F10(A+F9(A−B))に基づいて定められる、
付記26に記載の視覚処理装置。
(付記28)
前記強調する演算は、前記画像信号と前記処理信号との差を強調する強調関数であり、
前記数式は、前記強調関数により強調された値に対して、前記画像信号を階調補正した値を加える演算をさらに含む、
付記4〜6のいずれかに記載の視覚処理装置。
(付記29)
前記2次元LUTの各要素の値Cは、前記画像信号の値A、前記処理信号の値B、前記強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて定められる、
付記28に記載の視覚処理装置。
(付記30)
前記2次元LUTでは、同じ値の前記画像信号と前記処理信号とに対して格納されている値は、前記画像信号および前記処理信号の値に対して、単調増加、あるいは単調減少する関係にある、
付記1〜29のいずれかに記載の視覚処理装置。
(付記31)
前記2次元LUTは、前記画像信号と前記出力信号との関係を複数の階調変換曲線からなる階調変換曲線群として格納する、
付記1〜3のいずれかに記載の視覚処理装置。
(付記32)
前記階調変換曲線群のそれぞれは、前記画像信号の値に対して、単調増加する、
付記31に記載の視覚処理装置。
(付記33)
前記処理信号は、前記複数の階調変換曲線群から対応する階調変換曲線を選択するための信号である、
付記31または32に記載の視覚処理装置。
(付記34)
前記処理信号の値は、前記複数の階調変換曲線群が含む少なくとも1つの階調変換曲線と関連づけられている、
付記33に記載の視覚処理装置。
(付記35)
前記2次元LUTには、所定の演算によってあらかじめ作成されるプロファイルデータが登録されている、
付記1〜34のいずれかに記載の視覚処理装置。
(付記36)
前記2次元LUTは、プロファイルデータの登録により変更可能である、
付記35に記載の視覚処理装置。
(付記37)
前記プロファイルデータを前記視覚処理手段に登録させるためのプロファイルデータ登録手段をさらに備えている、
付記35または36に記載の視覚処理装置。
(付記38)
前記視覚処理手段は、外部の装置により作成された前記プロファイルデータを取得する、
付記35に記載の視覚処理装置。
(付記39)
取得された前記プロファイルデータにより、前記2次元LUTは変更可能である、
付記38に記載の視覚処理装置。
(付記40)
前記視覚処理手段は、通信網を介して前記プロファイルデータを取得する、
付記38または39に記載の視覚処理装置。
(付記41)
前記プロファイルデータを作成するプロファイルデータ作成手段をさらに備えている、
付記35に記載の視覚処理装置。
(付記42)
前記プロファイルデータ作成手段は、前記画像信号の階調特性のヒストグラムに基づいて、前記プロファイルデータを作成する、
付記41に記載の視覚処理装置。
(付記43)
前記2次元LUTに登録される前記プロファイルデータは、所定の条件に応じて切り替えられる、
付記35に記載の視覚処理装置。
(付記44)
前記所定の条件とは、明るさに関する条件である、
付記43に記載の視覚処理装置。
(付記45)
前記明るさは、前記画像信号の明るさである、
付記44に記載の視覚処理装置。
(付記46)
前記画像信号の明るさを判定する明度判定手段をさらに備え、
前記2次元LUTに登録されるプロファイルデータは、前記明度判定手段の判定結果に応じて切り替えられる、
付記45に記載の視覚処理装置。
(付記47)
前記明るさに関する条件を入力させる明度入力手段をさらに備え、
前記2次元LUTに登録されるプロファイルデータは、前記明度入力手段の入力結果に応じて切り替えられる、
付記44に記載の視覚処理装置。
(付記48)
前記明度入力手段は、前記出力信号の出力環境の明るさ、あるいは前記入力信号の入力環境の明るさを入力させる、
付記47に記載の視覚処理装置。
(付記49)
前記明るさを少なくとも2種類検出する明度検出手段をさらに備え、
前記2次元LUTに登録されるプロファイルデータは、前記明度検出手段の検出結果に応じて切り替えられる、
付記44に記載の視覚処理装置。
(付記50)
前記明度検出手段が検出する前記明るさは、前記画像信号の明るさと、前記出力信号の出力環境の明るさ、あるいは前記入力信号の入力環境の明るさとを含む、
付記49に記載の視覚処理装置。
(付記51)
前記2次元LUTに登録される前記プロファイルデータの選択を行わせるプロファイルデータ選択手段をさらに備え、
前記2次元LUTに登録されるプロファイルデータは、前記プロファイルデータ選択手段の選択結果に応じて切り替えられる、
付記43に記載の視覚処理装置。
(付記52)
前記プロファイルデータ選択手段は、プロファイルの選択を行うための入力装置である、
付記51に記載の視覚処理装置。
(付記53)
前記画像信号の画像特性を判断する画像特性判断手段をさらに備え、
前記2次元LUTに登録されるプロファイルデータは、前記画像特性判断手段の判断結果に応じて切り替えられる、
付記43に記載の視覚処理装置。
(付記54)
ユーザを識別するユーザ識別手段をさらに備え、
前記2次元LUTに登録されるプロファイルデータは、ユーザ識別手段の識別結果に応じて切り替えられる、
付記43に記載の視覚処理装置。
(付記55)
前記視覚処理手段は、前記2次元LUTの格納する値を補間演算して前記出力信号を出力する、
付記1〜54のいずれかに記載の視覚処理装置。
(付記56)
前記補間演算は、2進数で表された前記画像信号あるいは前記処理信号の少なくとも一方の下位ビットの値に基づいた線形補間である、
付記55に記載の視覚処理装置。
(付記57)
前記入力信号処理手段は、前記画像信号に対して空間処理を行う、
付記1〜56のいずれかに記載の視覚処理装置。
(付記58)
前記入力信号処理手段は、前記画像信号からアンシャープ信号を生成する、
付記57に記載の視覚処理装置。
(付記59)
前記空間処理では、画像信号の平均値、最大値あるいは最小値が導出される、
付記57または58に記載の視覚処理装置。
(付記60)
前記視覚処理手段は、入力された前記画像信号及び前記処理信号を用いて、空間処理及び階調処理を行う、
付記1〜59のいずれかに記載の視覚処理装置。
(付記61)
入力された画像信号に対して一定の処理を行い、処理信号を出力する入力信号処理ステップと、
入力された前記画像信号および前記処理信号と視覚処理された前記画像信号である出力信号との関係を与える2次元LUTに基づいて、前記出力信号を出力する視覚処理ステップと、
を備えた視覚処理方法。
(付記62)
コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理プログラムは、
入力された画像信号に対して一定の処理を行い、処理信号を出力する入力信号処理ステップと、
入力された前記画像信号および前記処理信号と視覚処理された前記画像信号である出力信号との関係を与える2次元LUTに基づいて、前記出力信号を出力する視覚処理ステップと、
を備えた視覚処理方法をコンピュータに行わせるものである、
視覚処理プログラム。
(付記63)
付記1〜60のいずれかに記載の視覚処理装置を含む集積回路。
(付記64)
付記1〜60のいずれかに記載の視覚処理装置と、
前記視覚処理装置から出力される前記出力信号の表示を行う表示手段と、
を備える表示装置。
(付記65)
画像の撮影を行う撮影手段と、
前記撮影手段により撮影された画像を前記画像信号として視覚処理を行う付記1〜60のいずれかに記載の視覚処理装置と、
を備える撮影装置。
(付記66)
通信あるいは放送された画像データを受信するデータ受信手段と、
受信された前記画像データを前記画像信号として視覚処理を行う付記1〜60のいずれかに記載の視覚処理装置と、
前記視覚処理装置により視覚処理された前記画像信号の表示を行う表示手段と、
を備える携帯情報端末。
(付記67)
画像の撮影を行う撮影手段と、
前記撮影手段により撮影された画像を前記画像信号として視覚処理を行う付記1〜60のいずれかに記載の視覚処理装置と、
前記視覚処理された前記画像信号を送信するデータ送信手段と、
を備える携帯情報端末。
(付記68)
入力された入力画像信号の画像処理を行う画像処理装置であって、
異なる画像処理を行うための複数のプロファイルデータに基づいて、画像処理に用いられるプロファイルデータを作成するプロファイルデータ作成手段と、
前記プロファイルデータ作成手段により作成された前記プロファイルデータを用いて、前記画像処理を行う画像処理実行手段と、
を備える画像処理装置。
(付記69)
入力された入力画像信号の画像処理を行う画像処理装置であって、
前記画像処理に用いられるプロファイルデータを特定するためのプロファイル情報を出力するプロファイル情報出力手段と、
前記プロファイル情報出力手段から出力された情報に基づいて特定されるプロファイルデータを用いて前記画像処理を行う画像処理実行手段と、
を備える画像処理装置。
(付記70)
前記プロファイル情報出力手段は、前記画像処理された入力画像信号を表示する表示環境に応じて、前記プロファイル情報を出力する、
付記69に記載の画像処理装置。
(付記71)
前記プロファイル情報出力手段は、前記入力画像信号に含まれる情報のうちプロファイルデータに関わる情報に応じて、前記プロファイル情報を出力する、
付記69に記載の画像処理装置。
(付記72)
前記プロファイル情報出力手段は、取得された前記画像処理の特徴に関わる情報に応じて、前記プロファイル情報を出力する、
付記69に記載の画像処理装置。
(付記73)
前記プロファイル情報出力手段は、前記入力画像信号が生成された環境に関わる情報に応じて、前記プロファイル情報を出力する、
付記69に記載の画像処理装置。
(付記74)
前記入力画像信号は、画像データと、前記入力画像信号の属性情報とを含んでおり、
前記プロファイル情報出力手段は、前記属性情報に応じて、前記プロファイル情報を出力する、
付記69に記載の画像処理装置。
(付記75)
前記属性情報とは、前記画像データの全体に関わる全体属性情報を含んでいる、
付記74に記載の画像処理装置。
(付記76)
前記属性情報とは、前記画像データの一部に関わる部分属性情報を含んでいる、
付記74または75に記載の画像処理装置。
(付記77)
前記属性情報とは、前記入力画像信号が生成された環境に関わる生成環境属性情報を含んでいる、
付記74に記載の画像処理装置。
(付記78)
前記属性情報とは、前記入力画像信号が取得された媒体に関わる媒体属性情報を含んでいる、
付記74に記載の画像処理装置。
(付記79)
付記68〜78のいずれかに記載の画像処理装置において、
前記プロファイルデータは、2次元LUTであって、
前記画像処理実行手段は、付記1〜60のいずれかに記載の視覚処理装置を含む、
ことを特徴とする画像処理装置。
(付記80)
入力された入力画像信号に画像処理を行う画像処理実行手段と、
入力された入力画像信号に好適な画像処理を行うプロファイルデータを特定するためのプロファイル情報を出力するプロファイル情報出力手段と、
前記入力画像信号あるいは前記画像処理実行手段により画像処理された前記入力画像信号に対して、前記プロファイル情報を付加して出力するプロファイル情報付加手段と、
を備える画像処理装置。
(付記81)
付記68〜80のいずれかに記載の画像処理装置を含む集積回路。
(付記82)
付記68〜80のいずれかに記載の画像処理装置と、
前記画像処理装置により画像処理された前記入力画像信号の表示を行う表示手段と、
を備える表示装置。
(付記83)
画像の撮影を行う撮影手段と、
前記撮影手段により撮影された画像を前記入力画像信号として画像処理を行う付記68〜80のいずれかに記載の画像処理装置と、
を備える撮影装置。
(付記84)
通信あるいは放送された画像データを受信するデータ受信手段と、
受信された前記画像データを前記入力画像信号として画像処理を行う付記68〜80のいずれかに記載の画像処理装置と、
前記画像処理装置により画像処理された前記入力画像信号の表示を行う表示手段と、
を備える携帯情報端末。
(付記85)
画像の撮影を行う撮影手段と、
前記撮影手段により撮影された画像を前記入力画像信号として画像処理を行う付記68〜80のいずれかに記載の画像処理装置と、
前記画像処理された前記入力画像信号を送信するデータ送信手段と、
を備える携帯情報端末。
〈第2付記の説明〉
付記1に記載の視覚処理装置は、入力信号処理手段と、視覚処理手段とを備えている。入力信号処理手段は、入力された画像信号に対して一定の処理を行い、処理信号を出力する。視覚処理手段は、入力された画像信号および処理信号と視覚処理された画像信号である出力信号との関係を与える2次元LUTに基づいて、出力信号を出力する。
ここで、一定の処理とは、例えば、画像信号に対する直接的あるいは間接的な処理であって、空間処理や階調処理などの画像信号の画素値に変換を加える処理を含んでいる。
本発明の視覚処理装置では、画像信号および処理信号と視覚処理された出力信号との関係を記載した2次元LUTを用いて視覚処理を行う。このため、2次元LUTの機能に依存しないハード構成を実現することが可能となる。すなわち、装置全体として実現される視覚処理に依存しないハードウェア構成を実現することが可能となる。
付記2に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、2次元LUTでは、画像信号と、出力信号とが非線形の関係にある。
ここで、画像信号と出力信号とが非線形の関係にあるとは、例えば、2次元LUTの各要素の値が画像信号に対して非線形の関数で表される、あるいは関数により定式化することが難しいことなどを意味している。
本発明の視覚処理装置では、例えば、画像信号の視覚特性にあった視覚処理あるいは出力信号を出力する機器の非線形特性にあった視覚処理を実現することなどが可能となる。
付記3に記載の視覚処理装置は、付記2に記載の視覚処理装置であって、2次元LUTでは、画像信号および処理信号の両方と、出力信号とが非線形の関係にある。
ここで、画像信号および処理信号の両方と、出力信号とが非線形の関係にあるとは、例えば、2次元LUTの各要素の値が画像信号と処理信号とに対する2変数の非線形の関数で表される、あるいは関数により定式化することが難しいことなどを意味している。
本発明の視覚処理装置では、例えば、画像信号の値が同じであっても、処理信号の値が異なる場合には、処理信号の値に応じて異なる視覚処理を実現することが可能となる。
付記4に記載の視覚処理装置は、付記1〜3のいずれかに記載の視覚処理装置であって、2次元LUTの各要素の値は、画像信号と処理信号とから算出された値を強調する演算を含む数式に基づいて定められている。
ここで、画像信号と処理信号とから算出された値とは、例えば、画像信号と処理信号との四則演算で得られる値、あるいは、画像信号や処理信号をある関数で変換した値を演算することにより得られる値などである。強調する演算とは、例えば、ゲインを調整する演算、過度のコントラストを抑制する演算、小振幅のノイズ成分を抑制する演算などである。
本発明の視覚処理装置では、画像信号と処理信号とから算出された値を強調することが可能となる。
付記5に記載の視覚処理装置は、付記4に記載の視覚処理装置であって、処理信号は、着目画素と着目画素の周囲画素との画像信号に対して一定の処理を行った信号である。
ここで、一定の処理とは、例えば、着目画素に対して周囲画素を用いた空間処理などであり、着目画素と周囲画素との平均値、最大値あるいは最小値などを導出する処理である。
本発明の視覚処理装置では、例えば、同じ値の着目画素に対する視覚処理であっても、周囲画素の影響により、異なる視覚処理を実現することが可能となる。
付記6に記載の視覚処理装置は、付記4または5に記載の視覚処理装置であって、強調する演算は、非線形の関数である。
本発明の視覚処理装置では、例えば、画像信号の視覚特性にあった強調、あるいは出力信号を出力する機器の非線形特性にあった強調を実現することなどが可能となる。
付記7に記載の視覚処理装置は、付記4〜6のいずれかに記載の視覚処理装置であって、強調する演算は、画像信号と処理信号とに対して所定の変換を行ったそれぞれの変換値の差を強調する強調関数である。
ここで、強調関数とは、例えば、ゲインを調整する関数、過度のコントラストを抑制する関数、小振幅のノイズ成分を抑制する関数などである。
本発明の視覚処理装置では、画像信号と処理信号とを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
付記8に記載の視覚処理装置は、付記7に記載の視覚処理装置であって、2次元LUTの各要素の値Cは、画像信号の値A、処理信号の値B、変換関数F1、変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて定められる。
ここで、2次元LUTは、画像信号の値Aと処理信号の値Bとの2つの入力に対する各要素の値Cを与えるLUTである(以下、この欄において同じ)。また、各信号の値とは、各信号の値そのものであっても良いし、値の近似値であってもよい(以下、この欄において同じ)。強調関数F3とは、例えば、ゲインを調整する関数、過度のコントラストを抑制する関数、小振幅のノイズ成分を抑制する関数などである。
ここで各要素の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとは、変換関数F1により別空間上の値に変換されている。変換後の画像信号の値と処理信号の値との差分は、例えば、別空間上でのシャープ信号などを表している。強調関数F3により強調された変換後の画像信号と処理信号との差分は、変換後の画像信号に加算されている。これにより、各要素の値Cは、別空間上におけるシャープ信号成分が強調された値を示している。
本発明の視覚処理装置では、例えば、別空間に変換された画像信号の値Aおよび処理信号の値Bを用いて、別空間上でのエッジ強調、コントラスト強調などの処理が可能となる。
付記9に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、変換関数F1は、対数関数である。
ここで、人間の視覚特性は、一般に対数的である。このため対数空間に変換して画像信号および処理信号の処理を行うと、視覚特性に適した処理を行うことが可能となる。
本発明の視覚処理装置では、視覚的効果の高いコントラスト強調、あるいは局所コントラストを維持するダイナミックレンジ圧縮が可能となる。
付記10に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、逆変換関数F2は、ガンマ補正関数である。
ここで、画像信号には、一般的に画像信号を入出力する機器のガンマ特性に応じて、ガンマ補正関数によるガンマ補正が施されている。
本発明の視覚処理装置では、変換関数F1により、画像信号のガンマ補正を外し、線形特性のもとで処理を行うことが可能となる。これにより、光学的なボケの補正を行うことが可能となる。
付記11に記載の視覚処理装置は、付記4〜6のいずれかに記載の視覚処理装置であって、強調する演算は、画像信号と処理信号との比を強調する強調関数である。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比は、画像信号のシャープ成分を表している。このため、例えば、シャープ成分を強調する視覚処理を行うことが可能となる。
付記12に記載の視覚処理装置は、付記11に記載の視覚処理装置であって、2次元LUTの各要素の値Cは、画像信号の値A、処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて定められる。
ここで各要素の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの除算量(A/B)は、例えばシャープ信号を表している。また、F5(A/B)は、例えば、シャープ信号の強調量を表している。これらは、画像信号の値Aと処理信号の値Bとを対数空間に変換し、それぞれの差分を強調処理するのと等価な処理を示しており、視覚特性に適した強調処理が行われている。
本発明の視覚処理装置では、必要に応じてダイナミックレンジの圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記13に記載の視覚処理装置は、付記12に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、単調増加関数である。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記14に記載の視覚処理装置は、付記13に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、上に凸の関数である。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記15に記載の視覚処理装置は、付記12に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、べき関数である。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを強調することが可能となる。
付記16に記載の視覚処理装置は、付記12に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。このコントラスト強調は、視覚特性に適した強調処理となっている。
付記17に記載の視覚処理装置は、付記12〜16のいずれかに記載の視覚処理装置であって、強調関数F5は、べき関数である。
本発明の視覚処理装置では、べき関数である強調関数F5を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを強調することが可能となる。
付記18に記載の視覚処理装置は、付記11に記載の視覚処理装置であって、数式は、強調関数により強調された画像信号と処理信号との比に対してダイナミックレンジ圧縮を行う演算をさらに含む。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比が表す画像信号のシャープ成分を強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
付記19に記載の視覚処理装置は、付記4〜6のいずれかに記載の視覚処理装置であって、強調する演算は、画像信号と処理信号との差を、画像信号の値に応じて強調する関数を含む。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差である画像信号のシャープ成分などを画像信号の値に応じて強調することが可能となる。このため、画像信号の暗部から明部まで適切な強調を行うことが可能となる。
付記20に記載の視覚処理装置は、付記19に記載の視覚処理装置であって、2次元LUTの各要素の値Cは、画像信号の値A、処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて定められる。
ここで各要素の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えばシャープ信号を表している。また、F7(A−B)は、例えば、シャープ信号の強調量を表している。さらに、強調量は、強調量調整関数F6により、画像信号の値Aに応じて調整され、必要に応じてダイナミックレンジ圧縮を行った画像信号の値に対して加算されている。
本発明の視覚処理装置では、例えば、画像信号の値Aが大きいところでは、強調量を減らすなど暗部から明部までのコントラストを維持することが可能となる。また、ダイナミックレンジ圧縮を行った場合でも、暗部から明部までの局所コントラストを維持することが可能となる。
付記21に記載の視覚処理装置は、付記20に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、単調増加関数である。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
付記22に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、上に凸の関数である。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
付記23に記載の視覚処理装置は、付記20に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、べき関数である。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを維持することが可能となる。
付記24に記載の視覚処理装置は、付記20に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。
付記25に記載の視覚処理装置は、付記19に記載の視覚処理装置であって、数式は、強調する演算により強調された値に対して、画像信号をダイナミックレンジ圧縮した値を加える演算をさらに含む。
本発明の視覚処理装置では、例えば、画像信号のシャープ成分などを画像信号の値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
付記26に記載の視覚処理装置は、付記4〜6のいずれかに記載の視覚処理装置であって、強調する演算は、画像信号と処理信号との差を強調する強調関数である。数式は、強調関数により強調された値に対して、画像信号の値を加えた値を階調補正する演算をさらに含む。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差は、画像信号のシャープ成分を表している。このため、シャープ成分が強調された画像信号に対して、階調補正を行う視覚処理を実現することが可能となる。
付記27に記載の視覚処理装置は、付記26に記載の視覚処理装置であって、2次元LUTの各要素の値Cは、画像信号の値A、処理信号の値B、強調関数F9、階調補正関数F10に対して、数式F10(A+F9(A−B))に基づいて定められる。
ここで各要素の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えばシャープ信号を表している。また、F9(A−B)は、例えば、シャープ信号の強調処理を表している。さらに、画像信号の値Aと強調処理されたシャープ信号との和が階調補正されていることを表している。
本発明の視覚処理装置では、コントラスト強調と階調補正を組み合わせた効果を得ることが可能となる。
付記28に記載の視覚処理装置は、付記4〜6のいずれかに記載の視覚処理装置であって、強調する演算は、画像信号と処理信号との差を強調する強調関数である。数式は、強調関数により強調された値に対して、画像信号を階調補正した値を加える演算をさらに含む。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差は、画像信号のシャープ成分を表している。また、シャープ成分の強調と画像信号の階調補正とは独立して行われる。このため、画像信号の階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
付記29に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、2次元LUTの各要素の値Cは、画像信号の値A、処理信号の値B、強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて定められる。
ここで各要素の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えばシャープ信号を表している。また、F11(A−B)は、例えば、シャープ信号の強調処理を表している。さらに、階調補正された画像信号の値と強調処理されたシャープ信号とが加算されていることを表している。
本発明の視覚処理装置では、階調補正にかかわらず、一定のコントラスト強調を行うことが可能となる。
付記30に記載の視覚処理装置は、付記1〜29のいずれかに記載の視覚処理装置であって、2次元LUTでは、同じ値の画像信号と処理信号とに対して格納されている値は、画像信号および処理信号の値に対して、単調増加、あるいは単調減少する関係にある。
ここで、同じ値の画像信号と処理信号とに対する2次元LUTが格納する値は、2次元LUTの特性の概要を示している。
本発明の視覚処理装置では、2次元LUTは、画像信号と処理信号とに対して単調増加あるいは単調減少する値を、同じ値の画像信号と処理信号とに対する値として格納している。
付記31に記載の視覚処理装置は、付記1〜3のいずれかに記載の視覚処理装置であって、2次元LUTは、画像信号と出力信号との関係を複数の階調変換曲線からなる階調変換曲線群として格納する。
ここで、階調変換曲線群とは、画像信号の輝度、明度といった画素値に階調処理を施す階調変換曲線の集合である。
本発明の視覚処理装置では、複数の階調変換曲線から選択された階調変換曲線を用いて、画像信号の階調処理を行うことが可能となる。このため、より適切な階調処理を行うことが可能となる。
付記32に記載の視覚処理装置は、付記31に記載の視覚処理装置であって、階調変換曲線群のそれぞれは、画像信号の値に対して、単調増加する。
本発明の視覚処理装置では、画像信号の値に対して単調増加する階調変換曲線群を用いて階調処理を行うことが可能となる。
付記33に記載の視覚処理装置は、付記31または32に記載の視覚処理装置であって、処理信号は、複数の階調変換曲線群から対応する階調変換曲線を選択するための信号である。
ここで、処理信号は、階調変換曲線を選択するための信号であり、例えば、空間処理された画像信号などである。
本発明の視覚処理装置では、処理信号により選択された階調変換曲線を用いて、画像信号の階調処理を行うことが可能となる。
付記34に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、処理信号の値は、複数の階調変換曲線群が含む少なくとも1つの階調変換曲線と関連づけられている。
ここで、処理信号の値により、階調処理に用いられる階調変換曲線が少なくとも1つ選択される。
本発明の視覚処理装置では、処理信号の値により、階調変換曲線が少なくとも1つ選択される。さらに、選択された階調変換曲線を用いて、画像信号の階調処理が行われる。
付記35に記載の視覚処理装置は、付記1〜34のいずれかに記載の視覚処理装置であって、2次元LUTには、所定の演算によってあらかじめ作成されるプロファイルデータが登録されている。
本発明の視覚処理装置では、あらかじめ作成されたプロファイルデータが登録された2次元LUTを用いて、視覚処理が行われる。視覚処理に際して、プロファイルデータを作成するなどの処理は必要なく、視覚処理の実行速度の高速化が可能となる。
付記36に記載の視覚処理装置は、付記35に記載の視覚処理装置であって、2次元LUTは、プロファイルデータの登録により変更可能である。
ここで、プロファイルデータとは、異なる視覚処理を実現する2次元LUTのデータである。
本発明の視覚処理装置では、プロファイルデータの登録により、実現される視覚処理を様々に変更することが可能となる。すなわち、視覚処理装置のハードウェア構成を変更することなく、様々な視覚処理を実現することが可能となる。
付記37に記載の視覚処理装置は、付記35または36に記載の視覚処理装置であって、プロファイルデータを視覚処理手段に登録させるためのプロファイルデータ登録手段をさらに備えている。
ここで、プロファイルデータ登録手段は、あらかじめ算出されたプロファイルデータを視覚処理に応じて視覚処理手段に登録する。
本発明の視覚処理装置では、プロファイルデータの登録により、実現される視覚処理を様々に変更することが可能となる。すなわち、視覚処理装置のハードウェア構成を変更することなく、様々な視覚処理を実現することが可能となる。
付記38に記載の視覚処理装置は、付記35に記載の視覚処理装置であって、視覚処理手段は、外部の装置により作成されたプロファイルデータを取得する。
プロファイルデータは、外部の装置によりあらかじめ作成されている。外部の装置とは、例えば、プロファイルデータの作成が可能なプログラムとCPUを有する計算機などである。視覚処理手段は、プロファイルデータを取得する。取得は、例えば、ネットワークを介して、あるいは記録媒体を介して、行われる。視覚処理手段は、取得したプロファイルデータを用いて、視覚処理を実行する。
本発明の視覚処理装置では、外部の装置により作成されたプロファイルデータを用いて、視覚処理を実行することが可能となる。
付記39に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、取得されたプロファイルデータにより、2次元LUTは変更可能である。
本発明の視覚処理装置では、取得されたプロファイルデータは、2次元LUTとして新たに登録される。これにより、2次元LUTを変更し、異なる視覚処理を実現することが可能となる。
付記40に記載の視覚処理装置は、付記38または39に記載の視覚処理装置であって、視覚処理手段は、通信網を介してプロファイルデータを取得する。
ここで、通信網とは、例えば、専用回線、公衆回線、インターネット、LANなどの通信が可能な接続手段であり、有線であっても無線であってもよい。
本発明の視覚処理装置では、通信網を介して取得されたプロファイルデータを用いて、視覚処理を実現することが可能となる。
付記41に記載の視覚処理装置は、付記35に記載の視覚処理装置であって、プロファイルデータを作成するプロファイルデータ作成手段をさらに備えている。
プロファイルデータ作成手段は、例えば、画像信号や処理信号などの特性を用いて、プロファイルデータの作成を行う。
本発明の視覚処理装置では、プロファイルデータ作成手段により作成されたプロファイルデータを用いて、視覚処理を実現することが可能となる。
付記42に記載の視覚処理装置は、付記41に記載の視覚処理装置であって、プロファイルデータ作成手段は、画像信号の階調特性のヒストグラムに基づいて、プロファイルデータを作成する。
本発明の視覚処理装置では、画像信号の階調特性のヒストグラムに基づいて作成されたプロファイルデータを用いて、視覚処理が実現される。このため、画像信号の特性に応じて、適切な視覚処理を実現することが可能となる。
付記43に記載の視覚処理装置は、付記35に記載の視覚処理装置であって、2次元LUTに登録されるプロファイルデータは、所定の条件に応じて切り替えられる。
本発明の視覚処理装置では、所定の条件に応じて切り替えられたプロファイルデータを用いて、視覚処理が実現される。このため、より適切な視覚処理を実現することが可能となる。
付記44に記載の視覚処理装置は、付記43に記載の視覚処理装置であって、所定の条件とは、明るさに関する条件である。
本発明の視覚処理装置では、明るさに関する条件のもとで、より適切な視覚処理を実現することが可能となる。
付記45に記載の視覚処理装置は、付記44に記載の視覚処理装置であって、明るさは、画像信号の明るさである。
本発明の視覚処理装置では、画像信号の明るさに関する条件のもとで、より適切な視覚処理を実現することが可能となる。
付記46に記載の視覚処理装置は、付記45に記載の視覚処理装置であって、画像信号の明るさを判定する明度判定手段をさらに備えている。2次元LUTに登録されるプロファイルデータは、明度判定手段の判定結果に応じて切り替えられる。
ここで、明度判定手段は、例えば、画像信号の輝度、明度などの画素値に基づいて、画像信号の明るさを判定する。さらに、判定結果に応じて、プロファイルデータが切り替ええられる。
本発明の視覚処理装置では、画像信号の明るさに応じて、より適切な視覚処理を実現することが可能となる。
付記47に記載の視覚処理装置は、付記44に記載の視覚処理装置であって、明るさに関する条件を入力させる明度入力手段をさらに備えている。2次元LUTに登録されるプロファイルデータは、明度入力手段の入力結果に応じて切り替えられる。
ここで、明度入力手段は、例えば、明るさに関する条件をユーザに入力させる有線あるいは無線で接続されるスイッチなどである。
本発明の視覚処理装置では、ユーザが明るさに関する条件を判断して、明度入力手段を介して、プロファイルデータの切り替えを行うことが可能となる。このため、よりユーザにとって適切な視覚処理を実現することが可能となる。
付記48に記載の視覚処理装置は、付記47に記載の視覚処理装置であって、明度入力手段は、出力信号の出力環境の明るさ、あるいは入力信号の入力環境の明るさを入力させる。
ここで、出力環境の明るさとは、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさや、プリンタ用紙など出力信号を出力する媒体自体の明るさなどである。入力環境の明るさとは、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどである。
本発明の視覚処理装置では、例えば、ユーザが部屋の明るさなどに関する条件を判断して、明度入力手段を介して、プロファイルデータの切り替えを行うことが可能となる。このため、よりユーザにとって適切な視覚処理を実現することが可能となる。
付記49に記載の視覚処理装置は、付記44に記載の視覚処理装置であって、明るさを少なくとも2種類検出する明度検出手段をさらに備えている。2次元LUTに登録されるプロファイルデータは、明度検出手段の検出結果に応じて切り替えられる。
ここで、明度検出手段とは、例えば、画像信号の輝度、明度などの画素値に基づいて、画像信号の明るさを検出する手段や、フォトセンサなど出力環境あるいは入力環境の明るさを検出する手段や、ユーザにより入力された明るさに関する条件を検出する手段などである。なお、出力環境の明るさとは、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさや、プリンタ用紙など出力信号を出力する媒体自体の明るさなどである。入力環境の明るさとは、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどである。
本発明の視覚処理装置では、明るさを少なくとも2種類検出し、それらに応じてプロファイルデータの切り替えが行われる。このため、より適切な視覚処理を実現することが可能となる。
付記50に記載の視覚処理装置は、付記49に記載の視覚処理装置であって、明度検出手段が検出する明るさは、画像信号の明るさと、出力信号の出力環境の明るさ、あるいは入力信号の入力環境の明るさとを含む。
本発明の視覚処理装置では、画像信号の明るさと、出力信号の出力環境の明るさ、あるいは入力信号の入力環境の明るさとに応じて、より適切な視覚処理を実現することが可能となる。
付記51に記載の視覚処理装置は、付記43に記載の視覚処理装置であって、2次元LUTに登録されるプロファイルデータの選択を行わせるプロファイルデータ選択手段をさらに備えている。2次元LUTに登録されるプロファイルデータは、プロファイルデータ選択手段の選択結果に応じて切り替えられる。
プロファイルデータ選択手段は、ユーザにプロファイルデータの選択を行わせる。さらに、視覚処理装置では、選択されたプロファイルデータを用いて、視覚処理が実現される。
本発明の視覚処理装置では、ユーザが好みに応じたプロファイルを選択して視覚処理を実現することが可能となる。
付記52に記載の視覚処理装置は、付記51に記載の視覚処理装置であって、プロファイルデータ選択手段は、プロファイルの選択を行うための入力装置である。
ここで、入力装置は、例えば、視覚処理装置に内蔵、あるいは有線または無線などで接続されたスイッチなどである。
本発明の視覚処理装置では、ユーザは、入力装置を用いて、好みのプロファイルを選択することが可能となる。
付記53に記載の視覚処理装置は、付記43に記載の視覚処理装置であって、画像信号の画像特性を判断する画像特性判断手段をさらに備えている。2次元LUTに登録されるプロファイルデータは、画像特性判断手段の判断結果に応じて切り替えられる。
画像特性判断手段は、画像信号の輝度、明度、あるいは空間周波数などの画像特性を判断する。視覚処理装置は、画像特性判断手段の判断結果に応じて切り替えられたプロファイルデータを用いて、視覚処理を実現する。
本発明の視覚処理装置では、画像特性判断手段が画像特性に応じたプロファイルデータを自動的に選択する。このため、画像信号に対してより適切なプロファイルデータを用いて視覚処理を実現することが可能となる。
付記54に記載の視覚処理装置は、付記43に記載の視覚処理装置であって、ユーザを識別するユーザ識別手段をさらに備えている。2次元LUTに登録されるプロファイルデータは、ユーザ識別手段の識別結果に応じて切り替えられる。
ユーザ識別手段は、例えば、ユーザを識別するための入力装置、あるいはカメラなどである。
本発明の視覚処理装置では、ユーザ識別手段が識別したユーザに適した視覚処理を実現することが可能となる。
付記55に記載の視覚処理装置は、付記1〜54のいずれかに記載の視覚処理装置であって、視覚処理手段は、2次元LUTの格納する値を補間演算して出力信号を出力する。
2次元LUTは、所定の間隔の画像信号の値あるいは処理信号の値に対して、値を格納している。入力された画像信号の値あるいは処理信号の値を含む区間に対応する2次元LUTの値を補間演算することにより、入力された画像信号の値あるいは処理信号の値に対する出力信号の値が出力される。
本発明の視覚処理装置では、画像信号あるいは処理信号が取りうる全ての値に対して2次元LUTが値を格納している必要がなく、2次元LUTのための記憶容量を削減することが可能となる。
付記56に記載の視覚処理装置は、付記55に記載の視覚処理装置であって、補間演算は、2進数で表された画像信号あるいは処理信号の少なくとも一方の下位ビットの値に基づいた線形補間である。
2次元LUTは、画像信号あるいは処理信号の上位ビットの値に対応する値を格納している。視覚処理手段は、入力された画像信号あるいは処理信号の値を含む区間に対応する2次元LUTの値を、画像信号あるいは処理信号の下位ビットの値で線形補間することにより、出力信号を出力する。
本発明の視覚処理装置では、より少ない記憶容量で2次元LUTを記憶しつつ、より正確な視覚処理を実現することが可能となる。
付記57に記載の視覚処理装置は、付記1〜56のいずれかに記載の視覚処理装置であって、入力信号処理手段は、画像信号に対して空間処理を行う。
本発明の視覚処理装置では、画像信号と空間処理された画像信号とを用いて、2次元LUTにより視覚処理を実現することが可能となる。
付記58に記載の視覚処理装置は、付記57に記載の視覚処理装置であって、入力信号処理手段は、画像信号からアンシャープ信号を生成する。
ここで、アンシャープ信号とは、画像信号に対して直接的あるいは間接的に空間処理を施した信号を意味している。
本発明の視覚処理装置では、画像信号とアンシャープ信号とを用いて、2次元LUTにより視覚処理を実現することが可能となる。
付記59に記載の視覚処理装置は、付記57または58に記載の視覚処理装置であって、空間処理では、画像信号の平均値、最大値あるいは最小値が導出される。
ここで、平均値とは、例えば、画像信号の単純平均でもよいし、加重平均でもよい。
本発明の視覚処理装置では、画像信号と、画像信号の平均値、最大値あるいは最小値とを用いて、2次元LUTにより視覚処理を実現することが可能となる。
付記60に記載の視覚処理装置は、付記1〜59のいずれかに記載の視覚処理装置であって、視覚処理手段は、入力された画像信号及び処理信号を用いて、空間処理及び階調処理を行う。
本発明の視覚処理装置では、2次元LUTを用いて、空間処理および階調処理を同時に実現することが可能となる。
付記61に記載の視覚処理方法は、入力信号処理ステップと、視覚処理ステップとを備えている。入力信号処理ステップは、入力された画像信号に対して一定の処理を行い、処理信号を出力する。視覚処理ステップは、入力された画像信号および処理信号と視覚処理された画像信号である出力信号との関係を与える2次元LUTに基づいて、出力信号を出力する。
ここで、一定の処理とは、例えば、画像信号に対する直接的あるいは間接的な処理であって、空間処理や階調処理などの画像信号の画素値に変換を加える処理を含んでいる。
本発明の視覚処理方法では、画像信号および処理信号と視覚処理された出力信号との関係を記載した2次元LUTを用いて視覚処理を行う。このため、視覚処理の高速化が可能となる。
付記62に記載の視覚処理プログラムは、コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、入力信号処理ステップと、視覚処理ステップとを備える視覚処理方法をコンピュータに行わせるものである。入力信号処理ステップは、入力された画像信号に対して一定の処理を行い、処理信号を出力する。視覚処理ステップは、入力された画像信号および処理信号と視覚処理された画像信号である出力信号との関係を与える2次元LUTに基づいて、出力信号を出力する。
ここで、一定の処理とは、例えば、画像信号に対する直接的あるいは間接的な処理であって、空間処理や階調処理などの画像信号の画素値に変換を加える処理を含んでいる。
本発明の視覚処理プログラムでは、画像信号および処理信号と視覚処理された出力信号との関係を記載した2次元LUTを用いて視覚処理を行う。このため、視覚処理の高速化が可能となる。
付記63に記載の集積回路は、付記1〜60のいずれかに記載の視覚処理装置を含む。
本発明の集積回路では、付記1〜60のいずれかに記載の視覚処理装置と同様の効果を得ることが可能となる。
付記64に記載の表示装置は、付記1〜60のいずれかに記載の視覚処理装置と、視覚処理装置から出力される出力信号の表示を行う表示手段とを備えている。
本発明の表示装置では、付記1〜60のいずれかに記載の視覚処理装置と同様の効果を得ることが可能となる。
付記65に記載の撮影装置は、画像の撮影を行う撮影手段と、撮影手段により撮影された画像を画像信号として視覚処理を行う付記1〜60のいずれかに記載の視覚処理装置とを備えている。
本発明の撮影装置では、付記1〜60のいずれかに記載の視覚処理装置と同様の効果を得ることが可能となる。
付記66に記載の携帯情報端末は、通信あるいは放送された画像データを受信するデータ受信手段と、受信された画像データを画像信号として視覚処理を行う付記1〜60のいずれかに記載の視覚処理装置と、視覚処理装置により視覚処理された画像信号の表示を行う表示手段とを備えている。
本発明の携帯情報端末では、付記1〜60のいずれかに記載の視覚処理装置と同様の効果を得ることが可能となる。
付記67に記載の携帯情報端末は、画像の撮影を行う撮影手段と、撮影手段により撮影された画像を画像信号として視覚処理を行う付記1〜60のいずれかに記載の視覚処理装置と、視覚処理された画像信号を送信するデータ送信手段とを備えている。
本発明の携帯情報端末では、付記1〜60のいずれかに記載の視覚処理装置と同様の効果を得ることが可能となる。
付記68に記載の画像処理装置は、入力された入力画像信号の画像処理を行う画像処理装置であって、プロファイルデータ作成手段と、画像処理実行手段とを備えている。プロファイルデータ作成手段は、異なる画像処理を行うための複数のプロファイルデータに基づいて、画像処理に用いられるプロファイルデータを作成する。画像処理実行手段は、プロファイルデータ作成手段により作成されたプロファイルデータを用いて、画像処理を行う。
ここで、画像処理とは、例えば、空間処理や階調処理などの視覚処理や、色変換などの色処理などである(以下、この欄において同じ)。
また、プロファイルデータとは、例えば、入力画像信号に対する演算を行うための係数マトリクスデータや、入力画像信号の値に対する画像処理された入力画像信号の値を格納するテーブルデータなどである(以下、この欄において同じ)。
本発明の画像処理装置は、複数のプロファイルデータに基づいて新たなプロファイルデータを作成する。このため、予め用意されるプロファイルデータが少数であっても、多くの異なる画像処理を行うことが可能となる。すなわち、プロファイルデータを記憶するための記憶容量を削減することが可能となる。
付記69に記載の画像処理装置は、入力された入力画像信号の画像処理を行う画像処理装置であって、プロファイル情報出力手段と、画像処理実行手段とを備えている。プロファイル情報出力手段は、画像処理に用いられるプロファイルデータを特定するためのプロファイル情報を出力する。画像処理実行手段は、プロファイル情報出力手段から出力された情報に基づいて特定されるプロファイルデータを用いて画像処理を行う。
ここで、プロファイル情報とは、例えば、プロファイルデータ、プロファイルデータを特定する番号などのタグ情報、プロファイルデータの処理の特徴を示すパラメータ情報、その他プロファイルデータを特定するための情報などである。
本発明の画像処理装置では、プロファイル情報に基づいて、プロファイルデータを制御し、画像処理を行うことが可能となる。
付記70に記載の画像処理装置は、付記69に記載の画像処理装置であって、プロファイル情報出力手段は、画像処理された入力画像信号を表示する表示環境に応じて、プロファイル情報を出力する。
ここで、表示環境とは、例えば、環境光の明るさや色温度、表示を行う装置、表示される画像のサイズ、表示される画像と表示される画像を視覚するユーザとの位置関係、ユーザに関する情報などである。
本発明の画像処理装置では、表示環境に応じた画像処理を行うことが可能となる。
付記71に記載の画像処理装置は、付記69に記載の画像処理装置であって、プロファイル情報出力手段は、入力画像信号に含まれる情報のうちプロファイルデータに関わる情報に応じて、プロファイル情報を出力する。
プロファイルデータに関わる情報とは、例えば、プロファイルデータ、プロファイルデータを特定する番号などのタグ情報、プロファイルデータの処理の特徴を示すパラメータ情報、その他プロファイルデータを特定するための情報などである。
本発明の画像処理装置では、プロファイルデータに関わる情報を入力画像信号から取得し、画像処理を行うことが可能となる。
付記72に記載の画像処理装置は、付記69に記載の画像処理装置であって、プロファイル情報出力手段は、取得された画像処理の特徴に関わる情報に応じて、プロファイル情報を出力する。
画像処理の特徴に関わる情報とは、画像処理のパラメータの特徴についての情報であり、例えば、明るさ、画質、色などの調整におけるパラメータの値などである。
本発明の画像処理装置では、例えば、画像処理の特徴に関わる情報をユーザの好みで入力することにより画像処理を行うことが可能となる。
付記73に記載の画像処理装置は、付記69に記載の画像処理装置であって、プロファイル情報出力手段は、入力画像信号が生成された環境に関わる情報に応じて、プロファイル情報を出力する。
入力画像信号が生成された環境に関わる情報とは、例えば、入力画像信号が撮影により記録された場合の撮影環境に関わる情報や、撮影環境における撮影許可情報などを含んでいる。
本発明の画像処理装置では、入力画像信号が生成された環境に関わる情報に応じて画像処理を行うことが可能となる。
付記74に記載の画像処理装置は、付記69に記載の画像処理装置であって、入力画像信号は、画像データと、入力画像信号の属性情報とを含んでいる。プロファイル情報出力手段は、属性情報に応じて、プロファイル情報を出力する。
本発明の画像処理装置では、入力画像信号の属性情報に応じて画像処理を行うことが可能となる。このため、入力画像信号に適した画像処理を行うことが可能となる。
付記75に記載の画像処理装置は、付記74に記載の画像処理装置であって、属性情報とは、画像データの全体に関わる全体属性情報を含んでいる。
全体属性情報とは、例えば、画像データ全体の制作に関する情報や、画像データ全体の内容に関する情報などを含んでいる。
本発明の画像処理装置では、全体属性情報に応じて画像処理を行うことが可能となる。このため、画像データに適した画像処理を行うことが可能となる。
付記76に記載の画像処理装置は、付記74または75に記載の画像処理装置であって、属性情報とは、画像データの一部に関わる部分属性情報を含んでいる。
部分属性情報とは、例えば、画像データの一部のシーン内容に関する情報などを含んでいる。
本発明の画像処理装置では、部分属性情報に応じて画像処理を行うことが可能となる。このため、画像データに適した画像処理を行うことが可能となる。
付記77に記載の画像処理装置は、付記74に記載の画像処理装置であって、属性情報とは、入力画像信号が生成された環境に関わる生成環境属性情報を含んでいる。
生成環境属性情報とは、入力画像信号が撮影、記録、作成された環境に関する情報であり、例えば、入力画像信号が生成された際の環境に関する情報や、生成に用いられた機器の動作情報などを含んでいる。
本発明の画像処理装置では、生成環境属性情報に応じて画像処理を行うことが可能となる。このため、入力画像信号に適した画像処理を行うことが可能となる。
付記78に記載の画像処理装置は、付記74に記載の画像処理装置であって、属性情報とは、入力画像信号が取得された媒体に関わる媒体属性情報を含んでいる。
媒体属性情報とは、放送媒体、通信媒体、記録媒体など、入力画像信号が取得された媒体に関わる情報である。
本発明の画像処理装置では、媒体属性情報に応じて画像処理を行うことが可能となる。このため、媒体の属性に適した画像処理を行うことが可能となる。
付記79に記載の画像処理装置は、付記68〜78のいずれかに記載の画像処理装置において、プロファイルデータは、2次元LUTである。画像処理実行手段は、付記1〜60のいずれかに記載の視覚処理装置を含む。
本発明の画像処理装置では、付記68〜78のいずれかに記載の画像処理装置と同様の効果が得られる。さらに、付記1〜60のいずれかに記載の視覚処理装置と同様の効果がえられる。
付記80に記載の画像処理装置は、画像処理実行手段と、プロファイル情報出力手段と、プロファイル情報出力手段とを備えている。画像処理実行手段は、入力された入力画像信号に画像処理を行う。プロファイル情報出力手段は、入力された入力画像信号に好適な画像処理を行うプロファイルデータを特定するためのプロファイル情報を出力する。プロファイル情報付加手段は、入力画像信号あるいは画像処理実行手段により画像処理された入力画像信号に対して、プロファイル情報を付加して出力する。
本発明の画像処理装置により、入力画像信号あるいは画像処理実行手段により画像処理された入力画像信号と、プロファイル情報とを関連づけて処理することが可能となる。このため、プロファイル情報が付加された信号を取得した装置は、その信号に対して、好適な画像処理を容易に行うことが可能となる。
付記81に記載の集積回路は、付記68〜80のいずれかに記載の画像処理装置を含む。
本発明の集積回路では、付記68〜80のいずれかに記載の画像処理装置と同様の効果を得ることが可能となる。
付記82に記載の表示装置は、付記68〜80のいずれかに記載の画像処理装置と、画像処理装置により画像処理された入力画像信号の表示を行う表示手段とを備えている。
本発明の表示装置では、付記68〜80のいずれかに記載の画像処理装置と同様の効果を得ることが可能となる。
付記83に記載の撮影装置は、画像の撮影を行う撮影手段と、撮影手段により撮影された画像を入力画像信号として画像処理を行う付記68〜80のいずれかに記載の画像処理装置とを備えている。
本発明の撮影装置では、付記68〜80のいずれかに記載の画像処理装置と同様の効果を得ることが可能となる。
付記84に記載の携帯情報端末は、通信あるいは放送された画像データを受信するデータ受信手段と、受信された画像データを入力画像信号として画像処理を行う付記68〜80のいずれかに記載の画像処理装置と、画像処理装置により画像処理された入力画像信号の表示を行う表示手段とを備えている。
本発明の携帯情報端末では、付記68〜80のいずれかに記載の画像処理装置と同様の効果を得ることが可能となる。
付記85に記載の携帯情報端末は、画像の撮影を行う撮影手段と、撮影手段により撮影された画像を入力画像信号として画像処理を行う付記68〜80のいずれかに記載の画像処理装置と、画像処理された入力画像信号を送信するデータ送信手段とを備えている。
本発明の携帯情報端末では、付記68〜80のいずれかに記載の画像処理装置と同様の効果を得ることが可能となる。
[第3付記]
本発明(特に、第1〜第3実施形態に記載の発明)は、次のように表現することも可能である。なお、本欄([第3付記])に記載する従属形式の付記では、第3付記に記載の付記に従属するものとする。
〈第3付記の内容〉
(付記1)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号とを所定の変換により変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記2)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、変換関数F1、前記変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて出力信号の値Cを演算する、
付記1に記載の視覚処理装置。
(付記3)
前記変換関数F1は、対数関数である、
付記2に記載の視覚処理装置。
(付記4)
前記逆変換関数F2は、ガンマ補正関数である、
付記2に記載の視覚処理装置。
(付記5)
前記信号演算手段は、前記画像信号および前記処理信号の信号空間の変換を行う信号空間変換手段と、変換後の前記画像信号と変換後の前記処理信号との差分信号に対して強調処理を行う強調処理手段と、変換後の前記画像信号と前記強調処理後の前記差分信号との加算信号に対して信号空間の逆変換を行い、前記出力信号を出力する逆変換手段とを有する、
付記2〜4のいずれかに記載の視覚処理装置。
(付記6)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との比を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記7)
前記信号演算手段は、前記画像信号のダイナミックレンジ圧縮をさらに行う前記演算に基づいて前記出力信号を出力する、
付記6に記載の視覚処理装置。
(付記8)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて出力信号の値Cを演算する、
付記6または7に記載の視覚処理装置。
(付記9)
前記ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である、
付記8に記載の視覚処理装置。
(付記10)
前記ダイナミックレンジ圧縮関数F4は、単調増加関数である、
付記8に記載の視覚処理装置。
(付記11)
前記ダイナミックレンジ圧縮関数F4は、上に凸の関数である、
付記10に記載の視覚処理装置。
(付記12)
前記ダイナミックレンジ圧縮関数F4は、べき関数である、
付記8に記載の視覚処理装置。
(付記13)
前記ダイナミックレンジ圧縮関数F4におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる、
付記12に記載の視覚処理装置。
(付記14)
前記強調関数F5は、べき関数である、
付記8〜13のいずれかに記載の視覚処理装置。
(付記15)
前記強調関数F5におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる、
付記14に記載の視覚処理装置。
(付記16)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも大きい場合に、前記画像信号の値Aに対して単調減少する値である、
付記14または15に記載の視覚処理装置。
(付記17)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも小さい場合に、前記画像信号の値Aに対して単調増加する値である、
付記14または15に記載の視覚処理装置。
(付記18)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも大きい場合に、前記画像信号の値Aに対して単調増加する値である、
付記14または15に記載の視覚処理装置。
(付記19)
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aと前記処理信号の値Bとの差の絶対値に対して単調増加する値である、
付記14または15に記載の視覚処理装置。
(付記20)
前記強調関数F5の最大値あるいは最小値の少なくとも一方は、所定の範囲内に制限されている、
付記14〜19のいずれかに記載の視覚処理装置。
(付記21)
前記信号演算手段は、前記画像信号を前記処理信号で除算した除算処理信号に対して強調処理を行う強調処理手段と、前記画像信号と前記強調処理された前記除算処理信号とに基づいて前記出力信号を出力する出力処理手段とを有する、
付記8に記載の視覚処理装置。
(付記22)
前記出力処理手段は、前記画像信号と前記強調処理された前記除算処理信号との乗算処理を行う、
付記21に記載の視覚処理装置。
(付記23)
前記出力処理手段は、前記画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、前記DR圧縮された前記画像信号と前記強調処理された前記除算処理信号との乗算処理を行う、
付記21に記載の視覚処理装置。
(付記24)
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、前記画像信号とする第1変換手段と、
第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換手段と、
をさらに備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
付記8〜23のいずれかに記載の視覚処理装置。
(付記25)
前記ダイナミックレンジ圧縮関数F4は、前記第2の所定の範囲の前記画像信号を前記第3の所定の範囲の前記出力信号に変換する関数である、
付記24に記載の視覚処理装置。
(付記26)
前記第1変換手段は、前記第1の所定の範囲の最小値と最大値とのそれぞれを前記第2の所定の範囲の最小値と最大値とのそれぞれに変換し、
前記第2変換手段は、前記第3の所定の範囲の最小値と最大値とのそれぞれを前記第4の所定の範囲の最小値と最大値とのそれぞれに変換する、
付記24または25に記載の視覚処理装置。
(付記27)
前記第1変換手段および前記第2変換手段における変換は、それぞれ線形の変換である、
付記26に記載の視覚処理装置。
(付記28)
前記第3の所定の範囲を設定する設定手段をさらに備える、
付記24〜27のいずれかに記載の視覚処理装置。
(付記29)
前記設定手段は、画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段と、画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを含む、
付記28に記載の視覚処理装置。
(付記30)
前記設定手段は、画像表示を行う表示装置の表示環境における黒レベル表示時と白レベル表示時との輝度を測定する測定手段を含む、
付記28に記載の視覚処理装置。
(付記31)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との差を、前記画像信号の値に応じて強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記32)
前記信号演算手段は、前記強調する演算により強調された値に対して、前記画像信号をダイナミックレンジ圧縮した値を加える演算に基づいて前記出力信号を出力する、
付記31に記載の視覚処理装置。
(付記33)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて出力信号の値Cを演算する、
付記31または32に記載の視覚処理装置。
(付記34)
前記ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である、
付記33に記載の視覚処理装置。
(付記35)
前記ダイナミックレンジ圧縮関数F8は、単調増加関数である、
付記33に記載の視覚処理装置。
(付記36)
前記ダイナミックレンジ圧縮関数F8は、上に凸の関数である、
付記35に記載の視覚処理装置。
(付記37)
前記ダイナミックレンジ圧縮関数F8は、べき関数である、
付記33に記載の視覚処理装置。
(付記38)
前記信号演算手段は、前記画像信号と前記処理信号との差分信号に対して前記画像信号の画素値に応じた強調処理を行う強調処理手段と、前記画像信号と前記強調処理された差分信号とに基づいて前記出力信号を出力する出力処理手段とを有する、
付記33に記載の視覚処理装置。
(付記39)
前記出力処理手段は、前記画像信号と前記強調処理された前記差分信号との加算処理を行う、
付記38に記載の視覚処理装置。
(付記40)
前記出力処理手段は、前記画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、前記DR圧縮された前記画像信号と前記強調処理された前記差分信号との加算処理を行う、
付記38に記載の視覚処理装置。
(付記41)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との差を強調した値に対して、前記画像信号を階調補正した値を加える演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記42)
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて出力信号の値Cを演算する、
付記41に記載の視覚処理装置。
(付記43)
前記信号演算手段は、前記画像信号と前記処理信号との差分信号に対して強調処理を行う強調処理手段と、階調補正された前記画像信号と前記強調処理された差分信号とを加算処理し出力信号として出力する加算処理手段とを有する、
付記42に記載の視覚処理装置。
(付記44)
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算ステップと、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換ステップと、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理方法。
(付記45)
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換手段と、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算手段と、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換手段と、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理装置。
(付記46)
コンピュータに視覚処理を行わせるための視覚処理プログラムであって、
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算ステップと、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換ステップと、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理方法をコンピュータに対して行わせるものである、
視覚処理プログラム。
〈第3付記の説明〉
付記1に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号とを所定の変換により変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する。
ここで、空間処理とは、入力された画像信号に対して低域空間フィルタを適用する処理、あるいは、入力された画像信号の着目画素と周囲画素との平均値、最大値あるいは最小値などを導出する処理などである(以下、この欄において同じ)。また、強調する演算とは、例えば、ゲインを調整する演算、過度のコントラストを抑制する演算、小振幅のノイズ成分を抑制する演算などである(以下、この欄において同じ)。
本発明の視覚処理装置では、画像信号と処理信号とを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
付記2に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、変換関数F1、変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて出力信号の値Cを演算する。
強調関数F3とは、例えば、ゲインを調整する関数、過度のコントラストを抑制する関数、小振幅のノイズ成分を抑制する関数などである。
出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとは、変換関数F1により別空間上の値に変換されている。変換後の画像信号の値と処理信号の値との差分は、例えば、別空間上でのシャープ信号などを表している。強調関数F3により強調された変換後の画像信号と処理信号との差分は、変換後の画像信号に加算されている。これにより、出力信号の値Cは、別空間上におけるシャープ信号成分が強調された値を示している。
本発明の視覚処理装置では、例えば、別空間に変換された画像信号の値Aおよび処理信号の値Bを用いて、別空間上でのエッジ強調、コントラスト強調などの処理が可能となる。
付記3に記載の視覚処理装置は、付記2に記載の視覚処理装置であって、変換関数F1は、対数関数である。
ここで、人間の視覚特性は、一般に対数的である。このため対数空間に変換して画像信号および処理信号の処理を行うと、視覚特性に適した処理を行うことが可能となる。
本発明の視覚処理装置では、視覚的効果の高いコントラスト強調、あるいは局所コントラストを維持するダイナミックレンジ圧縮が可能となる。
付記4に記載の視覚処理装置は、付記2に記載の視覚処理装置であって、逆変換関数F2は、ガンマ補正関数である。
一般的に画像信号には、画像信号を入出力する機器のガンマ特性に応じて、ガンマ補正関数によるガンマ補正が施されている。
本発明の視覚処理装置では、変換関数F1により、画像信号のガンマ補正を外し、線形特性のもとで処理を行うことが可能となる。これにより、光学的なボケの補正を行うことが可能となる。
付記5に記載の視覚処理装置は、付記2〜4のいずれかに記載の視覚処理装置であって、信号演算手段は、信号空間変換手段と、強調処理手段と、逆変換手段とを有している。信号空間変換手段は、画像信号および処理信号の信号空間の変換を行う。強調処理手段は、変換後の画像信号と変換後の処理信号との差分信号に対して強調処理を行う。逆変換手段は、変換後の画像信号と強調処理後の差分信号との加算信号に対して信号空間の逆変換を行い、出力信号を出力する。
本発明の視覚処理装置では、信号空間変換手段は、変換関数F1を用いて、画像信号と処理信号との信号空間の変換を行う。強調処理手段は、強調関数F3を用いて、変換後の画像信号と変換後の処理信号との差分信号に対して強調処理を行う。逆変換手段は、逆変換関数F2を用いて、変換後の画像信号と強調処理後の差分信号との加算信号に対して信号空間の逆変換を行う。
付記6に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との比を強調する演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比は、画像信号のシャープ成分を表している。このため、例えば、シャープ成分を強調する視覚処理を行うことが可能となる。
付記7に記載の視覚処理装置は、付記6に記載の視覚処理装置であって、信号演算手段は、画像信号のダイナミックレンジ圧縮をさらに行う演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との比が表す画像信号のシャープ成分を強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
付記8に記載の視覚処理装置は、付記6または7に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて出力信号の値Cを演算する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの除算量(A/B)は、例えばシャープ信号を表している。また、F5(A/B)は、例えば、シャープ信号の強調量を表している。これらは、画像信号の値Aと処理信号の値Bとを対数空間に変換し、それぞれの差分を強調処理するのと等価な処理を示しており、視覚特性に適した強調処理が行われている。
本発明の視覚処理装置では、必要に応じてダイナミックレンジの圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記9に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。このコントラスト強調は、視覚特性に適した強調処理となっている。
付記10に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、単調増加関数である。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記11に記載の視覚処理装置は、付記10に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、上に凸の関数である。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを強調することが可能となる。
付記12に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、べき関数である。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F4を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを強調することが可能となる。
付記13に記載の視覚処理装置は、付記12に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる。
ここで、目標コントラスト値とは、画像表示を行う際のコントラストの目標値であり、例えば、画像表示を行う表示装置のダイナミックレンジにより決定される値などである。実コントラスト値とは、画像表示を行う際の表示環境におけるコントラスト値であり、例えば、環境光が存在する場合において表示装置が表示する画像のコントラストにより決定される値などである。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F4により目標コントラスト値と等しいダイナミックレンジを有する画像信号を実コントラスト値と等しいダイナミックレンジにダイナミックレンジ圧縮することが可能となる。
付記14に記載の視覚処理装置は、付記8〜13のいずれかに記載の視覚処理装置であって、強調関数F5は、べき関数である。
本発明の視覚処理装置では、べき関数である強調関数F5を用いて局所的なコントラストを強調することが可能となり、視覚的にダイナミックレンジの変換を行うことが可能となる。
付記15に記載の視覚処理装置は、付記14に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる。
本発明の視覚処理装置では、べき関数である強調関数F5を用いて局所的なコントラストを強調することが可能となり、視覚的にダイナミックレンジの変換を行うことが可能となる。
付記16に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも大きい場合に、画像信号の値Aに対して単調減少する値である。
本発明の視覚処理装置では、画像信号において周囲画素よりも輝度の高い着目画素のうち、高輝度の部分における局所的なコントラストの強調を弱めることが可能となる。このため、視覚処理された画像において、いわゆる白飛びが抑制される。
付記17に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも小さい場合に、画像信号の値Aに対して単調増加する値である。
本発明の視覚処理装置では、画像信号において周囲画素よりも輝度の低い着目画素のうち、低輝度の部分における局所的なコントラストの強調を弱めることが可能となる。このため、視覚処理された画像において、いわゆる黒潰れが抑制される。
付記18に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも大きい場合に、画像信号の値Aに対して単調増加する値である。
本発明の視覚処理装置では、画像信号において周囲画素よりも輝度の高い着目画素のうち、低輝度の部分における局所的なコントラストの強調を弱めることが可能となる。このため、視覚処理された画像において、SN比の劣化が抑制される。
付記19に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aと処理信号の値Bとの差の絶対値に対して単調増加する値である。
ここで、画像信号の値Aと処理信号の値Bとの差の絶対値に対して単調増加する値とは、画像信号の値Aと処理信号の値Bとの比が1に近いほど増加すると定義することもできる。
本発明の視覚処理装置では、画像信号において周囲画素との明暗差が小さい着目画素における局所的なコントラストを特に強調し、画像信号において周囲画素との明暗差が大きい着目画素における局所的なコントラストを強調しすぎないということが可能となる。
付記20に記載の視覚処理装置は、付記14〜19のいずれかに記載の視覚処理装置であって、強調関数F5の最大値あるいは最小値の少なくとも一方は、所定の範囲内に制限されている。
本発明の視覚処理装置では、局所的なコントラストの強調量を適切な範囲に制限することが可能となる。
付記21に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、出力処理手段とを有している。強調処理手段は、画像信号を処理信号で除算した除算処理信号に対して強調処理を行う。出力処理手段は、画像信号と強調処理された除算処理信号とに基づいて出力信号を出力する。
本発明の視覚処理装置では、強調処理手段は、画像信号を処理信号で除算した除算処理信号に対して、強調関数F5を用いて強調処理を行う。出力処理手段は、画像信号と除算処理信号に基づいて出力信号を出力する。
付記22に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、出力処理手段は、画像信号と強調処理された除算処理信号との乗算処理を行う。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F4は、例えば、比例係数1の正比例関数である。
付記23に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、出力処理手段は、画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、DR圧縮された画像信号と強調処理された除算処理信号との乗算処理を行う。
本発明の視覚処理装置では、DR圧縮手段は、ダイナミックレンジ圧縮関数F4を用いて画像信号のダイナミックレンジ圧縮を行う。
付記24に記載の視覚処理装置は、付記8〜23のいずれかに記載の視覚処理装置であって、第1変換手段と第2変換手段とをさらに備えている。第1変換手段は、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。第2変換手段は、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理装置では、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
付記25に記載の視覚処理装置は、付記24に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、第2の所定の範囲の画像信号を第3の所定の範囲の出力信号に変換する関数である。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F4により、画像全体のダイナミックレンジが第3の所定の範囲まで圧縮されている。
付記26に記載の視覚処理装置は、付記24または25に記載の視覚処理装置であって、第1変換手段は、第1の所定の範囲の最小値と最大値とのそれぞれを第2の所定の範囲の最小値と最大値とのそれぞれに変換する。第2変換手段は、第3の所定の範囲の最小値と最大値とのそれぞれを第4の所定の範囲の最小値と最大値とのそれぞれに変換する。
付記27に記載の視覚処理装置は、付記26に記載の視覚処理装置であって、第1変換手段および第2変換手段における変換は、それぞれ線形の変換である。
付記28に記載の視覚処理装置は、付記24〜27のいずれかに記載の視覚処理装置であって、第3の所定の範囲を設定する設定手段をさらに備える。
本発明の視覚処理装置では、画像表示を行う表示装置の表示環境に応じて第3の所定の範囲を設定可能となる。このため、より適切に環境光の補正を行うことが可能となる。
付記29に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、設定手段は、画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段と、画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを含む。
本発明の視覚処理装置では、環境光の輝度を測定し、測定された輝度と表示装置のダイナミックレンジとから実コントラスト値を決定することが可能となる。
付記30に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、設定手段は、画像表示を行う表示装置の表示環境における黒レベル表示時と白レベル表示時との輝度を測定する測定手段を含む。
本発明の視覚処理装置では、表示環境における黒レベル表示時と白レベル表示時との輝度を測定し実コントラスト値を決定することが可能となる。
付記31に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との差を、画像信号の値に応じて強調する演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差である画像信号のシャープ成分を画像信号の値に応じて強調することが可能となる。このため、画像信号の暗部から明部まで適切な強調を行うことが可能となる。
付記32に記載の視覚処理装置は、付記31に記載の視覚処理装置であって、信号演算手段は、強調する演算により強調された値に対して、画像信号をダイナミックレンジ圧縮した値を加える演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号のシャープ成分などを画像信号の値に応じて強調しつつ、ダイナミックレンジの圧縮を行うことが可能となる。
付記33に記載の視覚処理装置は、付記31または32に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて出力信号の値Cを演算する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えばシャープ信号を表している。また、F7(A−B)は、例えば、シャープ信号の強調量を表している。さらに、強調量は、強調量調整関数F6により、画像信号の値Aに応じて調整され、必要に応じてダイナミックレンジ圧縮を行った画像信号に対して加算されている。
本発明の視覚処理装置では、例えば、画像信号Aの値が大きいところでは、強調量を減らすなど暗部から明部までのコントラストを維持することが可能となる。また、ダイナミックレンジ圧縮を行った場合でも、暗部から明部までの局所コントラストを維持することが可能となる。
付記34に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。
付記35に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、単調増加関数である。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
付記36に記載の視覚処理装置は、付記35に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、上に凸の関数である。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
付記37に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F8は、べき関数である。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを維持することが可能となる。
付記38に記載の視覚処理装置は、付記33に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、出力処理手段とを有している。強調処理手段は、画像信号と処理信号との差分信号に対して画像信号の画素値に応じた強調処理を行う。出力処理手段は、画像信号と強調処理された差分信号とに基づいて出力信号を出力する。
本発明の視覚処理装置では、強調処理手段は、強調量調整関数F6により強調量を調整された強調関数F7を用いて強調処理を行う。出力処理手段は、画像信号と差分信号とに基づいて出力信号を出力する。
付記39に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、出力処理手段は、画像信号と強調処理された差分信号との加算処理を行う。
本発明の視覚処理装置では、ダイナミックレンジ圧縮関数F8は、例えば、比例係数1の正比例関数である。
付記40に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、出力処理手段は、画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、DR圧縮された画像信号と強調処理された差分信号との加算処理を行う。
本発明の視覚処理装置では、DR圧縮手段は、ダイナミックレンジ圧縮関数F8を用いて画像信号のダイナミックレンジ圧縮を行う。
付記41に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との差を強調した値に対して、画像信号を階調補正した値を加える演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、例えば、画像信号と処理信号との差は、画像信号のシャープ成分を表している。また、シャープ成分の強調と画像信号の階調補正とは独立して行われる。このため、画像信号の階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
付記42に記載の視覚処理装置は、付記41に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて出力信号の値Cを演算する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えば、シャープ信号を表している。また、F11(A−B)は、例えば、シャープ信号の強調処理を表している。さらに、階調補正された画像信号と強調処理されたシャープ信号とが加算されていることを表している。
本発明の視覚処理装置では、階調補正にかかわらず、一定のコントラスト強調を行うことが可能となる。
付記43に記載の視覚処理装置は、付記42に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、加算処理手段とを有している。強調処理手段は、画像信号と処理信号との差分信号に対して強調処理を行う。加算処理手段は、階調補正された画像信号と強調処理された差分信号とを加算処理し出力信号として出力する。
本発明の視覚処理装置では、強調処理手段は、差分信号に対して、強調関数F11を用いて強調処理を行う。加算処理手段は、階調補正関数F12を用いて階調補正処理した画像信号と、強調処理された差分信号とを加算処理する。
付記44に記載の視覚処理方法は、第1変換ステップと、信号演算ステップと、第2変換ステップとを備えている。第1変換ステップは、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算ステップは、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換ステップは、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理方法では、例えば、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
付記45に記載の視覚処理装置は、第1変換手段と、信号演算手段と、第2変換手段とを備えている。第1変換手段は、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算手段は、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換手段は、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理装置では、例えば、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
付記46に記載の視覚処理プログラムは、コンピュータに視覚処理を行わせるための視覚処理プログラムであって、第1変換ステップと、信号演算ステップと、第2変換ステップとをそなえる視覚処理方法をコンピュータに対して行わせるものである。
第1変換ステップは、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算ステップは、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換ステップは、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
本発明の視覚処理プログラムでは、例えば、環境光の存在によって低下した実コントラスト値まで画像全体のダイナミックレンジを圧縮しつつ、局所的には目標コントラスト値を維持することなどが可能となる。このため、視覚処理された画像の視覚的効果が向上する。
本発明の視覚処理装置により、実現される視覚処理に依存しないハード構成を有する装置を提供することが可能となり、視覚処理装置、特に、画像信号の空間処理または階調処理などの視覚処理を行う視覚処理装置として有用である。
1 視覚処理装置
2 空間処理部
3 視覚処理部
4 2次元LUT
IS 入力信号
US アンシャープ信号
OS 出力信号
TIS 変換入力信号
TUS 変換アンシャープ信号
DS 差分信号
TS 強調処理信号
PS 加算信号
RS 除算信号
DRS DR圧縮信号
MS 乗算信号
IC 強調量調整信号
GC 階調補正信号

Claims (21)

  1. 入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
    入力された前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理部と、
    を備え、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    視覚処理装置。
  2. 入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
    入力された前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理部と、
    を備え、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に前記画像信号の値が増大するに従い前記画像信号の値に対する前記出力信号の値の比が増大する、
    ことを特徴とする処理特性を有する、
    視覚処理装置。
  3. 前記空間処理部は、前記対象画素の周囲の画素の画素値に基づいてアンシャープ信号を生成する、
    請求項1または請求項2に記載の視覚処理装置。
  4. 前記空間処理部は、前記対象画素の周囲の画素の画素レベルを代表する処理信号を出力する、
    請求項1または請求項2のいずれか一つに記載の視覚処理装置。
  5. 前記処理信号は、前記対象画素の周囲の画素の平均値、最大値あるいは最小値のいずれかである、
    請求項4に記載の視覚処理装置。
  6. 前記画像信号および前記処理信号および前記出力信号は明度を示す信号である、
    請求項1から5のいずれか1項に記載の視覚処理装置。
  7. 前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、かつ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となり、かつ
    前記画像信号と前記処理信号の値とが同じ値である場合に前記画像信号の値に対する前記出力信号の値が上に凸となる、
    ことを特徴とする処理特性を有する、
    請求項1に記載の視覚処理装置。
  8. 前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、かつ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となり、かつ、
    前記画像信号と前記処理信号の値とが同じ値である場合に前記画像信号の値に対する前記出力信号の値が比例する、
    ことを特徴とする処理特性を有する、
    請求項1に記載の視覚処理装置。
  9. 前記視覚処理部は、前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる度合いを、変換特性指定信号により決定する、
    請求項1、7、8のいずれか1項に記載の視覚処理装置。
  10. 前記視覚処理部は、前記画像信号の値と前記処理信号の値とが同じ値である場合に、前記画像信号の値に対して前記出力信号の値が上に凸となる度合いを、変換特性指定信号により決定する、
    請求項7に記載の視覚処理装置。
  11. 前記所定の入力範囲は、前記画像信号の値が大きく前記処理信号の値が小さい部分を含まない、
    請求項1から10のいずれか1項に記載の視覚処理装置。
  12. 使用者からの入力を受付け前記変換特性指定信号を生成する情報入力部を更に備える、
    請求項9または10に記載の視覚処理装置。
  13. 前記画像信号の画像特性を判断する画像特性判断部を更に備え、
    前記変換特性指定信号は、前記画像特性判断部の判断結果に応じて切り替えられる、
    請求項9または10に記載の視覚処理装置。
  14. ユーザを識別するユーザ識別部をさらに備え、
    前記変換特性指定信号は、前記ユーザ識別部の識別結果に応じて切り替えられる、
    請求項9または10に記載の視覚処理装置。
  15. 入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
    入力された前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    画像表示装置。
  16. 映像信号を受信する受信部と、
    前記映像信号を復号し画像信号を出力する復号部と、
    前記画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
    前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    テレビジョン。
  17. 映像信号を受信する受信部と、
    前記映像信号を復号し画像信号を出力する復号部と、
    前記画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
    前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理部と、
    前記出力信号を表示する表示部と、
    を備え、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    携帯情報端末。
  18. 画像を行う撮影して画像信号を生成する撮影部と、
    前記画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
    前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理部を備え、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    カメラ。
  19. 入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
    入力された前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理ステップとを含み、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    視覚処理方法。
  20. 画像出力装置に用いられる集積回路であって、
    入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
    入力された前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理ステップと、
    を実行し、
    前記視覚処理は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    集積回路。
  21. コンピュータにより視覚処理を行う画像処理プログラムであって、
    入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
    入力された前記画像信号および前記処理信号を入力とし、視覚処理された出力信号を出力する視覚処理ステップとを含む視覚処理方法をコンピュータに行わせるものであり、
    前記視覚処理部は、所定の入力範囲において、
    前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して前記出力信号の値が単調減少し、且つ、
    前記処理信号の値を所定のレベルに固定した場合に、前記画像信号の値に対して前記出力信号の値が下に凸となる、
    ことを特徴とする処理特性を有する、
    画像処理プログラム。
JP2008012160A 2003-09-11 2008-01-23 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ Active JP4481333B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008012160A JP4481333B2 (ja) 2003-09-11 2008-01-23 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003320061 2003-09-11
JP2003433324 2003-12-26
JP2004169693 2004-06-08
JP2008012160A JP4481333B2 (ja) 2003-09-11 2008-01-23 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004264003A Division JP4126297B2 (ja) 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2009113175A Division JP4410304B2 (ja) 2003-09-11 2009-05-08 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP2009114574A Division JP2009211709A (ja) 2003-09-11 2009-05-11 視覚処理装置、視覚処理方法、テレビジョン、情報携帯端末、カメラおよびプロセッサ

Publications (3)

Publication Number Publication Date
JP2008159069A JP2008159069A (ja) 2008-07-10
JP2008159069A5 true JP2008159069A5 (ja) 2009-07-30
JP4481333B2 JP4481333B2 (ja) 2010-06-16

Family

ID=34317225

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008012160A Active JP4481333B2 (ja) 2003-09-11 2008-01-23 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ
JP2009113175A Active JP4410304B2 (ja) 2003-09-11 2009-05-08 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP2009114574A Pending JP2009211709A (ja) 2003-09-11 2009-05-11 視覚処理装置、視覚処理方法、テレビジョン、情報携帯端末、カメラおよびプロセッサ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2009113175A Active JP4410304B2 (ja) 2003-09-11 2009-05-08 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP2009114574A Pending JP2009211709A (ja) 2003-09-11 2009-05-11 視覚処理装置、視覚処理方法、テレビジョン、情報携帯端末、カメラおよびプロセッサ

Country Status (6)

Country Link
US (2) US7860339B2 (ja)
EP (1) EP1667066B1 (ja)
JP (3) JP4481333B2 (ja)
KR (3) KR101030864B1 (ja)
CN (1) CN101686306A (ja)
WO (1) WO2005027043A1 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860339B2 (en) * 2003-09-11 2010-12-28 Panasonic Corporation Visual processing device, visual processing method, visual processing program, intergrated circuit, display device, image-capturing device, and portable information terminal
TWI297875B (en) * 2004-09-16 2008-06-11 Novatek Microelectronics Corp Image processing method and device using thereof
KR100640063B1 (ko) * 2005-02-18 2006-10-31 삼성전자주식회사 외부조도를 고려한 영상향상방법 및 장치
US8312489B2 (en) * 2005-02-23 2012-11-13 Sony Corporation CM searching method and apparatus, and CM-appendant information supplying method and apparatus
JP4752431B2 (ja) * 2005-10-03 2011-08-17 セイコーエプソン株式会社 カラー画像複写装置、カラー画像複写方法、およびコンピュータプログラム
US7773158B2 (en) 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
EP1959390A4 (en) 2005-10-12 2010-05-05 Panasonic Corp VISUAL PROCESSING APPARATUS, DISPLAY APPARATUS, VISUAL PROCESSING METHOD, PROGRAM, AND INTEGRATED CIRCUIT
US8094238B2 (en) * 2006-04-11 2012-01-10 Panasonic Corporation Video signal processing device and video signal processing method
WO2007122966A1 (ja) 2006-04-19 2007-11-01 Panasonic Corporation 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路
WO2007125732A1 (ja) 2006-04-28 2007-11-08 Panasonic Corporation 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
US7593017B2 (en) 2006-08-15 2009-09-22 3M Innovative Properties Company Display simulator
US7692644B2 (en) * 2006-10-13 2010-04-06 Hitachi Displays, Ltd. Display apparatus
JP4761566B2 (ja) * 2006-12-13 2011-08-31 キヤノン株式会社 画像処理装置及びその方法とプログラム及び媒体
CN101563669A (zh) * 2006-12-15 2009-10-21 汤姆森特许公司 交互式视觉特效合成的系统和方法
JP4780413B2 (ja) * 2007-01-12 2011-09-28 横河電機株式会社 不正アクセス情報収集システム
KR100844780B1 (ko) 2007-02-23 2008-07-07 삼성에스디아이 주식회사 유기 전계 발광표시장치 및 그 구동방법
KR100844775B1 (ko) * 2007-02-23 2008-07-07 삼성에스디아이 주식회사 유기 전계발광 표시장치
KR100844781B1 (ko) * 2007-02-23 2008-07-07 삼성에스디아이 주식회사 유기 전계 발광표시장치 및 그 구동방법
KR100830333B1 (ko) * 2007-02-23 2008-05-16 매그나칩 반도체 유한회사 적응형 구간 선형 처리 장치
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
KR100944595B1 (ko) * 2007-04-24 2010-02-25 가부시끼가이샤 르네사스 테크놀로지 표시 장치, 표시 장치 구동 회로, 화상 표시 방법, 전자기기 및 화상 표시 장치 구동 회로
US8207931B2 (en) * 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
JP5032911B2 (ja) * 2007-07-31 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
US7995857B2 (en) * 2007-09-03 2011-08-09 Himax Technologies Limited Method and apparatus utilizing step-wise gain control for image processing
JP5171434B2 (ja) 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
CN101836248B (zh) * 2007-10-26 2012-11-28 太阳诱电株式会社 影像显示装置及方法及嵌入其中的信号处理电路和液晶背光灯驱动装置
EP2068569B1 (en) * 2007-12-05 2017-01-25 Vestel Elektronik Sanayi ve Ticaret A.S. Method of and apparatus for detecting and adjusting colour values of skin tone pixels
JP4453754B2 (ja) * 2007-12-20 2010-04-21 ソニー株式会社 表示装置、映像信号補正装置、映像信号補正方法
JP4314305B1 (ja) 2008-02-04 2009-08-12 シャープ株式会社 鮮鋭化画像処理装置、方法、及びソフトウェア
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
US8311360B2 (en) 2008-11-13 2012-11-13 Seiko Epson Corporation Shadow remover
JP5134508B2 (ja) * 2008-11-19 2013-01-30 株式会社日立製作所 テレビジョン装置
JP2010127994A (ja) * 2008-11-25 2010-06-10 Sony Corp 補正値算出方法、表示装置
US8970707B2 (en) * 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
JP4994407B2 (ja) * 2009-03-18 2012-08-08 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
EP2472850B1 (en) 2008-12-22 2013-11-20 Mitsubishi Electric Corporation Image processing apparatus
JP4994354B2 (ja) * 2008-12-22 2012-08-08 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
JP4912418B2 (ja) * 2009-01-14 2012-04-11 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
CN101527779B (zh) * 2009-03-12 2012-06-27 北京大学 一种校色的方法和装置
JP2010278724A (ja) * 2009-05-28 2010-12-09 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
KR20110021107A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 선명도 보정을 위한 영상처리장치 및 영상처리방법
JP5500964B2 (ja) * 2009-12-11 2014-05-21 キヤノン株式会社 動画像処理装置及びその制御方法、プログラム
CN102110403B (zh) * 2009-12-23 2013-04-17 群康科技(深圳)有限公司 改善显示器拖影现象的方法及相关的显示器
US8582914B2 (en) * 2010-03-22 2013-11-12 Nikon Corporation Tone mapping with adaptive slope for image sharpening
JP2011221524A (ja) * 2010-03-26 2011-11-04 Sharp Corp 表示装置及びその制御方法、テレビジョン受像機、プログラム、並びに記録媒体
KR101113483B1 (ko) * 2010-04-09 2012-03-06 동아대학교 산학협력단 컬러 영상의 가시성 향상 장치 및 방법
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101681776B1 (ko) * 2010-06-10 2016-12-01 엘지디스플레이 주식회사 화질 제어 방법과 이를 이용한 표시장치
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
WO2012032778A1 (ja) 2010-09-08 2012-03-15 パナソニック株式会社 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
US8952978B2 (en) * 2010-09-28 2015-02-10 Sony Corporation Display device, viewing angle control method, computer program storage device with viewing angle control program, and mobile terminal
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
KR101773419B1 (ko) * 2010-11-22 2017-09-01 삼성디스플레이 주식회사 데이터 보상 방법 및 이를 수행하는 표시 장치
TWI471678B (zh) * 2010-12-17 2015-02-01 Hon Hai Prec Ind Co Ltd 投影儀及其投影畫面自動調整方法
TW201248604A (en) * 2011-05-16 2012-12-01 Novatek Microelectronics Corp Display apparatus and image compensating method thereof
KR101803571B1 (ko) * 2011-06-17 2017-11-30 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
JP2013137418A (ja) * 2011-12-28 2013-07-11 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置
KR20130106642A (ko) * 2012-03-20 2013-09-30 삼성디스플레이 주식회사 휘도 보정 시스템 및 그 방법
TWI523500B (zh) * 2012-06-29 2016-02-21 私立淡江大學 影像的動態範圍壓縮方法與影像處理裝置
US9646366B2 (en) * 2012-11-30 2017-05-09 Change Healthcare Llc Method and apparatus for enhancing medical images
US9554102B2 (en) * 2012-12-19 2017-01-24 Stmicroelectronics S.R.L. Processing digital images to be projected on a screen
KR102103277B1 (ko) * 2013-04-12 2020-04-22 삼성전자주식회사 이미지를 관리하는 방법 및 그 전자 장치
WO2014169952A1 (de) 2013-04-16 2014-10-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Justieren eines multi-kamerasystems, multi kamerasystem und justierhilfe
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
JP5842940B2 (ja) * 2014-01-10 2016-01-13 株式会社ニコン 画像処理装置及び電子カメラ
LU92406B1 (en) * 2014-03-19 2015-09-21 Iee Sarl Camera head with integrated calibration tables
US9489881B2 (en) * 2014-07-01 2016-11-08 Canon Kabushiki Kaisha Shading correction calculation apparatus and shading correction value calculation method
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
US9930324B2 (en) 2014-08-05 2018-03-27 Seek Thermal, Inc. Time based offset correction for imaging systems
WO2016022374A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
US10469826B2 (en) * 2014-08-08 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for environmental profile generation
CN106716992B (zh) 2014-08-20 2020-02-07 塞克热量股份有限公司 用于成像系统的增益校准的方法及成像系统
WO2016028755A1 (en) 2014-08-20 2016-02-25 Seek Thermal, Inc. Adaptive adjustment of operating bias of an imaging system
US10163408B1 (en) * 2014-09-05 2018-12-25 Pixelworks, Inc. LCD image compensation for LED backlighting
KR102190233B1 (ko) 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
US9947086B2 (en) 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10467736B2 (en) 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
WO2016163314A1 (ja) * 2015-04-10 2016-10-13 シャープ株式会社 液晶表示装置およびその駆動方法
US9549130B2 (en) 2015-05-01 2017-01-17 Seek Thermal, Inc. Compact row column noise filter for an imaging system
US10623608B2 (en) * 2015-06-26 2020-04-14 Hewlett-Packard Development Company, L.P. Enhance highlighter color in scanned images
EP3142355B1 (en) * 2015-09-08 2017-10-25 Axis AB Method and apparatus for enhancing local contrast in a thermal image
US9651534B1 (en) * 2015-12-02 2017-05-16 Sani-Hawk Optical Solutions LLC Optical chemical test systems and methods
WO2017103399A1 (fr) * 2015-12-16 2017-06-22 B<>Com Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes
EP3920133A1 (en) * 2015-12-31 2021-12-08 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for image processing
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
CN109074784B (zh) * 2016-04-01 2021-10-12 夏普株式会社 显示装置、显示装置的控制方法、及控制程序的记录介质
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
JPWO2018003938A1 (ja) * 2016-06-30 2019-06-27 アイキューブド研究所株式会社 映像信号処理装置、映像信号処理方法、およびプログラム
CN109417587A (zh) * 2016-06-30 2019-03-01 I<sup>3</sup>研究所股份有限公司 图像输出装置、图像输出方法以及程序
WO2018003937A1 (ja) 2016-06-30 2018-01-04 アイキューブド研究所株式会社 映像信号処理装置、映像信号処理方法、およびプログラム
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10454832B2 (en) * 2017-01-31 2019-10-22 Google Llc Balancing data requests over a network
US10084997B1 (en) * 2017-05-23 2018-09-25 Sony Corporation Adaptive optics for a video projector
KR102368229B1 (ko) * 2018-02-06 2022-03-03 한화테크윈 주식회사 영상처리장치 및 방법
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system
US11430093B2 (en) 2019-10-01 2022-08-30 Microsoft Technology Licensing, Llc Face-based tone curve adjustment
JP7418690B2 (ja) * 2019-10-25 2024-01-22 株式会社Jvcケンウッド 表示制御装置、表示システム、表示制御方法及びプログラム
US11113818B1 (en) * 2020-02-25 2021-09-07 Himax Technologies Limited Timing controller and operating method thereof
US11809996B2 (en) * 2020-09-21 2023-11-07 University Of Central Florida Research Foundation, Inc. Adjusting parameters in an adaptive system
WO2023094873A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
WO2023094875A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
US11418723B1 (en) 2021-11-29 2022-08-16 Unity Technologies Sf Increasing dynamic range of a virtual production display

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3024459A1 (de) * 1979-07-03 1981-01-08 Crosfield Electronics Ltd Pyramideninterpolation
JPS5827145A (ja) 1981-08-10 1983-02-17 Fuji Photo Film Co Ltd カラ−画像信号の輪郭強調処理方法及びカラ−画像走査装置
US4837722A (en) * 1986-05-14 1989-06-06 Massachusetts Institute Of Technology Digital high speed 3-dimensional interpolation machine
JP2718448B2 (ja) 1987-10-19 1998-02-25 富士写真フイルム株式会社 画像処理データの設定方法
JP2655602B2 (ja) 1987-11-04 1997-09-24 日本電気株式会社 画像強調回路
JP2832954B2 (ja) 1988-09-09 1998-12-09 日本電気株式会社 画像強調回路
JPH0348980A (ja) 1989-07-18 1991-03-01 Fujitsu Ltd 輪郭強調処理方式
JP2663189B2 (ja) * 1990-01-29 1997-10-15 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
JP2961953B2 (ja) 1991-06-14 1999-10-12 松下電器産業株式会社 色補正方法および装置
JP3303427B2 (ja) 1992-05-19 2002-07-22 ミノルタ株式会社 デジタル画像形成装置
JP3222577B2 (ja) 1992-09-16 2001-10-29 古河電気工業株式会社 熱交換器用アルミニウム合金フィン材
US5524070A (en) * 1992-10-07 1996-06-04 The Research Foundation Of State University Of New York Local adaptive contrast enhancement
JPH06259543A (ja) 1993-03-05 1994-09-16 Hitachi Medical Corp 画像処理装置
JP3196864B2 (ja) * 1993-04-19 2001-08-06 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
JPH07220066A (ja) 1994-01-28 1995-08-18 Matsushita Electric Ind Co Ltd 画像処理装置
US5483360A (en) 1994-06-06 1996-01-09 Xerox Corporation Color printer calibration with blended look up tables
JP3518913B2 (ja) 1994-12-22 2004-04-12 株式会社リコー 階調変換曲線生成装置
US5479926A (en) * 1995-03-10 1996-01-02 Acuson Corporation Imaging system display processor
US5774599A (en) * 1995-03-14 1998-06-30 Eastman Kodak Company Method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
US6094185A (en) * 1995-07-05 2000-07-25 Sun Microsystems, Inc. Apparatus and method for automatically adjusting computer display parameters in response to ambient light and user preferences
JP3192407B2 (ja) 1995-09-25 2001-07-30 松下電器産業株式会社 画像表示方法及びその装置
JP3003561B2 (ja) * 1995-09-25 2000-01-31 松下電器産業株式会社 階調変換方法及びその回路と画像表示方法及びその装置と画像信号変換装置
JP3816151B2 (ja) 1995-09-29 2006-08-30 富士写真フイルム株式会社 画像処理方法および装置
JP4014671B2 (ja) 1995-09-29 2007-11-28 富士フイルム株式会社 多重解像度変換方法および装置
EP1156451B1 (en) * 1995-09-29 2004-06-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP3171081B2 (ja) * 1995-12-18 2001-05-28 富士ゼロックス株式会社 画像処理装置
JPH09231353A (ja) 1996-02-23 1997-09-05 Toshiba Corp カラー画像処理システム
JPH09275496A (ja) 1996-04-04 1997-10-21 Dainippon Screen Mfg Co Ltd 画像の輪郭強調処理装置および方法
JP3797442B2 (ja) 1996-06-18 2006-07-19 富士写真フイルム株式会社 画像再生方法および装置
JPH1065930A (ja) 1996-08-19 1998-03-06 Fuji Xerox Co Ltd カラー画像処理方法およびカラー画像処理装置
US6351558B1 (en) 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
US6453069B1 (en) 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JPH10154223A (ja) 1996-11-25 1998-06-09 Ricoh Co Ltd データ変換装置
KR100261214B1 (ko) * 1997-02-27 2000-07-01 윤종용 영상처리 시스템의 콘트라스트 확장장치에서 히스토그램 등화방법 및 장치
JP2951909B2 (ja) * 1997-03-17 1999-09-20 松下電器産業株式会社 撮像装置の階調補正装置及び階調補正方法
JPH10334218A (ja) 1997-06-02 1998-12-18 Canon Inc 画像処理装置およびその方法、並びに、記録媒体
JP3585703B2 (ja) * 1997-06-27 2004-11-04 シャープ株式会社 画像処理装置
JP3671616B2 (ja) * 1997-08-21 2005-07-13 富士ゼロックス株式会社 画像処理装置
US6069597A (en) 1997-08-29 2000-05-30 Candescent Technologies Corporation Circuit and method for controlling the brightness of an FED device
US6147664A (en) * 1997-08-29 2000-11-14 Candescent Technologies Corporation Controlling the brightness of an FED device using PWM on the row side and AM on the column side
JP3880156B2 (ja) 1997-10-17 2007-02-14 シャープ株式会社 画像処理装置
GB2335326B (en) * 1997-10-31 2002-04-17 Sony Corp Image processing apparatus and method and providing medium.
US6411306B1 (en) * 1997-11-14 2002-06-25 Eastman Kodak Company Automatic luminance and contrast adustment for display device
JP3907810B2 (ja) 1998-01-07 2007-04-18 富士フイルム株式会社 3次元ルックアップテーブルの補正法およびこれを行う画像処理装置ならびにこれを備えたデジタルカラープリンタ
US6323869B1 (en) * 1998-01-09 2001-11-27 Eastman Kodak Company Method and system for modality dependent tone scale adjustment
JP3809298B2 (ja) * 1998-05-26 2006-08-16 キヤノン株式会社 画像処理方法、装置および記録媒体
JP2000032281A (ja) 1998-07-07 2000-01-28 Ricoh Co Ltd 画像処理方法、装置および記録媒体
US6643398B2 (en) * 1998-08-05 2003-11-04 Minolta Co., Ltd. Image correction device, image correction method and computer program product in memory for image correction
JP3791199B2 (ja) 1998-08-05 2006-06-28 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体
US6275605B1 (en) 1999-01-18 2001-08-14 Eastman Kodak Company Method for adjusting the tone scale of a digital image
US6674436B1 (en) * 1999-02-01 2004-01-06 Microsoft Corporation Methods and apparatus for improving the quality of displayed images through the use of display device and display condition information
JP2000278522A (ja) 1999-03-23 2000-10-06 Minolta Co Ltd 画像処理装置
US6580835B1 (en) * 1999-06-02 2003-06-17 Eastman Kodak Company Method for enhancing the edge contrast of a digital image
JP2001111858A (ja) 1999-08-03 2001-04-20 Fuji Photo Film Co Ltd 色修正定義作成方法、色修正定義作成装置、および色修正定義作成プログラム記憶媒体
JP2001069352A (ja) 1999-08-27 2001-03-16 Canon Inc 画像処理装置およびその方法
JP4076302B2 (ja) 1999-08-31 2008-04-16 シャープ株式会社 画像の輝度補正方法
JP2001078047A (ja) 1999-09-02 2001-03-23 Seiko Epson Corp プロファイル合成方法、プロファイル合成装置、並びにプロファイル合成プログラムを記憶した媒体、及びデータ変換装置
US6650774B1 (en) * 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US6618045B1 (en) * 2000-02-04 2003-09-09 Microsoft Corporation Display device with self-adjusting control parameters
JP3758452B2 (ja) * 2000-02-28 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 記録媒体、並びに、画像処理装置および画像処理方法
JP4556276B2 (ja) 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
US6822762B2 (en) * 2000-03-31 2004-11-23 Hewlett-Packard Development Company, L.P. Local color correction
US6813041B1 (en) * 2000-03-31 2004-11-02 Hewlett-Packard Development Company, L.P. Method and apparatus for performing local color correction
JP4081219B2 (ja) 2000-04-17 2008-04-23 富士フイルム株式会社 画像処理方法及び画像処理装置
JP2002044451A (ja) 2000-07-19 2002-02-08 Canon Inc 画像処理装置およびその方法
US20020154138A1 (en) * 2000-08-28 2002-10-24 Osamu Wada Environment adaptive image display system, image processing method and information storing medium
US6483245B1 (en) 2000-09-08 2002-11-19 Visteon Corporation Automatic brightness control using a variable time constant filter
US6856704B1 (en) * 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
JP3793987B2 (ja) 2000-09-13 2006-07-05 セイコーエプソン株式会社 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体
US6915024B1 (en) * 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
JP2002204372A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像処理装置およびその方法
JP2002281333A (ja) 2001-03-16 2002-09-27 Canon Inc 画像処理装置およびその方法
US7023580B2 (en) * 2001-04-20 2006-04-04 Agilent Technologies, Inc. System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US6586704B1 (en) * 2001-05-15 2003-07-01 The United States Of America As Represented By The United States Department Of Energy Joining of materials using laser heating
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
JP3705180B2 (ja) 2001-09-27 2005-10-12 セイコーエプソン株式会社 画像表示システム、プログラム、情報記憶媒体および画像処理方法
JP3752448B2 (ja) 2001-12-05 2006-03-08 オリンパス株式会社 画像表示システム
JP2003242498A (ja) 2002-02-18 2003-08-29 Konica Corp 画像処理方法および画像処理装置ならびに画像出力方法および画像出力装置
JP4367162B2 (ja) 2003-02-19 2009-11-18 パナソニック株式会社 プラズマディスプレイパネルおよびそのエージング方法
JP4089483B2 (ja) 2003-03-27 2008-05-28 セイコーエプソン株式会社 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御
JP4126297B2 (ja) * 2003-09-11 2008-07-30 松下電器産業株式会社 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
US7860339B2 (en) * 2003-09-11 2010-12-28 Panasonic Corporation Visual processing device, visual processing method, visual processing program, intergrated circuit, display device, image-capturing device, and portable information terminal

Similar Documents

Publication Publication Date Title
JP4481333B2 (ja) 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ
JP2008159069A5 (ja)
JP4688945B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4857360B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4157592B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP4437150B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP2009211708A (ja) 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ
JP2007312349A (ja) 視覚処理装置、表示装置および集積回路
JP4126297B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP2006024176A5 (ja)
JP4414307B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4414464B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4126298B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP2005322205A5 (ja)