JP2005312008A - 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 - Google Patents
視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 Download PDFInfo
- Publication number
- JP2005312008A JP2005312008A JP2004264004A JP2004264004A JP2005312008A JP 2005312008 A JP2005312008 A JP 2005312008A JP 2004264004 A JP2004264004 A JP 2004264004A JP 2004264004 A JP2004264004 A JP 2004264004A JP 2005312008 A JP2005312008 A JP 2005312008A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- value
- visual processing
- function
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 34
- 239000004065 semiconductor Substances 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 1127
- 230000000007 visual effect Effects 0.000 claims abstract description 782
- 238000006243 chemical reaction Methods 0.000 claims description 248
- 230000008859 change Effects 0.000 claims description 61
- 230000002708 enhancing effect Effects 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 502
- 230000006835 compression Effects 0.000 description 126
- 238000007906 compression Methods 0.000 description 126
- 238000004364 calculation method Methods 0.000 description 118
- 238000012937 correction Methods 0.000 description 82
- 238000000034 method Methods 0.000 description 39
- 239000008186 active pharmaceutical agent Substances 0.000 description 37
- 238000010586 diagram Methods 0.000 description 37
- 230000000694 effects Effects 0.000 description 37
- 230000014509 gene expression Effects 0.000 description 34
- 238000012986 modification Methods 0.000 description 34
- 230000004048 modification Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 238000003860 storage Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 14
- 230000007423 decrease Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】 視覚処理装置910は、出力部914と、変換部915とを備えている。出力部914は、環境光を表すパラメータP1に基づいて輝度調整パラメータP2を出力する。変換部915は、出力部914により出力された輝度調整パラメータP2と、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。
【選択図】 図40
Description
空間処理とは、フィルタ適用の対象となる着目画素の周辺の画素を用い、着目画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ(DR)圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分(画像の鮮鋭成分)を原画像に加え、画像の鮮鋭化が行われる。DR圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。
図48にアンシャープマスキングを利用したエッジ強調、コントラスト強調を行う視覚処理装置400を示す。図48に示す視覚処理装置400は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する空間処理部401と、入力信号ISからアンシャープ信号USを減算し差分信号DSを出力する減算部402と、差分信号DSの強調処理を行い強調処理信号TSを出力する強調処理部403と、入力信号ISと強調処理信号TSとを加算し出力信号OSを出力する加算部404とを備えている。
図50に、局所コントラスト(インテンシティ)の改善を行う視覚処理装置406を示す(例えば、特許文献2参照。)。図50に示す視覚処理装置406は、空間処理部407と、減算部408と、第1の変換部409と、乗算部410と、第2の変換部411と、加算部412とを備えている。空間処理部407は、入力信号ISに対して空間処理を行いアンシャープ信号USを出力する。減算部408は、入力信号ISからアンシャープ信号USを減算し差分信号DSを出力する。第1の変換部409は、アンシャープ信号USの強度に基づいて、差分信号DSを局所的に増幅する増幅係数信号GSを出力する。乗算部410は、差分信号DSに増幅係数信号GSを乗算し、差分信号DSを局所的に増幅したコントラスト強調信号HSを出力する。第2の変換部411は、アンシャープ信号USの強度を局所的に修正し、修正アンシャープ信号ASを出力する。加算部412は、コントラスト強調信号HSと修正アンシャープ信号ASとを加算し、出力信号OSを出力する。
そこで本発明では、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることを課題とする。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
本発明に記載の視覚処理装置では、環境光に応じた視覚処理を実現することが可能となる。すなわち、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることが可能となる。
外部パラメータとは、例えば、画像を視覚するユーザが求める視覚的効果を表すパラメータである。より具体的には、画像を視覚するユーザが求めるコントラストなどの値である(以下、この欄において同じ)。
本発明に記載の視覚処理装置では、環境光と外部パラメータとに応じた視覚処理を実現することが可能となる。例えば、画像を視覚するユーザが求めるコントラストなどの値をユーザ自身が設定し、よりユーザにとって視覚的効果の高い画像を得ることが可能となる。
例えば、第1のモードでは、システムにあらかじめ設定されている既定の輝度調整パラメータが出力される。また、例えば、第2のモードでは、画像を視覚するユーザが求めるコントラストなどの値をユーザ自身が設定し、設定された値と環境光とに応じて輝度調整パラメータが出力される。
請求項4に記載の視覚処理装置は、請求項1に記載の視覚処理装置であって、変換手段は、対象画素の輝度と周辺画素の輝度との差または比を強調する演算を行うことを特徴とする。
本発明に記載の視覚処理装置では、例えば、局所的なコントラストを強調し、環境光の存在する環境において視覚されるコントラストを維持することなどが可能となる。
ここで、時間変化調整部とは、例えば、パラメータの時間変化の応答を緩やかにする、あるいはパラメータの時間変化の応答を遅延させるなど、時間変化を制御する。応答を穏やかにする場合には、時間変化調整部は、例えば、IIRフィルタなどの平滑化フィルタやそれぞれのパラメータの値を積分した値または積分した値を平均した値などを出力する手段などで構成されてもよい。
請求項6に記載の視覚処理方法は、パラメータ出力ステップと、変換ステップとを備えている。パラメータ出力ステップは、環境光を表すパラメータに基づいて輝度調整パラメータを出力する。変換ステップは、パラメータ出力ステップにより出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
本発明に記載の視覚処理方法では、環境光に応じた視覚処理を実現することが可能となる。すなわち、より視覚的効果の高い視覚処理を実現することが可能となる。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
本発明に記載の視覚処理プログラムでは、環境光に応じた視覚処理を実現することが可能となる。すなわち、より視覚的効果の高い視覚処理を実現することが可能となる。
輝度調整パラメータとは、例えば、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルックアップテーブル(LUT)や、対象画素の輝度、周辺画素の輝度、あるいはそれらの値の演算結果などを変換するための係数マトリクスデータ、などである。また、輝度調整パラメータは、環境光を表すパラメータを含んでもよい。
本発明に記載の半導体装置では、環境光に応じた視覚処理を実現することが可能となる。すなわち、より視覚的効果の高い視覚処理を実現することが可能となる。
第1実施形態では、2次元LUTを利用した視覚処理装置について説明する。
第2実施形態では、画像を表示する環境に環境光が存在する場合に環境光の補正を行う視覚処理装置について説明する。
第4実施形態では、第1〜第3実施形態のさらなる応用例について説明する。
[第1実施形態]
図1〜図10を用いて、本発明の第1実施形態としての2次元LUTを利用した視覚処理装置1について説明する。また、図11〜図14を用いて、視覚処理装置の変形例について説明する。また、図15〜図23を用いて、視覚処理装置1と等価な視覚処理を実現する視覚処理装置について説明する。
図1に、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置1の基本構成を示す。視覚処理装置1は、入力信号ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部2と、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部3とを備えている。
〈2次元LUT4〉
2次元LUT4には、プロファイルデータと呼ばれるマトリクスデータが登録される。プロファイルデータは、入力信号ISのそれぞれの画素値に対応する行(または列)とアンシャープ信号USのそれぞれの画素値に対応する列(または行)とを有しており、行列の要素として、入力信号ISとアンシャープ信号USとの組み合わせに対応する出力信号OSの画素値が格納されている。プロファイルデータは、視覚処理装置1に内蔵あるいは接続されるプロファイルデータ登録装置8により、2次元LUT4に登録される。プロファイルデータ登録装置8には、パーソナルコンピュータ(PC)等によりあらかじめ作成された複数のプロファイルデータが格納されている。例えば、コントラスト強調、Dレンジ圧縮処理、あるいは階調補正など(詳細は、下記〈プロファイルデータ〉の欄参照)を実現する複数のプロファイルデータが格納されている。これにより、視覚処理装置1では、プロファイルデータ登録装置8を用いて2次元LUT4のプロファイルデータの登録内容を変更し、様々な視覚処理を実現することが可能となる。
〈視覚処理方法および視覚処理プログラム〉
図3に視覚処理装置1における視覚処理方法を説明するフローチャートを示す。図3に示す視覚処理方法は、視覚処理装置1においてハードウェアにより実現され、入力信号IS(図1参照)の視覚処理を行う方法である。
〈効果〉
(1)
入力信号ISの値Aだけに基づいて視覚処理を行う場合に(例えば、1次元の階調変換曲線による変換を行う場合など)、画像中の異なる場所で同じ濃度の画素が存在すると、同じ明るさの変換が行われてしまう。より具体的には、画像中の人物の背景の暗い場所を明るくすると、同じ濃度の人物の髪の毛も明るくなる。
視覚処理装置1では、2次元LUT4を用いて、入力信号ISの視覚処理を行う。視覚処理装置1は、実現される視覚処理効果に依存しないハードウェア構成を有している。すなわち、視覚処理装置1は、汎用性の有るハードウェアで構成することが可能であり、ハードウェアコストの削減などに有効である。
2次元LUT4に登録されるプロファイルデータは、プロファイルデータ登録装置8により変更可能である。このため、視覚処理装置1では、視覚処理装置1のハードウェア構成を変更することなく、プロファイルデータを変更することにより、様々な視覚処理を実現することが可能となる。より具体的には、視覚処理装置1では、空間処理および階調処理を同時に実現することが可能となる。
2次元LUT4の登録されるプロファイルデータは、あらかじめ算出しておくことが可能である。一旦作成されたプロファイルデータは、いかに複雑な処理を実現するものであっても、それを用いた視覚処理に要する時間は一定である。このため、ハードウェアあるいはソフトウェアで構成した場合には複雑な構成となる視覚処理であっても、視覚処理装置1を用いた場合には、視覚処理の複雑さに処理時間は依存せず、視覚処理の高速化を図ることが可能となる。
(1)
図2では、64×64のマトリクス形式のプロファイルデータについて説明した。ここで、本発明の効果は、プロファイルデータのサイズに依存するものではない。例えば、2次元LUT4は、入力信号ISおよびアンシャープ信号USが取りうる全ての値の組み合わせに応じたプロファイルデータを有することも可能である。例えば、入力信号およびアンシャープ信号USが8ビットで表現される場合、プロファイルデータは、256×256のマトリクス形式であってもよい。
(2)
図2では、プロファイルデータは、8ビットで表現される入力信号ISの輝度値の上位6ビットの値と、8ビットで表現されるアンシャープ信号USの輝度値の上位6ビットの値とについての出力信号OSの値を格納していると説明した。ここで、視覚処理装置1は、隣接するプロファイルデータの要素と、入力信号ISおよびアンシャープ信号USの下位2ビットの大きさとに基づいて、出力信号OSの値を線形補間する補間部をさらに備えていても良い。
また、補間部は、視覚処理部3に備えられ、2次元LUT4の格納する値を線形補間した値を出力信号OSとして出力するものであってもよい。
なお、補間部501では、入力信号ISあるいはアンシャープ信号USのいずれか一方についてのみ線形補間を行うものでもよい。
空間処理部2で行われる空間処理では、着目画素についての入力信号ISに対して、着目画素と着目画素の周辺画素との入力信号ISの平均値(単純平均または加重平均)、最大値、最小値、あるいは中央値をアンシャープ信号USとして出力するものであっても良い。また、着目画素の周辺画素のみの平均値、最大値、最小値、あるいは中央値をアンシャープ信号USとして出力するものであってもよい。
図2では、プロファイルデータの各要素の値Cは、入力信号ISの値Aとアンシャープ信号USの値Bとのそれぞれに対して線形の関数M11に基づいて作成されている。一方、プロファイルデータの各要素の値Cは、入力信号ISの値Aに対して非線形の関数に基づいて作成されていても良い。
また、プロファイルデータの各要素の値Cは、入力信号ISの値Aとアンシャープ信号USの値Bとのそれぞれに対して非線形の関数、すなわち2次元非線形の関数に基づいて作成されていてもよい。
(5)
2次元LUT4が備えるプロファイルデータは、入力信号ISの階調補正を実現する階調変換曲線(ガンマ曲線)を複数含んでいるものであってもよい。
なお、上記(2)で説明したのと同様に2次元LUT4の出力を補間することも可能である。
プロファイルデータ登録装置8は、視覚処理装置1に内蔵あるいは接続され、PC等によりあらかじめ作成された複数のプロファイルデータを格納しており、2次元LUT4の登録内容を変更すると説明した。
図6に、入力信号ISの画像を判定し、判定結果に基づいて、2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置520のブロック図を示す。
視覚処理装置520は、図1に示した視覚処理装置1と同様の構造に加え、プロファイルデータ登録装置8と同様の機能を備えるプロファイルデータ登録部521を備えている。さらに、視覚処理装置520は、画像判定部522を備えている。
画像判定部522は、入力信号ISの画像を判定する。画像の判定では、入力信号ISの輝度、明度などの画素値を取得することにより、入力信号ISの明るさが判定される。
なお、画像判定部522は、入力信号ISの輝度、明度などの画素値だけでなく、空間周波数などの画像特性を判定するものであってもよい。
《2》
図7に、明るさに関する条件を入力するための入力装置からの入力結果に基づいて、2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置525のブロック図を示す。
プロファイルデータ登録部526は、入力結果SBを取得し、入力結果SBに基づいて、プロファイルデータPDを切り替えて出力する。より具体的には、例えば、ユーザが「明るい」と入力した場合には、入力信号ISのダイナミックレンジを圧縮するプロファイルなどを選択し、プロファイルデータPDとして出力する。これにより、出力信号OSを表示する装置が置かれている環境が「明るい」状態にある場合でも、コントラストを維持することが可能となる。
なお、明るさに関する条件とは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど出力信号を出力する媒体周辺の環境光の明るさに関する条件だけでなく、例えば、プリンタ用紙など出力信号を出力する媒体自体の明るさに関する条件であっても良い。また、例えば、スキャナ用紙など入力信号を入力する媒体自体の明るさなどに関する条件であっても良い。
なお、入力装置527は、明るさに関する条件を入力するだけでなく、プロファイルデータ登録部526に対して、直接プロファイルの切り替えを動作させるための装置であってもよい。この場合、入力装置527は、明るさに関する条件以外に、プロファイルデータのリストを表示し、ユーザに選択させるものであっても良い。
なお、入力装置527は、ユーザを識別する装置であっても良い。この場合、入力装置527は、ユーザを識別するためのカメラ、あるいは、ユーザ名を入力させるための装置であっても良い。
これにより、ユーザに応じた視覚処理を実現することが可能となる。
《3》
図8に、2種類の明るさを検出するための明度検出部からの検出結果に基づいて2次元LUT4に登録するプロファイルデータを切り替える視覚処理装置530のブロック図を示す。
明度検出部532は、画像判定部522と、入力装置527とから構成される。画像判定部522および入力装置527は、図6,図7を用いて説明したのと同様である。これにより、明度検出部532は、入力信号ISを入力とし、画像判定部522からの判定結果SAと、入力装置527からの入力結果SBとを検出結果として出力する。
《4》
図6〜図8の視覚処理装置において、それぞれのプロファイルデータ登録部は、視覚処理装置と一体として備えられていなくてもよい。具体的には、プロファイルデータ登録部は、プロファイルデータを複数備えるサーバとして、あるいはそれぞれのプロファイルデータを備える複数のサーバとして、ネットワークを介して視覚処理装置と接続されているものでも良い。ここで、ネットワークとは、例えば、専用回線、公衆回線、インターネット、LANなどの通信が可能な接続手段であり、有線であっても無線であってもよい。またこの場合、判定結果SAや入力結果SBも、同様のネットワークを介して視覚処理装置側からプロファイルデータ登録部側に伝えられる。
上記実施形態では、プロファイルデータ登録装置8が複数のプロファイルデータを備え、2次元LUT4への登録を切り替えることにより、異なる視覚処理を実現すると説明した。
また、プロファイルデータ登録装置8は、複数のプロファイルデータに基づいて新たなプロファイルデータを生成し、生成されたプロファイルデータを2次元LUT4に登録する装置であっても良い。
図9は、プロファイルデータ登録装置8の変形例としてのプロファイルデータ登録装置701について主に説明するブロック図である。プロファイルデータ登録装置701は、視覚処理装置1の2次元LUT4に登録されるプロファイルデータを切り替えるための装置である。
プロファイル生成部704は、プロファイルデータ登録部702から第1の選択プロファイルデータd10および第2の選択プロファイルデータd11を取得する。さらに、制御部705からそれぞれの選択プロファイルデータの合成度を指定する制御信号c12を取得する。
図10を用いて、プロファイルデータ登録装置701を備える視覚処理装置において実行される視覚処理プロファイル作成方法について説明する。
プロファイル生成部704は、第1の選択プロファイルデータd10の値[m]および第2の選択プロファイルデータd11の値[n]に対して、制御信号c12が指定する合成度の値[k]を用いて、値[l]の生成プロファイルデータd6を作成する(ステップS703)。ここで、値[l]は、[l]=(1−k)*[m]+k*[n]により計算される。
制御部705は、選択されたプロファイルデータの全てのデータについての処理が終了したか否かを判断し(ステップ705)、終了するまでステップS701からステップS705の処理を繰り返す。
《(7)の効果》
プロファイルデータ登録装置701を備える視覚処理装置においては、異なる視覚処理を実現するプロファイルデータに基づいて、さらに異なる視覚処理を実現する新たなプロファイルデータを作成し、視覚処理を行うことが可能となる。すなわち、プロファイルデータ登録部702において、少数のプロファイルデータを備えるだけで、任意の処理度合いの視覚処理を実現することが可能となり、プロファイルデータ登録部702の記憶容量を削減することが可能となる。
視覚処理装置は、入力信号ISの明るさを変換する装置であってもよい。図11を用いて、明るさを変換する視覚処理装置901について説明する。
《構成》
視覚処理装置901は、入力信号IS’の明るさを変換する装置であって、入力信号IS’に対して所定の処理を行い処理信号US’を出力する処理部902と、入力信号IS’および処理信号US’を用いて入力信号IS’の変換を行う変換部903とから構成される。
変換部903は、視覚処理部3と同様に2次元LUTを備え入力信号IS’(値[x])と処理信号US’(値[z])とに基づいて出力信号OS’(値[y])を出力する。
変換関数(a)は、[y]=f1(z)*[x]と表される。
ここで、変更度関数f1(z)は、入力信号IS’のゲインとして作用している。このため、変更度関数f1(z)の値により、入力信号IS’のゲインが変化し、出力信号OS’の値[y]が変化する。
変更度関数f1(z)が大きくなる(f1(z)>1)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f1(z)が小さくなる(f1(z)<1)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
また、変換関数(a)の演算により、出力信号の値[y]が取りうる値の範囲を超える場合には、取りうる値の範囲にクリップされてもよい。例えば、値[1]を超える場合には、出力信号の値[y]は、値[1]にクリップされてもよいし、値[0]に満たない場合には、出力信号の値[y]は、値[0]にクリップされてもよい。これは、以下の変換関数(b)〜(d)についても同様である。
変換関数(b)は、[y]=[x]+f2(z)と表される。
ここで、変更度関数f2(z)は、入力信号IS’のオフセットとして作用している。このため、変更度関数f2(z)の値により、入力信号IS’のオフセットが変化し、出力信号OS’の値[y]が変化する。
変更度関数f2(z)が大きくなる(f2(z)>0)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f2(z)が小さくなる(f2(z)<0)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
変換関数(c)は、[y]=f1(z)*[x]+f2(z)と表される。
ここで、変更度関数f1(z)は、入力信号IS’のゲインとして作用している。さらに、変更度関数f2(z)は、入力信号IS’のオフセットとして作用している。このため、変更度関数f1(z)の値により、入力信号IS’のゲインが変化するとともに、変更度関数f2(z)の値により、入力信号IS’のオフセットが変化し、出力信号OS’の値[y]が変化する。
変更度関数f1(z)および変更度関数f2(z)が大きくなるにつれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f1(z)および変更度関数f2(z)が小さくなるにつれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。
変換関数(d)は、[y]=[x]^(1−f2(z))と表される。
ここで、変更度関数f2(z)は、「べき関数」の「べき」を決定する。このため、変更度関数f2(z)の値により、入力信号IS’が変化し、出力信号OS’の値[y]が変化する。
変更度関数f2(z)が大きくなる(f2(z)>0)につれて、出力信号の値[y]は大きくなる。すなわち、変換後の画像は、明るくなる。一方、変更度関数f2(z)が小さくなる(f2(z)<0)につれて、出力信号の値[y]は小さくなる。すなわち、変換後の画像は、暗くなる。また、変更度関数f2(z)が値[0]の場合は、入力信号IS’に対する変換は行われないこととなる。
《効果》
(1)
視覚処理装置901では、以上に示した変換関数(a)〜(d)のいずれかを用いて定められた要素を有する2次元LUTにより、入力信号IS’の視覚処理が行われる。2次元LUTの各要素は、値[x]と値[z]とに対する値[y]を格納している。このため、入力信号IS’と処理信号US’とに基づいて、入力信号IS’の明るさを変換する視角処理が実現される。
ここで、変更度関数f1(z)と変更度関数f2(z)とがともに単調減少する関数である場合、さらに、逆光補正や白飛びの防止などの効果が得られる。これに関して説明を加える。
変更度関数f1(z)は、値[1]をまたぐ値域を有する関数であり、値[z]の定義域に対する最小値が値[0]未満とならない関数である。変更度関数f2(z)は、値[0]をまたぐ値域を有する関数である。
(1)
上記した変換関数は、一例であり、同様の性質を有する変換であれば、任意の関数であってよい。
2次元LUTの各要素の値は、厳密に上記した変換関数により定められていなくてもよい。
例えば、上記した変換関数の値が、出力信号OS’として扱うことのできる値の範囲を超える場合には、2次元LUTは、出力信号OS’として扱うことのできる値の範囲にクリップされた値を格納してもよい。
上記と同様の処理は、2次元LUTを用いずに行われてもよい。例えば、変換部903は、入力信号IS’と処理信号US’とに対して、変換関数(a)〜(d)を演算することにより出力信号OS’を出力してもよい。
視覚処理装置は、複数の空間処理部を備え、空間処理の程度の異なる複数のアンシャープ信号を用いて視覚処理を行うものであってもよい。
《構成》
図14に、視覚処理装置905の構成を示す。視覚処理装置905は、入力信号IS”の視覚処理を行う装置であって、入力信号IS”に対して第1の所定の処理を行い第1処理信号U1を出力する第1処理部906aと、入力信号IS”に対して第2の所定の処理を行い第2処理信号U2を出力する第2処理部906bと、入力信号IS”と第1処理信号U1と第2処理信号U2とを用いて入力信号IS”の変換を行う変換部908とから構成される。
ここで、第1処理部906aと第2処理部906bとは、空間処理において用いる周辺画素の領域の大きさが異なっている。
ここで、変換部903が備えるLUTは、入力信号IS”の値[x]と第1処理信号U1の値[z1]と第2処理信号U2の値[z2]とに対する出力信号OS”の値[y]を格納する3次元LUTである。この3次元LUTの各要素の値(=出力信号OS”の値[y])は、入力信号IS’の値[x]と第1処理信号U1の値[z1]と第2処理信号U2の値[z2]との関数に基づいて定められている。
《入力信号IS”の明るさを変換する場合》
変換部908は、第1処理信号U1の値[z1]が小さければ、入力信号IS”を明るくするように変換を行う。ただし、第2処理信号U2の値[z2]も小さければ、明るくする度合いを抑制する。
(変換関数(e)について)
変換関数(e)は、[y]=[f11(z1)/f12(z2)]*[x]と表される。
これにより、[f11(z1)/f12(z2)]は、入力信号IS”のゲインとして作用し、第1処理信号U1の値と第2処理信号U2の値とにより、入力信号IS”のゲインが変化し、出力信号OS”の値[y]が変化する。
変換関数(f)は、[y]=[x]+f21(z1)−f22(z2)と表される。
ここで、変更度関数f21(z1),f22(z2)は、上記〈変形例〉(8)で記載した変更度関数f2(z)と同様の関数である。また、変更度関数f21(z1)と変更度関数f22(z2)とは、異なる関数となっている。
(効果)
このような変換関数(e)〜(f)を用いた変換により、例えば、逆光部分の小さい領域の暗部を明るくしつつ、夜景の画像の大きい領域の暗部を明るくしすぎないなどといった効果を実現することが可能となる。
なお、変換部908における処理は、3次元LUTを用いた処理に限定されず、変換関数(e)や(f)などと同様の演算を行うものであってもよい。
また、3次元LUTの各要素は厳密に変換関数(e)や(f)に基づいて定められていなくてもよい。
変換部908における変換が、入力信号IS”を強調する変換である場合、複数の周波数成分を独立して強調することが可能となる。
例えば、第1処理信号U1をより強調する変換であれば、周波数の比較的高い濃淡部分の強調を行うことが可能となるし、第2処理信号U2をより強調する変換であれば、周波数の低い濃淡部分の強調を行うことが可能となる。
視覚処理装置1は、上記で説明した以外にも、様々な視覚処理を実現するプロファイルデータを備えることが可能である。以下、様々な視覚処理を実現する第1〜第7プロファールデータについて、プロファイルデータを特徴づける式と、そのプロファイルデータを備える視覚処理装置1と等価な視覚処理を実現する視覚処理装置の構成とを示す。
これにより、それぞれのプロファイルデータでは、入力信号ISの視覚特性にあった強調、あるいは出力信号OSを出力する機器の非線形特性にあった強調を実現することなどが可能となる。
《第1プロファイルデータ》
第1プロファイルデータは、入力信号ISとアンシャープ信号USとに対して所定の変換を行ったそれぞれの変換値の差を強調する関数を含む演算に基づいて定められている。これにより、入力信号ISとアンシャープ信号USとを別空間に変換した上でそれぞれの差を強調することが可能となる。これにより、例えば、視覚特性にあった強調などを実現することが可能となる。
第1プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、変換関数F1、変換関数の逆変換関数F2、強調関数F3を用いて、C=F2(F1(A)+F3(F1(A)−F1(B)))(以下、式M1という)と表される。
《等価な視覚処理装置11》
図15に、第1プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置11を示す。
視覚処理部13は、入力信号ISとアンシャープ信号USとの信号空間の変換を行い、変換入力信号TISと変換アンシャープ信号TUSとを出力する信号空間変換部14と、変換入力信号TISを第1の入力、変換アンシャープ信号TUSを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部17と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部18と、変換入力信号TISを第1の入力、強調処理信号TSを第2の入力とし、それぞれを加算した加算信号PSを出力する加算部19と、加算信号PSを入力とし出力信号OSを出力する逆変換部20とを備えている。
《等価な視覚処理装置11の作用》
視覚処理部13の動作についてさらに説明を加える。
《効果》
第1プロファイルデータを備える視覚処理装置1と視覚処理装置11とは、同様の視覚処理効果を奏する。
変換関数F1により対数空間に変換された変換入力信号TISおよび変換アンシャープ信号TUSを用いた視覚処理が実現される。人間の視覚特性は、対数的であり、対数空間に変換して処理を行うことで視覚特性に適した視覚処理が実現される。
それぞれの視覚処理装置では、対数空間におけるコントラスト強調が実現される。
図48に示す従来の視覚処理装置400は、一般的にボケ具合が小さいアンシャープ信号USを用いて輪郭(エッジ)強調を行うために用いられる。しかし、視覚処理装置400は、ボケ具合の大きいアンシャープ信号USを用いてコントラスト強調する場合には、原画像の明部には強調不足、暗部には強調過多になり、視覚特性に適さない視覚処理となる。すなわち、明るくする方向への補正は強調不足、暗くする方向への補正は強調過多となる傾向にある。
(iii)
従来の視覚処理装置400では、視覚処理後の出力信号OSが負になり破綻する場合がある。
(i)
変換関数F1は、対数関数に限られない。例えば、変換関数F1を、入力信号ISにかけられているガンマ補正(例えば、ガンマ係数[0.45])を外す変換とし、逆変換関数F2を入力信号ISに掛けられていたガンマ補正をかける変換としてもよい。
(ii)
視覚処理装置11では、視覚処理部13は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M1を演算するもので有っても良い。この場合、それぞれの関数F1〜F3の計算においては、1次元のLUTを用いても良い。
《第2プロファイルデータ》
第2プロファイルデータは、入力信号ISとアンシャープ信号USとの比を強調する関数を含む演算に基づいて定められている。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
第2プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、ダイナミックレンジ圧縮関数F4、強調関数F5を用いて、C=F4(A)*F5(A/B)(以下、式M2という)と表される。
《等価な視覚処理装置21》
図16に、第2プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置21を示す。
さらに、視覚処理装置21は、強調された入力信号ISとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて出力信号OSを出力する。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
視覚処理部23は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、入力信号ISをアンシャープ信号USで除算した除算信号RSを出力する除算部25と、除算信号RSを入力とし、強調処理信号TSを出力とする強調処理部26と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する出力処理部27とを備えている。出力処理部27は、入力信号ISを入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力するDR圧縮部28と、DR圧縮信号DRSを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する乗算部29とを備えている。
視覚処理部23の動作についてさらに説明を加える。
除算部25は、値Aの入力信号ISを値Bのアンシャープ信号USで除算し、値A/Bの除算信号RSを出力する。強調処理部26は、強調関数F5を用いて、値A/Bの除算信号RSから値F5(A/B)の強調処理信号TSを出力する。DR圧縮部28は、ダイナミックレンジ圧縮関数F4を用いて、値Aの入力信号ISから値F4(A)のDR圧縮信号DRSを出力する。乗算部29は、値F4(A)のDR圧縮信号DRSと値F5(A/B)の強調処理信号TSとを乗算し、値F4(A)*F5(A/B)の出力信号OSを出力する。
《効果》
第2プロファイルデータを備える視覚処理装置1と視覚処理装置21とは、同様の視覚処理効果を奏する。
従来では、画像全体のダイナミックレンジを圧縮する場合、図17に示すダイナミックレンジ圧縮関数F4を用いて、暗部からハイライトまで飽和させずに階調レベルを圧縮する。すなわち、圧縮前の画像信号における再現目標の黒レベルをL0、最大の白レベルをL1とすると、圧縮前のダイナミックレンジL1:L0は、圧縮後のダイナミックレンジQ1:Q0に圧縮される。しかし、画像信号レベルの比であるコントラストは、ダイナミックレンジの圧縮により、(Q1/Q0)*(L0/L1)倍に下がることとなる。ここで、ダイナミックレンジ圧縮関数F4は、上に凸のべき関数などである。
さらに具体的に本発明の効果を説明する。
ダイナミックレンジ圧縮関数F4は、F4(x)=x^γ(例えば、γ=0.6とする)であるとする。また、強調関数F5は、F5(x)=x^α(例えば、α=0.4とする)であるとする。また、入力信号ISの最大の白レベルを値1に正規化した場合の再現目標の黒レベルが値1/300であるとする。すなわち、入力信号ISのダイナミックレンジが300:1であるとする。
(iii)
本発明では、以上の効果を実現できるため、次の状況において特に有効である。すなわち、物理的なダイナミックレンジの狭いディスプレイで、暗部も明部もつぶれずにコントラストの高い画像を再現することが可能となる。また例えば、明るい環境下のテレビプロジェクタでコントラストの高い映像を表示する、濃度の低いインク(薄い色しかでないプリンタ)でコントラストの高いプリントを得ることが可能となる。
(i)
視覚処理装置21では、視覚処理部23は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M2を演算するもので有っても良い。この場合、それぞれの関数F4,F5の計算においては、1次元のLUTを用いても良い。
なお、式M2で求められるプロファイルデータのある要素の値CがC>255となる場合には、その要素の値Cを255としてもよい。
(3)
《第3プロファイルデータ》
第3プロファイルデータは、入力信号ISとアンシャープ信号USとの比を強調する関数を含む演算に基づいて定められている。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
上記第2プロファイルデータの式M2において、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数であってもよい。この場合、第3プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調関数F5を用いて、C=A*F5(A/B)(以下、式M3という)と表される。
図19に、第3プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置31を示す。
視覚処理装置31は、入力信号ISとアンシャープ信号USとの比を強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、シャープ成分を強調する視覚処理などを実現することが可能となる。
視覚処理部32は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、入力信号ISをアンシャープ信号USで除算した除算信号RSを出力する除算部25と、除算信号RSを入力とし、強調処理信号TSを出力とする強調処理部26と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する乗算部33とを備えている。
視覚処理部32の動作についてさらに説明を加える。
除算部25および強調処理部26は、図16に示す視覚処理装置21について説明したのと同様の動作を行う。
なお、強調関数F5を用いた計算は、図16に示す視覚処理装置21について説明したのと同様に、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
第3プロファイルデータを備える視覚処理装置1と視覚処理装置31とは、同様の視覚処理効果を奏する。
(i)
強調処理部26では、入力信号ISとアンシャープ信号USとの比として表されるシャープ信号(除算信号RS)の強調処理が行われ、強調されたシャープ信号が入力信号ISに乗算される。入力信号ISとアンシャープ信号USとの比として表されるシャープ信号を強調処理することは、対数空間における入力信号ISとアンシャープ信号USとの差分を計算することに相当する。すなわち、対数的な人間の視覚特性に適した視覚処理が実現される。
強調関数F5による強調量は、入力信号ISが大きい場合(明るい場合)に大きくなり、小さい場合(暗い場合)に小さくなる。また、明るくする方向への強調量は、暗くする方向への強調量より大きくなる。このため、視覚特性に適した視覚処理が実現可能となり、バランス良く自然な視覚処理が実現される。
なお、式M3で求められるプロファイルデータのある要素の値CがC>255となる場合には、その要素の値Cを255としてもよい。
(iv)
式M3を用いた処理では、入力信号ISに対するダイナミックレンジの圧縮は施されないが、局所的なコントラストを強調することができ、視覚的にダイナミックレンジの圧縮・伸張を行うことが可能となる。
《第4プロファイルデータ》
第4プロファイルデータは、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する関数を含む演算に基づいて定められている。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
第4プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8を用いて、C=F8(A)+F6(A)*F7(A−B)(以下、式M4という)と表される。
図20に、第4プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置41を示す。
視覚処理装置41は、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
視覚処理部43は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部44と、差分信号DSを入力とし、強調処理信号TSを出力する強調処理部45と、入力信号ISを入力とし、強調量調整信号ICを出力する強調量調整部46と、強調量調整信号ICを第1の入力、強調処理信号TSを第2の入力とし、強調量調整信号ICと強調処理信号TSとを乗算した乗算信号MSを出力する乗算部47と、入力信号ISを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する出力処理部48とを備えている。出力処理部48は、入力信号ISを入力とし、ダイナミックレンジ(DR)圧縮されたDR圧縮信号DRSを出力するDR圧縮部49と、DR圧縮信号DRSを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する加算部50とを備えている。
視覚処理部43の動作についてさらに説明を加える。
減算部44は、値Aの入力信号ISと値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部45は、強調関数F7を用いて、値A−Bの差分信号DSから値F7(A−B)の強調処理信号TSを出力する。強調量調整部46は、強調量調整関数F6を用いて、値Aの入力信号ISから値F6(A)の強調量調整信号ICを出力する。乗算部47は、値F6(A)の強調量調整信号ICと値F7(A−B)の強調処理信号TSとを乗算し、値F6(A)*F7(A−B)の乗算信号MSを出力する。DR圧縮部49は、ダイナミックレンジ圧縮関数F8を用いて、値Aの入力信号ISから値F8(A)のDR圧縮信号DRSを出力する。加算部50は、DR圧縮信号DRSと、値F6(A)*F7(A−B)の乗算信号MSとを加算し、値F8(A)+F6(A)*F7(A−B)の出力信号OSを出力する。
《効果》
第4プロファイルデータを備える視覚処理装置1と視覚処理装置41とは、同様の視覚処理効果を奏する。
入力信号ISの値Aにより、差分信号DSの強調量の調整を行う。このため、ダイナミックレンジ圧縮を行いつつ、暗部から明部までの局所コントラストを維持することが可能となる。
強調量調整関数F6は、単調増加する関数であるが、入力信号ISの値Aが大きいほど、関数の値の増加量が減少する関数とすることができる。この場合、出力信号OSの値が飽和することが防止される。
強調関数F7を、図49を用いて説明した強調関数R2とする場合、差分信号DSの絶対値が大きい時の強調量を抑制することが可能となる。このため、鮮鋭度の高い部分での強調量が飽和することが防止され、視覚的にも自然な視覚処理を実行することが可能となる。
(i)
視覚処理装置41では、視覚処理部43は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M4を演算するもので有っても良い。この場合、それぞれの関数F6〜F8の計算においては、1次元のLUTを用いても良い。
強調関数F7を比例係数1の正比例関数とする場合には、強調処理部45は、特に設ける必要がない。
(iii)
なお、式M4で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
《第5プロファイルデータ》
第5プロファイルデータは、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する関数を含む演算に基づいて定められている。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
上記第4プロファイルデータの式M4において、ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数であってもよい。この場合、第5プロファイルデータの各要素の値C(出力信号OSの値)は、入力信号ISの値A、アンシャープ信号USの値B、強調量調整関数F6、強調関数F7を用いて、C=A+F6(A)*F7(A−B)(以下、式M5という)と表される。
図21に、第5プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置51を示す。
視覚処理装置51は、入力信号ISとアンシャープ信号USとの差を入力信号ISの値に応じて強調する演算に基づいて出力信号OSを出力する装置である。これにより、例えば、入力信号ISのシャープ成分などを入力信号ISの値に応じて強調することが可能となる。このため、入力信号ISの暗部から明部まで適切な強調を行うことが可能となる。
視覚処理部52は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部44と、差分信号DSを入力とし、強調処理信号TSを出力する強調処理部45と、入力信号ISを入力とし、強調量調整信号ICを出力する強調量調整部46と、強調量調整信号ICを第1の入力、強調処理信号TSを第2の入力とし、強調量調整信号ICと強調処理信号TSとを乗算した乗算信号MSを出力する乗算部47と、入力信号ISを第1の入力、乗算信号MSを第2の入力とし、出力信号OSを出力する加算部53とを備えている。
視覚処理部52の動作についてさらに説明を加える。
減算部44、強調処理部45、強調量調整部46および乗算部47は、図20に示す視覚処理装置41について説明したのと同様の動作を行う。
なお、強調量調整関数F6、強調関数F7を用いた計算は、図20に示す視覚処理装置41について説明したのと同様に、それぞれの関数に対する1次元のLUTを用いて行われても良いし、LUTを用いないで行われても良い。
第5プロファイルデータを備える視覚処理装置1と視覚処理装置51とは、同様の視覚処理効果を奏する。また、第4プロファイルデータを備える視覚処理装置1および視覚処理装置41が奏する効果と、ほぼ同様の視覚処理効果を奏する。
入力信号ISの値Aにより、差分信号DSの強調量の調整を行う。このため、暗部から明部までのコントラストの強調量を均一にすることが可能となる。
《変形例》
(i)
強調関数F7を比例係数1の正比例関数とする場合には、強調処理部45は、特に設ける必要がない。
なお、式M5で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(6)
《第6プロファイルデータ》
第6プロファイルデータは、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISの値を加えた値を階調補正する演算に基づいて定められている。これにより、例えば、シャープ成分が強調された入力信号ISに対して、階調補正を行う視覚処理を実現することが可能となる。
以下、具体的に説明する。
ここで、強調関数F9は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。階調補正関数F10は、例えば、ガンマ補正関数、S字型の階調補正関数、逆S字型の階調補正関数など、通常の階調補正で用いられる関数である。
図22に、第6プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置61を示す。
視覚処理装置61は、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISの値を加えた値を階調補正する演算に基づいて、出力信号OSを出力する装置である。これにより、例えば、シャープ成分が強調された入力信号ISに対して、階調補正を行う視覚処理を実現することが可能となる。
視覚処理部63は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部64と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部65と、入力信号ISを第1の入力、強調処理信号TSを第2の入力とし、それぞれを加算した加算信号PSを出力する加算部66と、加算信号PSを入力とし出力信号OSを出力する階調補正部67とを備えている。
視覚処理部63の動作についてさらに説明を加える。
減算部64は、値Aの入力信号ISと、値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部65は、強調関数F9を用いて、値A−Bの差分信号DSから値F9(A−B)の強調処理信号TSを出力する。加算部66は、値Aの入力信号ISと、値F9(A−B)の強調処理信号TSとを加算し、値A+F9(A−B)の加算信号PSを出力する。階調補正部67は、階調補正関数F10を用いて、値A+F9(A−B)の加算信号PSから、値F10(A+F9(A−B))の出力信号OSを出力する。
《効果》
第6プロファイルデータを備える視覚処理装置1と視覚処理装置61とは、同様の視覚処理効果を奏する。
差分信号DSは、強調関数F9により強調処理され、入力信号ISに加算される。このため、入力信号ISのコントラストを強調することが可能となる。さらに、階調補正部67は、加算信号PSの階調補正処理を実行する。このため、例えば、原画像における出現頻度の高い中間調でさらにコントラストを強調することが可能となる。また、例えば、加算信号PS全体を明るくすることが可能となる。以上により、空間処理と階調処理とを同時に組み合わせて実現することが可能となる。
(i)
視覚処理装置61では、視覚処理部63は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M6を演算するもので有っても良い。この場合、それぞれの関数F9,F10の計算においては、1次元のLUTを用いても良い。
なお、式M6で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(7)
《第7プロファイルデータ》
第7プロファイルデータは、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISを階調補正した値を加える演算に基づいて定められている。ここで、シャープ成分の強調と入力信号ISの階調補正とは独立して行われる。このため、入力信号ISの階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
以下、具体的に説明する。
ここで、強調関数F11は、図49を用いて説明した強調関数R1〜R3のいずれかの関数である。階調補正関数F12は、例えば、ガンマ補正関数、S字型の階調補正関数、逆S字型の階調補正関数などである。
図23に、第7プロファイルデータを2次元LUT4に登録した視覚処理装置1と等価な視覚処理装置71を示す。
視覚処理装置71は、入力信号ISとアンシャープ信号USとの差を強調した値に対して、入力信号ISを階調補正した値を加える演算に基づいて出力信号OSを出力する装置である。ここで、シャープ成分の強調と入力信号ISの階調補正とは独立して行われる。このため、入力信号ISの階調補正量にかかわらず、一定のシャープ成分の強調を行うことが可能となる。
視覚処理部73は、入力信号ISを第1の入力、アンシャープ信号USを第2の入力とし、それぞれの差分である差分信号DSを出力する減算部74と、差分信号DSを入力とし強調処理された強調処理信号TSを出力する強調処理部75と、入力信号ISを入力とし、階調補正された階調補正信号GCを出力する階調補正部76と、階調補正信号GCを第1の入力、強調処理信号TSを第2の入力とし、出力信号OSを出力する加算部77とを備えている。
視覚処理部73の動作についてさらに説明を加える。
減算部74は、値Aの入力信号ISと、値Bのアンシャープ信号USとの差分を計算し、値A−Bの差分信号DSを出力する。強調処理部75は、強調関数F11を用いて、値A−Bの差分信号DSから値F11(A−B)の強調処理信号TSを出力する。階調補正部76は、階調補正関数F12を用いて、値Aの入力信号ISから値F12(A)の階調補正信号GCを出力する。加算部77は、値F12(A)の階調補正信号GCと、値F11(A−B)の強調処理信号TSとを加算し、値F12(A)+F11(A−B)の出力信号OSを出力する。
《効果》
第7プロファイルデータを備える視覚処理装置1と視覚処理装置71とは、同様の視覚処理効果を奏する。
入力信号ISは、階調補正部76により階調補正された後、強調処理信号TSと加算される。このため、階調補正関数F12の階調変化の少ない領域、すなわちコントラストが低下される領域においても、その後の強調処理信号TSの加算により、局所コントラストを強調することが可能となる。
(i)
視覚処理装置71では、視覚処理部73は、入力信号ISとアンシャープ信号USとに基づいて、2次元LUT4を用いずに上記式M7を演算するもので有っても良い。この場合、それぞれの関数F11,F12の計算においては、1次元のLUTを用いても良い。
なお、式M7で求められるプロファイルデータのある要素の値Cが0≦C≦255の範囲を超える場合には、その要素の値Cを0又は255としてもよい。
(8)
《第1〜第7プロファイルデータの変形例》
(i)
上記(1)〜(7)において、第1〜第7プロファイルデータの各要素は、式M1〜M7に基づいて計算された値を格納すると説明した。また、それぞれのプロファイルデータでは、式M1〜M7により算出される値がプロファイルデータが格納可能な値の範囲を超える場合には、その要素の値を制限しても良いと説明した。
図24〜図39を用いて、本発明の第2実施形態としての視覚処理装置600について説明する。
視覚処理装置600は、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置であり、出力信号OSを表示する表示装置(図示しない)が設置される環境(以下、表示環境という。)に応じた視覚処理を行う装置である。
視覚処理装置600は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
図24に、視覚処理装置600の基本構成を示す。
視覚処理装置600は、目標コントラスト変換部601と、変換信号処理部602と、実コントラスト変換部603と、目標コントラスト設定部604と、実コントラスト設定部605とから構成されている。
変換信号処理部602は、目標コントラスト信号JSを第1の入力、目標コントラストC1を第2の入力、実コントラスト設定部605において設定された実コントラストC2を第3の入力とし、視覚処理された目標コントラスト信号JSである視覚処理信号KSを出力とする。なお、実コントラストC2の定義については、後述する。
目標コントラスト設定部604および実コントラスト設定部605は、ユーザに対して目標コントラストC1および実コントラストC2の値を入力インターフェイスなどを介して設定させる。
〈目標コントラスト変換部601〉
目標コントラスト変換部601は、視覚処理装置600に入力された入力信号ISを、コントラスト表現に適した目標コントラスト信号JSに変換する。ここで、入力信号ISでは、視覚処理装置600に入力される画像の輝度値が値[0.0〜1.0]の階調で表されている。
目標コントラストC1の値[m]は、表示装置により表示される表示画像が最もコントラスト良く見えるようなコントラスト値として設定される。
目標コントラストC1の値[m]は、100〜1000(黒レベル:白レベル=1:100〜1:1000)程度に設定されるのが適切であるが、表示装置が表示可能な黒レベルに対する白レベルの明度比に基づいて決定してもよい。
図24を用いて、変換信号処理部602の詳細について説明する。
変換信号処理部602は、入力される目標コントラスト信号JSの局所的なコントラストを維持しつつ、ダイナミックレンジを圧縮し、視覚処理信号KSを出力する。具体的には、変換信号処理部602は、第1実施形態で示した視覚処理装置21における入力信号IS(図16参照)を目標コントラスト信号JSと見なし、出力信号OS(図16参照)を視覚処理信号KSと見なしたのと同様の構成・作用・効果を有している。
さらに、変換信号処理部602は、強調された目標コントラスト信号JSとアンシャープ信号USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて視覚処理信号KSを出力する。これにより、例えば、シャープ成分を強調しつつ、ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
変換信号処理部602は、目標コントラスト信号JSにおける画素ごとの輝度値に空間処理を実行しアンシャープ信号USを出力する空間処理部622と、目標コントラスト信号JSとアンシャープ信号USとを用いて、目標コントラスト信号JSに対する視覚処理を行い、視覚処理信号KSを出力する視覚処理部623とを備えている。
視覚処理部623は、除算部625と、強調処理部626と、DR圧縮部628および乗算部629を有する出力処理部627とを備えている。
変換信号処理部602は、目標コントラストC1(値[m])および実コントラストC2(値[n])を用いて、目標コントラスト信号JS(値[A])を「式M2」により変換し、視覚処理信号KS(値[C])を出力する。ここで、式M2は、ダイナミックレンジ圧縮関数F4と強調関数F5とを用いて、C=F4(A)*F5(A/B)とあらわされる。なお、値[B]は、目標コントラスト信号JSを空間処理したアンシャープ信号USの値である。
空間処理部622は、値[A]の目標コントラスト信号JSに対して空間処理を行い、値[B]のアンシャープ信号USを出力する。
除算部625は、値[A]の目標コントラスト信号JSを値[B]のアンシャープ信号USで除算し、値[A/B]の除算信号RSを出力する。強調処理部626は、強調関数F5を用いて、値[A/B]の除算信号RSから値[F5(A/B)]の強調処理信号TSを出力する。DR圧縮部628は、ダイナミックレンジ圧縮関数F4を用いて、値[A]の目標コントラスト信号JSから値[F4(A)]のDR圧縮信号DRSを出力する。乗算部629は、値[F4(A)]のDR圧縮信号DRSと値[F5(A/B)]の強調処理信号TSとを乗算し、値[F4(A)*F5(A/B)]の視覚処理信号KSを出力する。
《変換信号処理部602の効果》
視覚処理信号KSにおける視覚的なダイナミックレンジは、ダイナミックレンジ圧縮関数F4の値により決定される。
図24を用いて、実コントラスト変換部603の詳細について説明する。
実コントラスト変換部603は、視覚処理信号KSを、表示装置(図示しない)に入力可能な範囲の画像データに変換する。表示装置に入力可能な範囲の画像データとは、例えば、画像の輝度値を、値[0.0〜1.0]の階調で表した画像データである。
図27を用いて、式M21による変換をさらに詳しく説明する。図27は、視覚処理信号KSの値(横軸)と出力信号OSの値(縦軸)との関係を示すグラフである。図27が示すように、実コントラスト変換部603により、値[1/n〜1.0]の範囲の視覚処理信号KSが値[0.0〜1.0]の範囲の出力信号OSに変換される。ここで、それぞれの視覚処理信号KSの値に対して、出力信号OSの値は減少することとなる。この減少分は、表示画像の各輝度が環境光から受ける影響に相当している。
視覚処理装置600は、第1実施形態で説明した視覚処理装置21と同様の効果を奏する。以下、視覚処理装置600に特徴的な効果を記載する。
(i)
視覚処理装置600の出力信号OSを表示する表示環境に環境光が存在する場合、出力信号OSは、環境光の影響を受けて視覚される。しかし、出力信号OSは、実コントラスト変換部603により、環境光の影響を補正する処理が施された信号である。すなわち、環境光の存在する表示環境のもとでは、表示装置に表示された出力信号OSは、視覚処理信号KSの特性を持つ表示画像として視覚される。
〈視覚処理方法〉
図28を用いて、上記視覚処理装置600と同様の効果を奏する視覚処理方法を説明する。なお、それぞれのステップの具体的な処理は、上記視覚処理装置600における処理と同様であるため、説明を省略する。
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
(i)式M2−強調関数F5を備えない場合−
上記実施形態では、変換信号処理部602は、式M2に基づいて視覚処理信号KSを出力すると記載した。ここで、変換信号処理部602は、ダイナミックレンジ強調関数F4のみに基づいて視覚処理信号KSを出力するものであってもよい。この場合、変形例としての変換信号処理部602では、空間処理部622、除算部625、強調処理部626、乗算部629を備える必要がなく、DR圧縮部628のみを備えていればよい。
(ii)強調関数F5−指数・その他の変形例−
上記実施形態では、強調関数F5は、「べき関数」であり、F5(x)=x^(1−γ)と表される、と記載した。ここで、強調関数F5の指数は、目標コントラスト信号JSの値[A]またはアンシャープ信号USの値[B]の関数であってもよい。
《1》
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも大きい場合に、単調減少する関数である。より具体的には、強調関数F5の指数は、α1(A)*(1−γ)と表され、関数α1(A)は、図29に示すように目標コントラスト信号JSの値[A]に対して単調減少する関数である。なお、関数α1(A)の最大値は、[1.0]となっている。
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも小さい場合に、単調増加する関数である。より具体的には、強調関数F5の指数は、α2(A)*(1−γ)と表され、関数α2(A)は、図30に示すように目標コントラスト信号JSの値[A]に対して単調増加する関数である。なお、関数α2(A)の最大値は、[1.0]となっている。
強調関数F5の指数は、目標コントラスト信号JSの値[A]の関数であって、目標コントラスト信号JSの値[A]がアンシャープ信号USの値[B]よりも大きい場合に、単調増加する関数である。より具体的には、強調関数F5の指数は、α3(A)*(1−γ)と表され、関数α3(A)は、図31に示すように目標コントラスト信号JSの値[A]に対して単調増加する関数である。なお、関数α3(A)の最大値は、[1.0]となっている。
強調関数F5の指数は、目標コントラスト信号JSの値[A]とアンシャープ信号USの値[B]との関数であって、値[A]と値[B]との差の絶対値に対して単調減少する関数である。言い換えれば、強調関数F5の指数は、値[A]と値[B]との比が1に近い程増加する関数であるとも言える。より具体的には、強調関数F5の指数は、α4(A,B)*(1−γ)と表され、関数α4(A,B)は、図32に示すように値[A−B]の絶対値に対して単調減少する関数である。
《5》
上記《1》〜《4》の強調関数F5の演算結果には、上限あるいは下限が設けられていてもよい。具体的には、値[F5(A/B)]が所定の上限値を超える場合には、強調関数F5の演算結果として所定の上限値が採用される。また、値[F5(A/B)]が所定の下限値を超える場合には、強調関数F5の演算結果として所定の下限値が採用される。
《6》
なお、上記《1》〜《5》は、第1実施形態において強調関数F5を用いた演算を行う場合にも同様に適用可能である(例えば、第1実施形態〈プロファイルデータ〉(2)あるいは(3)など)。なお、第1実施形態では、値[A]は、入力信号ISの値であり、値[B]は、入力信号ISを空間処理したアンシャープ信号USの値である。
上記実施形態では、変換信号処理部602は、第1実施形態で示した視覚処理装置21と同様の構成を有している、と説明した。ここで、変形例としての変換信号処理部602は、第1実施形態で示した視覚処理装置31(図19参照)と同様の構成を有するものであってもよい。具体的には、視覚処理装置31における入力信号ISを目標コントラスト信号JSと見なし、出力信号OSを視覚処理信号KSと見なすことにより変形例としての変換信号処理部602が実現される。
上記実施形態では、目標コントラスト設定部604および実コントラスト設定部605は、ユーザに対して目標コントラストC1および実コントラストC2の値を入力インターフェイスなどを介して設定させる、と説明した。ここで、目標コントラスト設定部604および実コントラスト設定部605は、目標コントラストC1および実コントラストC2の値を自動設定できるものであってもよい。
出力信号OSを表示する表示装置がPDP,LCD,CRTなどのディスプレイであり、環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とが既知の場合に、実コントラストC2の値を自動設定する実コントラスト設定部605について説明する。
輝度測定部605aは、出力信号OSを表示するディスプレイの表示環境における環境光の輝度値を測定する輝度センサである。記憶部605bは、出力信号OSを表示するディスプレイが環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とを記憶している。計算部605cは、輝度測定部605aと記憶部605bとからそれぞれ値を取得し、実コントラストC2の値を計算する。
出力信号OSを表示する表示装置がプロジェクタなどであり、環境光の無い状態で表示できる白輝度(白レベル)と黒輝度(黒レベル)とがスクリーンまでの距離に依存する場合に、実コントラストC2の値を自動設定する実コントラスト設定部605について説明する。
輝度測定部605dは、プロジェクタにより表示された出力信号OSの表示環境における輝度値を測定する輝度センサである。制御部605eは、プロジェクタに対して、白レベルと黒レベルとの表示を行わせる。さらに、それぞれのレベルが表示される際の輝度値を輝度測定部605dから取得し、実コントラストC2の値を計算する。
上記実施形態では、視覚処理装置600における処理は、入力信号ISの輝度について行うと説明した。ここで、本発明は、入力信号ISがYCbCr色空間で表されている場合のみに有効であるものではない。入力信号ISは、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、XYZ色空間、YPbPr色空間などで表されているものでもよい。これらの場合に、それぞれの色空間の輝度、明度に対して、上記実施形態で説明した処理を実行することが可能である。
視覚処理装置600は、変換信号処理部602により処理された輝度成分の影響により出力信号OSの色相が入力信号ISの色相と異なるものとなることを抑制するため、色差補正処理部をさらに備えるものであってもよい。
[CBout]と[CRout]とは、[Yin]と[Yout]との差および比により、[CBin]と[CRin]とを補正する次式に基づいて導出される。
図38を用いて、計算装置などにおける係数a1〜a8の推定演算について説明する。
まず、[Yin]、[Yout]、[CBin]、[CRin]の4入力が取得される(ステップS630)。それぞれの入力の値は、係数a1〜a8を決定するためにあらかじめ用意されたデータである。例えば、[Yin]、[CBin]、[CRin]としては、それぞれが取りうる全ての値を所定の間隔で間引いた値などが用いられる。さらに[Yout]としては、[Yin]の値を変換信号処理部602に入力した場合に出力されうる値を所定の間隔で間引いた値などが用いられる。このようにして用意されたデータが、4入力として取得される。
次に、デフォルトの係数a1〜a8を用いて、「式CB」および「式CR」が計算され、[CBout]および[CRout]の値が取得される(ステップS632)。取得された値および[Yout]は、Lab色空間に変換され、変換されたLab色空間における色度値[Aout]および[Bout]が計算される(ステップS633)。
評価関数の値が所定の閾値よりも小さい場合(ステップS635)、評価関数の計算に用いられた係数a1〜a8が推定演算の結果として出力される(ステップS637)。
《1》
上記色差補正処理部608では、目標コントラスト信号JSの値を[Yin]、視覚処理信号KSの値を[Yout]、入力信号ISのCb成分の値を[CBin]、入力信号ISのCr成分の値を[CRin]、出力信号OSのCb成分の値を[CBout]、出力信号OSのCr成分の値を[CRout]とした。ここで、[Yin]、[Yout]、[CBin]、[CRin]、[CBout]、[CRout]は、他の信号の値を表すものであってもよい。
《2》
色差補正処理部608は、変換信号処理部602の処理の前後における信号値の比を用いて、色差補正処理部608に入力されるRGB成分のそれぞれを補正処理するものであってもよい。
変形例としての視覚処理装置600では、変換信号処理部602における処理は、輝度信号に対する処理のみであり、RGB成分のそれぞれについて処理を行う必要がない。このため、RGB色空間の入力信号ISに対しての視覚処理の負荷が軽減される。
「式CB」および「式CR」は、一例であり、他の式が用いられてもよい。
(vii)視覚処理部623
図24に示す視覚処理部623は、2次元LUTにより形成されていてもよい。
〈1〉
本発明の第3実施形態として、上記第1実施形態および第2実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。
より詳しくは、上記実施形態の各機能ブロックは、個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
上記第1実施形態および第2実施形態で説明したそれぞれの視覚処理装置の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、視覚処理装置1では、上記第1実施形態で説明した視覚処理方法が実行される。
視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、ROMなどの記憶装置に記憶され、画像の視覚処理を実行するプログラムであり、例えば、CD−ROMなどの記録媒体を介して、あるいはネットワークを介して提供される。
上記第1実施形態および第2実施形態で説明した視覚処理装置は、図40〜図41に示す構成で表すことも可能である。
(1)
《構成》
図40は、例えば、図7を用いて示した視覚処理装置525と同様の機能を果たす視覚処理装置910の構成を示すブロック図である。
《変形例》
(1)
上記構成において、輝度調整パラメータP2は、上記したプロファイルデータに限定されるものではない。例えば、輝度調整パラメータP2は、対象画素の輝度と周辺画素の輝度とから出力信号OSの値を演算する際に用いられる係数マトリクスデータであってもよい。ここで、係数マトリクスデータとは、対象画素の輝度と周辺画素の輝度とから出力信号OSの値を演算する際に用いられる関数の係数部分を格納したデータである。
出力部914は、環境光を表すパラメータP1の全ての値に対するプロファイルデータや係数マトリクスデータを備えている必要はない。この場合、取得された環境光を表すパラメータP1に応じて、備えられているプロファイルデータなどを適宜内分あるいは外分することにより適切なプロファイルデータなどを生成するものであってもよい。
《構成》
図41は、例えば、図24を用いて示した視覚処理装置600と同様の機能を果たす視覚処理装置920の構成を示すブロック図である。
ここで、環境光を表すパラメータP1とは、上記(1)で記載したのと同様である。
なお、本構成においても、(1)で記載したのと同様の変形を行うことが可能である。
また、(1)に記載した構成と(2)に記載した構成とは、必要に応じて切り替えて用いることも可能である。切り替えは、外部からの切り替え信号を用いて行ってもよい。また、外部パラメータP3が存在するか否かでいずれの構成を用いるかを判断してもよい。
(3)
図41に示す構成では、出力部921から変換部922への入力が急激に変化しないようにするための手段をさらに採用することが可能である。
調整部925は、例えば、IIRフィルタにより実現される。ここで、IIRフィルタでは、調整部925の出力P4の値[P4]は、[P4]=k1*[P4]’+k2*[P1]により演算される。なお式中、k1,k2は、それぞれ正の値をとるパラメータであり、[P1]は、環境光を表すパラメータP1の値であり、[P4]’は、調整部925の出力P4の遅延出力(例えば、前回の出力)の値である。なお、調整部925における処理は、IIRフィルタ以外の構成を用いて行われてもよい。
ここで、調整部925の動作は、上記したのと同様である。具体的には、調整部925の出力P4の値[P4]は、[P4]=k3*[P4]’+k4*[P2]により演算される。なお式中、k3,k4は、それぞれ正の値をとるパラメータであり、[P2]は、輝度調整パラメータP2の値であり、[P4]’は、調整部925の出力P4の遅延出力(例えば、前回の出力)の値である。なお、調整部925における処理は、IIRフィルタ以外の構成を用いて行われてもよい。
本発明の第4実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図44〜図47を用いて説明する。
図44は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
図45は、上記実施形態の視覚処理装置を備えた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図47に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
本発明は、次のように表現することも可能である。
〈付記の内容〉
(付記1)
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号とを所定の変換により変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、変換関数F1、前記変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて出力信号の値Cを演算する、
付記1に記載の視覚処理装置。
前記変換関数F1は、対数関数である、
付記2に記載の視覚処理装置。
(付記4)
前記逆変換関数F2は、ガンマ補正関数である、
付記2に記載の視覚処理装置。
前記信号演算手段は、前記画像信号および前記処理信号の信号空間の変換を行う信号空間変換手段と、変換後の前記画像信号と変換後の前記処理信号との差分信号に対して強調処理を行う強調処理手段と、変換後の前記画像信号と前記強調処理後の前記差分信号との加算信号に対して信号空間の逆変換を行い、前記出力信号を出力する逆変換手段とを有する、
付記2〜4のいずれかに記載の視覚処理装置。
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との比を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
前記信号演算手段は、前記画像信号のダイナミックレンジ圧縮をさらに行う前記演算に基づいて前記出力信号を出力する、
付記6に記載の視覚処理装置。
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて出力信号の値Cを演算する、
付記6または7に記載の視覚処理装置。
前記ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である、
付記8に記載の視覚処理装置。
(付記10)
前記ダイナミックレンジ圧縮関数F4は、単調増加関数である、
付記8に記載の視覚処理装置。
前記ダイナミックレンジ圧縮関数F4は、上に凸の関数である、
付記10に記載の視覚処理装置。
(付記12)
前記ダイナミックレンジ圧縮関数F4は、べき関数である、
付記8に記載の視覚処理装置。
前記ダイナミックレンジ圧縮関数F4におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる、
付記12に記載の視覚処理装置。
前記強調関数F5は、べき関数である、
付記8〜13のいずれかに記載の視覚処理装置。
(付記15)
前記強調関数F5におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる、
付記14に記載の視覚処理装置。
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも大きい場合に、前記画像信号の値Aに対して単調減少する値である、
付記14または15に記載の視覚処理装置。
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも小さい場合に、前記画像信号の値Aに対して単調増加する値である、
付記14または15に記載の視覚処理装置。
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aが前記処理信号の値Bよりも大きい場合に、前記画像信号の値Aに対して単調増加する値である、
付記14または15に記載の視覚処理装置。
前記強調関数F5におけるべき関数の指数は、前記画像信号の値Aと前記処理信号の値Bとの差の絶対値に対して単調増加する値である、
付記14または15に記載の視覚処理装置。
前記強調関数F5の最大値あるいは最小値の少なくとも一方は、所定の範囲内に制限されている、
付記14〜19のいずれかに記載の視覚処理装置。
前記信号演算手段は、前記画像信号を前記処理信号で除算した除算処理信号に対して強調処理を行う強調処理手段と、前記画像信号と前記強調処理された前記除算処理信号とに基づいて前記出力信号を出力する出力処理手段とを有する、
付記8に記載の視覚処理装置。
前記出力処理手段は、前記画像信号と前記強調処理された前記除算処理信号との乗算処理を行う、
付記21に記載の視覚処理装置。
前記出力処理手段は、前記画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、前記DR圧縮された前記画像信号と前記強調処理された前記除算処理信号との乗算処理を行う、
付記21に記載の視覚処理装置。
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、前記画像信号とする第1変換手段と、
第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換手段と、
をさらに備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
付記8〜23のいずれかに記載の視覚処理装置。
前記ダイナミックレンジ圧縮関数F4は、前記第2の所定の範囲の前記画像信号を前記第3の所定の範囲の前記出力信号に変換する関数である、
付記24に記載の視覚処理装置。
前記第1変換手段は、前記第1の所定の範囲の最小値と最大値とのそれぞれを前記第2の所定の範囲の最小値と最大値とのそれぞれに変換し、
前記第2変換手段は、前記第3の所定の範囲の最小値と最大値とのそれぞれを前記第4の所定の範囲の最小値と最大値とのそれぞれに変換する、
付記24または25に記載の視覚処理装置。
前記第1変換手段および前記第2変換手段における変換は、それぞれ線形の変換である、
付記26に記載の視覚処理装置。
前記第3の所定の範囲を設定する設定手段をさらに備える、
付記24〜27のいずれかに記載の視覚処理装置。
(付記29)
前記設定手段は、画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段と、画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを含む、
付記28に記載の視覚処理装置。
前記設定手段は、画像表示を行う表示装置の表示環境における黒レベル表示時と白レベル表示時との輝度を測定する測定手段を含む、
付記28に記載の視覚処理装置。
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との差を、前記画像信号の値に応じて強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
前記信号演算手段は、前記強調する演算により強調された値に対して、前記画像信号をダイナミックレンジ圧縮した値を加える演算に基づいて前記出力信号を出力する、
付記31に記載の視覚処理装置。
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて出力信号の値Cを演算する、
付記31または32に記載の視覚処理装置。
前記ダイナミックレンジ圧縮関数F8は、比例係数1の正比例関数である、
付記33に記載の視覚処理装置。
(付記35)
前記ダイナミックレンジ圧縮関数F8は、単調増加関数である、
付記33に記載の視覚処理装置。
前記ダイナミックレンジ圧縮関数F8は、上に凸の関数である、
付記35に記載の視覚処理装置。
(付記37)
前記ダイナミックレンジ圧縮関数F8は、べき関数である、
付記33に記載の視覚処理装置。
前記信号演算手段は、前記画像信号と前記処理信号との差分信号に対して前記画像信号の画素値に応じた強調処理を行う強調処理手段と、前記画像信号と前記強調処理された差分信号とに基づいて前記出力信号を出力する出力処理手段とを有する、
付記33に記載の視覚処理装置。
前記出力処理手段は、前記画像信号と前記強調処理された前記差分信号との加算処理を行う、
付記38に記載の視覚処理装置。
前記出力処理手段は、前記画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、前記DR圧縮された前記画像信号と前記強調処理された前記差分信号との加算処理を行う、
付記38に記載の視覚処理装置。
入力された画像信号に対して空間処理を行い、処理信号を出力する入力信号処理手段と、
前記画像信号と前記処理信号との差を強調した値に対して、前記画像信号を階調補正した値を加える演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
前記信号演算手段は、前記画像信号の値A、前記処理信号の値B、強調関数F11、階調補正関数F12に対して、数式F12(A)+F11(A−B)に基づいて出力信号の値Cを演算する、
付記41に記載の視覚処理装置。
前記信号演算手段は、前記画像信号と前記処理信号との差分信号に対して強調処理を行う強調処理手段と、階調補正された前記画像信号と前記強調処理された差分信号とを加算処理し出力信号として出力する加算処理手段とを有する、
付記42に記載の視覚処理装置。
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算ステップと、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換ステップと、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理方法。
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換手段と、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算手段と、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換手段と、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理装置。
コンピュータに視覚処理を行わせるための視覚処理プログラムであって、
第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする第1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、あるいは前記画像信号と前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する信号演算ステップと、
前記第3の所定の範囲の前記出力信号を第4の所定の範囲に変換し、出力画像データとする第2変換ステップと、
を備え、
前記第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められており、
前記第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている、
視覚処理方法をコンピュータに対して行わせるものである、
視覚処理プログラム。
付記1に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号とを所定の変換により変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する。
付記2に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、変換関数F1、変換関数F1の逆変換関数F2、強調関数F3に対して、数式F2(F1(A)+F3(F1(A)−F1(B)))に基づいて出力信号の値Cを演算する。
出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとは、変換関数F1により別空間上の値に変換されている。変換後の画像信号の値と処理信号の値との差分は、例えば、別空間上でのシャープ信号などを表している。強調関数F3により強調された変換後の画像信号と処理信号との差分は、変換後の画像信号に加算されている。これにより、出力信号の値Cは、別空間上におけるシャープ信号成分が強調された値を示している。
付記3に記載の視覚処理装置は、付記2に記載の視覚処理装置であって、変換関数F1は、対数関数である。
本発明の視覚処理装置では、視覚的効果の高いコントラスト強調、あるいは局所コントラストを維持するダイナミックレンジ圧縮が可能となる。
一般的に画像信号には、画像信号を入出力する機器のガンマ特性に応じて、ガンマ補正関数によるガンマ補正が施されている。
付記5に記載の視覚処理装置は、付記2〜4のいずれかに記載の視覚処理装置であって、信号演算手段は、信号空間変換手段と、強調処理手段と、逆変換手段とを有している。信号空間変換手段は、画像信号および処理信号の信号空間の変換を行う。強調処理手段は、変換後の画像信号と変換後の処理信号との差分信号に対して強調処理を行う。逆変換手段は、変換後の画像信号と強調処理後の差分信号との加算信号に対して信号空間の逆変換を行い、出力信号を出力する。
付記7に記載の視覚処理装置は、付記6に記載の視覚処理装置であって、信号演算手段は、画像信号のダイナミックレンジ圧縮をさらに行う演算に基づいて出力信号を出力する。
付記8に記載の視覚処理装置は、付記6または7に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、ダイナミックレンジ圧縮関数F4、強調関数F5に対して、数式F4(A)*F5(A/B)に基づいて出力信号の値Cを演算する。
付記9に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、比例係数1の正比例関数である。
付記10に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、単調増加関数である。
付記11に記載の視覚処理装置は、付記10に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、上に凸の関数である。
付記12に記載の視覚処理装置は、付記8に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、べき関数である。
付記13に記載の視覚処理装置は、付記12に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる。
付記14に記載の視覚処理装置は、付記8〜13のいずれかに記載の視覚処理装置であって、強調関数F5は、べき関数である。
付記15に記載の視覚処理装置は、付記14に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像表示を行う際のコントラストの目標値である目標コントラスト値と、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値とに基づいて定められる。
付記16に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも大きい場合に、画像信号の値Aに対して単調減少する値である。
付記17に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも小さい場合に、画像信号の値Aに対して単調増加する値である。
付記18に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aが処理信号の値Bよりも大きい場合に、画像信号の値Aに対して単調増加する値である。
付記19に記載の視覚処理装置は、付記14または15に記載の視覚処理装置であって、強調関数F5におけるべき関数の指数は、画像信号の値Aと処理信号の値Bとの差の絶対値に対して単調増加する値である。
本発明の視覚処理装置では、画像信号において周囲画素との明暗差が小さい着目画素における局所的なコントラストを特に強調し、画像信号において周囲画素との明暗差が大きい着目画素における局所的なコントラストを強調しすぎないということが可能となる。
本発明の視覚処理装置では、局所的なコントラストの強調量を適切な範囲に制限することが可能となる。
付記22に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、出力処理手段は、画像信号と強調処理された除算処理信号との乗算処理を行う。
付記23に記載の視覚処理装置は、付記21に記載の視覚処理装置であって、出力処理手段は、画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、DR圧縮された画像信号と強調処理された除算処理信号との乗算処理を行う。
付記24に記載の視覚処理装置は、付記8〜23のいずれかに記載の視覚処理装置であって、第1変換手段と第2変換手段とをさらに備えている。第1変換手段は、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。第2変換手段は、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
付記25に記載の視覚処理装置は、付記24に記載の視覚処理装置であって、ダイナミックレンジ圧縮関数F4は、第2の所定の範囲の画像信号を第3の所定の範囲の出力信号に変換する関数である。
付記26に記載の視覚処理装置は、付記24または25に記載の視覚処理装置であって、第1変換手段は、第1の所定の範囲の最小値と最大値とのそれぞれを第2の所定の範囲の最小値と最大値とのそれぞれに変換する。第2変換手段は、第3の所定の範囲の最小値と最大値とのそれぞれを第4の所定の範囲の最小値と最大値とのそれぞれに変換する。
付記28に記載の視覚処理装置は、付記24〜27のいずれかに記載の視覚処理装置であって、第3の所定の範囲を設定する設定手段をさらに備える。
付記29に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、設定手段は、画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段と、画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを含む。
付記30に記載の視覚処理装置は、付記28に記載の視覚処理装置であって、設定手段は、画像表示を行う表示装置の表示環境における黒レベル表示時と白レベル表示時との輝度を測定する測定手段を含む。
付記31に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との差を、画像信号の値に応じて強調する演算に基づいて出力信号を出力する。
付記32に記載の視覚処理装置は、付記31に記載の視覚処理装置であって、信号演算手段は、強調する演算により強調された値に対して、画像信号をダイナミックレンジ圧縮した値を加える演算に基づいて出力信号を出力する。
付記33に記載の視覚処理装置は、付記31または32に記載の視覚処理装置であって、信号演算手段は、画像信号の値A、処理信号の値B、強調量調整関数F6、強調関数F7、ダイナミックレンジ圧縮関数F8に対して、数式F8(A)+F6(A)*F7(A−B)に基づいて出力信号の値Cを演算する。
本発明の視覚処理装置では、画像信号の暗部から明部まで均一に、コントラストを強調することが可能となる。
本発明の視覚処理装置では、単調増加関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
本発明の視覚処理装置では、上に凸の関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジ圧縮を行いつつ、局所的なコントラストを維持することが可能となる。
本発明の視覚処理装置では、べき関数であるダイナミックレンジ圧縮関数F8を用いてダイナミックレンジの変換を行いつつ、局所的なコントラストを維持することが可能となる。
付記39に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、出力処理手段は、画像信号と強調処理された差分信号との加算処理を行う。
付記40に記載の視覚処理装置は、付記38に記載の視覚処理装置であって、出力処理手段は、画像信号に対してダイナミックレンジ(DR)圧縮を行うDR圧縮手段を含んでおり、DR圧縮された画像信号と強調処理された差分信号との加算処理を行う。
付記41に記載の視覚処理装置は、入力信号処理手段と、信号演算手段とを備えている。入力信号処理手段は、入力された画像信号に対して空間処理を行い、処理信号を出力する。信号演算手段は、画像信号と処理信号との差を強調した値に対して、画像信号を階調補正した値を加える演算に基づいて出力信号を出力する。
ここで出力信号の値Cは、次のことを示している。すなわち、画像信号の値Aと処理信号の値Bとの差分(A−B)は、例えば、シャープ信号を表している。また、F11(A−B)は、例えば、シャープ信号の強調処理を表している。さらに、階調補正された画像信号と強調処理されたシャープ信号とが加算されていることを表している。
付記43に記載の視覚処理装置は、付記42に記載の視覚処理装置であって、信号演算手段は、強調処理手段と、加算処理手段とを有している。強調処理手段は、画像信号と処理信号との差分信号に対して強調処理を行う。加算処理手段は、階調補正された画像信号と強調処理された差分信号とを加算処理し出力信号として出力する。
付記44に記載の視覚処理方法は、第1変換ステップと、信号演算ステップと、第2変換ステップとを備えている。第1変換ステップは、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算ステップは、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換ステップは、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
付記45に記載の視覚処理装置は、第1変換手段と、信号演算手段と、第2変換手段とを備えている。第1変換手段は、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算手段は、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換手段は、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
付記46に記載の視覚処理プログラムは、コンピュータに視覚処理を行わせるための視覚処理プログラムであって、第1変換ステップと、信号演算ステップと、第2変換ステップとをそなえる視覚処理方法をコンピュータに対して行わせるものである。
第1変換ステップは、第1の所定の範囲の入力画像データを第2の所定の範囲に変換し、画像信号とする。信号演算ステップは、画像信号のダイナミックレンジ圧縮を行う演算、あるいは画像信号と画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、第3の所定の範囲の出力信号を出力する。第2変換ステップは、第3の所定の範囲の出力信号を第4の所定の範囲に変換し、出力画像データとする。第2の所定の範囲は、画像表示を行う際のコントラストの目標値である目標コントラスト値に基づいて定められている。第3の所定の範囲は、画像表示を行う際の表示環境におけるコントラスト値である実コントラスト値に基づいて定められている。
2 空間処理部
3 視覚処理部
4 2次元LUT
IS 入力信号
US アンシャープ信号
OS 出力信号
TIS 変換入力信号
TUS 変換アンシャープ信号
DS 差分信号
TS 強調処理信号
PS 加算信号
RS 除算信号
DRS DR圧縮信号
MS 乗算信号
IC 強調量調整信号
GC 階調補正信号
Claims (8)
- 環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ出力手段と、
前記パラメータ出力手段により出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、前記対象画素の周辺に位置する周辺画素の輝度とに基づいて、前記対象画素の輝度を変換する変換手段と
を備えた視覚処理装置。 - 前記パラメータ出力手段は、前記環境光を表すパラメータと外部から入力される外部パラメータとに基づいて輝度調整パラメータを出力することを特徴とする、
請求項1に記載の視覚処理装置。 - 前記パラメータ出力手段は、環境光を表すパラメータに基づいて輝度調整パラメータを出力する第1のモードと、環境光を表すパラメータと外部から入力される外部パラメータとに基づいて輝度調整パラメータを出力する第2のモードとのいずれかを、切り換え信号に基づいて切り換えて動作することを特徴とする、
請求項1に記載の視覚処理装置。 - 前記変換手段は、対象画素の輝度と周辺画素の輝度との差または比を強調する演算を行うことを特徴とする、
請求項1に記載の視覚処理装置。 - 前記環境光を表すパラメータ、あるいは前記輝度調整パラメータの時間変化を制御する時間変化調整部、
をさらに備える請求項1に記載の視覚処理装置。 - 環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ出力ステップと、
前記パラメータ出力ステップにより出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、前記対象画素の周辺に位置する周辺画素の輝度とに基づいて、前記対象画素の輝度を変換する変換ステップと
を備えた視覚処理方法。 - コンピュータに視覚処理方法を行わせるプログラムであって、
前記視覚処理方法は、
環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ出力ステップと、
前記パラメータ出力ステップにより出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、前記対象画素の周辺に位置する周辺画素の輝度とに基づいて、前記対象画素の輝度を変換する変換ステップと、
を備える視覚処理方法である、
視覚処理プログラム。 - 環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ出力部と、
前記パラメータ出力部により出力された輝度調整パラメータと、視覚処理の対象となる対象画素の輝度と、前記対象画素の周辺に位置する周辺画素の輝度とに基づいて、前記対象画素の輝度を変換する変換部と
を備えた半導体装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004264004A JP4414307B2 (ja) | 2003-09-11 | 2004-09-10 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003320060 | 2003-09-11 | ||
JP2004084118 | 2004-03-23 | ||
JP2004264004A JP4414307B2 (ja) | 2003-09-11 | 2004-09-10 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009115325A Division JP4688945B2 (ja) | 2003-09-11 | 2009-05-12 | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005312008A true JP2005312008A (ja) | 2005-11-04 |
JP2005312008A5 JP2005312008A5 (ja) | 2009-07-30 |
JP4414307B2 JP4414307B2 (ja) | 2010-02-10 |
Family
ID=35440206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004264004A Active JP4414307B2 (ja) | 2003-09-11 | 2004-09-10 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4414307B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102513A (ja) * | 2006-10-17 | 2008-05-01 | Samsung Electronics Co Ltd | 映像の視認性を向上させる装置及び方法 |
WO2008099443A1 (ja) * | 2007-01-30 | 2008-08-21 | Fujitsu Limited | 画像生成プログラム、画像生成装置、画像生成方法 |
WO2008105268A1 (ja) * | 2007-02-28 | 2008-09-04 | Nikon Corporation | 画像処理方法 |
WO2009005132A1 (ja) * | 2007-07-05 | 2009-01-08 | Olympus Corporation | 画像表示装置及びそれを用いた撮像装置 |
WO2009098830A1 (ja) * | 2008-02-04 | 2009-08-13 | Sharp Kabushiki Kaisha | 鮮鋭化画像処理装置、方法、及びソフトウェア |
JP2012032641A (ja) * | 2010-07-30 | 2012-02-16 | Toshiba Corp | 画像表示装置 |
KR101326577B1 (ko) * | 2006-12-29 | 2013-11-08 | 엘지디스플레이 주식회사 | 입체영상표시장치 |
WO2013172159A1 (ja) * | 2012-05-15 | 2013-11-21 | シャープ株式会社 | 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
US10380725B2 (en) | 2015-11-26 | 2019-08-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2022520264A (ja) * | 2019-05-05 | 2022-03-29 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム |
-
2004
- 2004-09-10 JP JP2004264004A patent/JP4414307B2/ja active Active
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102513A (ja) * | 2006-10-17 | 2008-05-01 | Samsung Electronics Co Ltd | 映像の視認性を向上させる装置及び方法 |
KR101326577B1 (ko) * | 2006-12-29 | 2013-11-08 | 엘지디스플레이 주식회사 | 입체영상표시장치 |
WO2008099443A1 (ja) * | 2007-01-30 | 2008-08-21 | Fujitsu Limited | 画像生成プログラム、画像生成装置、画像生成方法 |
US8194999B2 (en) | 2007-01-30 | 2012-06-05 | Fujitsu Limited | Image generating apparatus, image generating method and computer product |
US8249341B2 (en) | 2007-02-28 | 2012-08-21 | Nikon Corporation | Image processing method for removing noise contained in an image |
WO2008105268A1 (ja) * | 2007-02-28 | 2008-09-04 | Nikon Corporation | 画像処理方法 |
JP4858610B2 (ja) * | 2007-02-28 | 2012-01-18 | 株式会社ニコン | 画像処理方法 |
WO2009005132A1 (ja) * | 2007-07-05 | 2009-01-08 | Olympus Corporation | 画像表示装置及びそれを用いた撮像装置 |
WO2009098830A1 (ja) * | 2008-02-04 | 2009-08-13 | Sharp Kabushiki Kaisha | 鮮鋭化画像処理装置、方法、及びソフトウェア |
US8351733B2 (en) | 2008-02-04 | 2013-01-08 | Sharp Kabushiki Kaisha | Image sharpening processing device, method, and software |
JP2012032641A (ja) * | 2010-07-30 | 2012-02-16 | Toshiba Corp | 画像表示装置 |
WO2013172159A1 (ja) * | 2012-05-15 | 2013-11-21 | シャープ株式会社 | 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
JP2013258682A (ja) * | 2012-05-15 | 2013-12-26 | Sharp Corp | 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
US9275440B2 (en) | 2012-05-15 | 2016-03-01 | Sharp Kabushiki Kaisha | Image processing device and image processing method |
US10380725B2 (en) | 2015-11-26 | 2019-08-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2022520264A (ja) * | 2019-05-05 | 2022-03-29 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム |
JP7226893B2 (ja) | 2019-05-05 | 2023-02-21 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4414307B2 (ja) | 2010-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4745458B2 (ja) | 視覚処理装置 | |
JP4410304B2 (ja) | 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
JP5259785B2 (ja) | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
JP4157592B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP4440245B2 (ja) | 視覚処理装置、表示装置および集積回路 | |
JP2008159069A5 (ja) | ||
JP4437150B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP4414307B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4126297B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末 | |
JP2006024176A5 (ja) | ||
JP4094652B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP4437149B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP4414464B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4126298B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090611 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4414307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |