JP2004287794A

JP2004287794A - 画像処理装置

Info

Publication number: JP2004287794A
Application number: JP2003078445A
Authority: JP
Inventors: Shinichi Maehama; 新一前濱; Tomonori Sato; 友則佐藤; Kenji Nakamura; 健二中村
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-03-20
Filing date: 2003-03-20
Publication date: 2004-10-14

Abstract

【課題】画像を分割して得られた複数の領域ごとに補正処理を行っても、隣接する領域間の境界が処理後の画像で目立たない画像処理装置を提供する。
【解決手段】入力画像Ｉは、第１画像処理部１０および第２画像処理部１１の両方で補正処理が施され、補正画像Ｉ_１’およびＩ_２’として出力される。補正画像Ｉ_１’およびＩ_２’は、合成部１２で合成され、出力画像Ｉ’として出力される。合成部１２における合成方法は、合成パラメータ供給部から入力される合成パラメータｈによって変化する。合成パラメータｈは、画像を分割して得られる複数の部分領域ごとに定められる基準合成パラメータから算出される。また、隣接した部分領域の境界付近では、合成パラメータｈは連続的に変化するように決定される。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像内の場所によって補正特性を変化させることができる画像処理装置に関する。
【０００２】
【従来の技術】
近年、電子技術の発展に伴い、デジタル電子画像を生成するデジタルカメラが広く使用されるようになりつつある。従来の銀塩カメラで取得した画像と異なり、デジタルカメラで取得したデジタル電子画像には様々な補正処理を施すことが容易である。このため、画像の閲覧者が自然な視覚感を得られるように、人間の視覚特性、画像を表示する表示装置（ＣＲＴディスプレイ、液晶ディスプレイ等）の表示特性、画像を出力する出力装置（プリンタ等）の出力特性および撮像素子の撮像特性等に配慮した各種の補正処理がデジタル電子画像には施される。たとえば、画像の階調補正、色補正、コントラスト補正、ノイズ除去等の補正処理が施される。
【０００３】
これらの補正処理を行う場合、画像全体に対して均一な処理を行うのではなく、画像内の場所によって異なる補正特性で補正を行うことが要求される場合がある。たとえば、画像の一部に非常に照度が高い物体が含まれる場合（いわゆる「逆光」など）、その明るい部分とそれ以外の暗い部分とでは異なる階調変換特性で階調補正を行うことが望まれる。このような補正処理は、多数の補正特性での補正が可能な補正手段を準備し、多数の補正特性の中から画像内の各画素ごとに適切な補正特性を選択して適用することで原理的には実現可能である。しかし、このような補正処理は、高い処理能力を有する画像処理装置が必要になる点で必ずしも実用的とは言えない。すなわち、このような補正処理をハードウエアで実現しようとすれば、大規模な処理回路が必要になり、部品サイズの大型化や消費電力の増大を招く。あるいは、このような補正処理をソフトウエアで実現しようとすれば、ＣＰＵやメモリ等のリソースが大量に消費されるので、やはり部品サイズの大型化や消費電力の増大を招く。特に、デジタルカメラに搭載される画像処理装置においては、高精細の電子画像を略リアルタイムに補正処理することが望まれるので、画像処理装置に求められる処理能力は極めて高いものとなる。サイズや電源の制約が大きいデジタルカメラにこのような高い処理能力の画像処理装置を搭載することは困難であるので、先述した補正処理方法はデジタルカメラでは実質的に実現不可能である。このため、画像処理装置へ過大な負荷をかけないで、画像内の場所によって補正特性を変える技術が検討されてきた。その１つとして、複数の画素を含む領域に画像を分割し、その領域ごとに補正特性を変化させる技術が検討されてきた。たとえば、特許文献１には、画像を複数の領域に分割して、各領域ごとに補正処理を行う技術が開示されている。また、特許文献２には、画像を複数の領域に分割して、各領域ごとに補正処理の処理特性を変化させる技術が開示されている。
【０００４】
【特許文献１】
特開平２００２−２８１３１２号公報
【０００５】
【特許文献２】
特開平９−９３４８６号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来の技術においては、画像処理装置へ過大な負荷をかけないで、画像内の場所によって補正特性を変えることは可能であるものの、隣接した領域間で処理特性が大きく異なる場合は考慮されていない。このため、隣接した領域間で処理特性が大きく異なる場合、隣接した領域間の境界が処理後の画像上に視認可能に現れてしまうという問題があった。
【０００７】
本発明は、この問題を解決するためになされたもので、画像を分割して得られた複数の領域ごとに補正処理を行っても、隣接する領域間の境界が処理後の画像で目立たない画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、画像処理装置であって、入力画像を第１補正特性に基づいて処理して、第１補正画像を出力する第１補正手段と、前記入力画像を第２補正特性に基づいて処理して、第２補正画像を出力する第２補正手段と、前記第１補正画像と前記第２補正画像とを第１合成特性に基づいて合成して、第１合成画像を出力する第１合成手段と、前記入力画像の全体領域を分割して得られる第１部分領域の中の補正位置における前記第１合成特性を生成する基準となる第１基準合成特性を、前記入力画像の前記第１部分領域内の画像情報に基づいて決定する第１基準合成特性決定手段と、前記入力画像の全体領域を分割して得られる第２部分領域の中の補正位置における前記第１合成特性を生成する基準となる第２基準合成特性を、前記入力画像の前記第２部分領域内の画像情報に基づいて決定する第２基準合成特性決定手段と、前記入力画像の全体領域の中の補正位置における前記第１合成特性を決定する第１合成特性決定手段とを備え、前記第１合成特性決定手段が、前記第１部分領域の中の第１境界領域と、前記第２部分領域の中の第２境界領域とが境界を挟んで互いに隣接する場合において、前記第１境界領域および前記第２境界領域の中の補正位置における前記第１合成特性を、前記第１基準合成特性および前記第２基準合成特性の両方に基づいて決定する。
【０００９】
また、請求項２の発明は、請求項１の発明に係る画像処理装置において、前記画像情報が輝度値である。
【００１０】
また、請求項３の発明は、請求項１または請求項２の発明に係る画像処理装置において、前記第１境界領域および前記第２境界領域の中の補正位置の前記第１合成特性が、前記第１部分領域の中の第１基準点および前記第２部分領域の中の第２基準点と前記補正位置との相対位置と、前記第１基準合成特性および前記第２基準合成特性とに基づいて決定される。
【００１１】
また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像処理装置において、ノイズ除去手段をさらに備え、前記ノイズ除去手段は、前記第１合成画像を第１ノイズ除去特性に基づいて処理して、第１ノイズ除去画像を出力する第１ノイズ除去手段と、前記第１合成画像を第２ノイズ除去特性に基づいて処理して、第２ノイズ除去画像を出力する第２ノイズ除去手段と、前記第１ノイズ除去画像と前記第２ノイズ除去画像とを第２合成特性に基づいて合成して、第２合成画像を出力する第２合成手段と、前記第１部分領域の中の補正位置における前記第２合成特性を生成する基準となる第３基準合成特性を決定する第３基準合成特性決定手段と、前記第２部分領域の中の補正位置における前記第２合成特性を生成する基準となる第４基準合成特性を決定する第４基準合成特性決定手段と、前記入力画像の全体領域の中の補正位置における前記第２合成特性を決定する第２合成特性決定手段とを備え、前記第２合成特性決定手段が、前記第１境界領域および前記第２境界領域の中の補正位置における前記第２合成特性を、前記第３基準合成特性および前記第４基準合成特性の両方に基づいて決定する。
【００１２】
また、請求項５の発明は、請求項４の発明に係る画像処理装置において、前記第３基準合成特性決定手段が、前記第１基準合成特性に基づいて前記第３基準合成特性を決定し、前記第４基準合成特性決定手段が、前記第２基準合成特性に基づいて前記第４基準合成特性を決定する。
【００１３】
【発明の実施の形態】
発明の実施の形態においては、まず、画像処理装置の主要な特徴部を一般化して説明する。しかるのちに、デジタルカメラに搭載された画像処理装置を具体例として説明を行う。
【００１４】
＜＜画像処理装置の主要な特徴部（一般例）＞＞
以下では、画像処理装置の主要な特徴部に係る技術について説明する。
【００１５】
○画像処理；
一般に、画像処理装置とは、入力画像Ｉに所定の補正処理を施して出力画像Ｉ’を出力する装置である。この補正処理は、関数として表現された補正特性Ｆ_ｋを用いて、式（１）のように表現可能である。式（１）において、添え字ｋは複数の補正特性を区別するインデックスであり、数ｎは、画像処理装置が補正処理に使用可能な補正特性の数である。
【００１６】
【数１】

【００１７】
従来の技術欄で説明したように、画像の中の各画素ごとに補正特性Ｆ_１〜Ｆ_ｎから１つの補正特性を選択して適用することにより、画像内の場所によって補正特性を連続的に変化させることができるが、このような補正処理には高い処理能力を有する画像処理装置が必要である。そこで、処理能力が低い画像処理装置（小規模のハードウエア回路またはリソースの制約が大きいマイクロコンピュータ等）に、これと同等の補正処理を可能ならしめるために様々な技術が適用される。以下では、この様々な技術のうちの主要な２つの技術である「技術１」「技術２」について説明する。
【００１８】
○「技術１」；
「技術１」は、多数の補正特性を用いた補正処理と同等の補正処理を、比較的処理能力が低い画像処理装置で実現する技術である。これは、ｎ個の補正特性Ｆ_ｋをｎ個のスカラのパラメータに置き換えることによって実現される。以下では、「技術１」について図１を参照しながら説明する。
【００１９】
図１は、「技術１」が適用された画像処理装置を説明する概念的ブロック図である。図１に示すように、画像処理装置１は、入力画像Ｉに補正処理を施す第１画像処理部１０および第２画像処理部１１を備える。第１画像処理部１０は、補正特性Ｆ_ａで入力画像Ｉの補正処理を行う。一方、第２画像処理部１１は、補正特性Ｆ_ｂで入力画像Ｉの補正処理を行う。補正特性Ｆ_ａ，Ｆ_ｂは固定された補正特性である。したがって、画像処理装置１は、２つの異なる補正特性Ｆ_ａ，Ｆ_ｂの補正手段しか保持していない。入力画像Ｉは、第１画像処理部１０および第２画像処理部１_１の両方で補正処理を施された後に、補正画像Ｉ_１’，Ｉ_２’として合成部１２へ出力される。
【００２０】
合成部１２では、補正画像Ｉ_１’，Ｉ_２’を合成して、１つの出力画像Ｉ’を出力する。合成部１２は、合成パラメータ供給部１３から入力された合成パラメータｈによって、補正画像Ｉ_１’，Ｉ_２’を合成する方法（補正画像Ｉ_１’，Ｉ_２’の合成特性）を変更可能に構成されている。たとえば、合成部１２は、式（２）で表現される、合成パラメータｈを含む線形結合の内挿式によって補正画像Ｉ_１’，Ｉ_２’から出力画像Ｉ’を算出するように構成されている。
【００２１】
【数２】

【００２２】
式（２）の内挿式によれば、合成パラメータｈは０以上１以下の値を取ることが許容される。そして、ｈ＝１の場合に出力画像Ｉ’は補正画像Ｉ_１’に一致し、ｈ＝０の場合に出力画像Ｉ’は補正画像Ｉ_２’に一致する。また、合成パラメータｈの値が０以上１以下の範囲内で変化すれば、式（２）で表現される合成方法は連続的に変化する。合成パラメータｈの変化にしたがって合成方法が「連続的に」変化するという性質があるために、画像処理装置１全体としての補正特性Ｆ_Ｔ（入力画像Ｉと出力画像Ｉ’との関係を規定する補正特性）を連続的に変化させることが可能になる。この性質は、後述するように、画像上で補正特性を連続的に変化させるために利用される。また、合成パラメータｈを定めれば、合成方法は一意に決定される。この性質により、合成パラメータｈを合成方法を特定する量として使用することが可能になる。
【００２３】
ここで、画像処理装置１において、ｎ個の補正特性Ｆ_ｋを有する場合と同等の補正処理を実現する方法を考える。補正特性Ｆ_Ｔをｎ通りに変化させるためには、合成部１２での合成方法をｎ通りに変化させればよく、これは合成パラメータｈをｎ通りに変化させることに相当する。したがって、合成パラメータ供給部１３にあらかじめ準備されたｎ個の合成パラメータｈ_１〜ｈ_ｎから、１つの合成パラメータを選択して合成パラメータｈとして合成部１２に入力することにより、補正特性Ｆ_Ｔをｎ通りに変化させることができる。
【００２４】
このような構成により、画像処理装置１は、２つの補正特性Ｆ_ａ，Ｆ_ｂしか保持していないにもかかわらず、ｎ個の補正特性Ｆ_Ｔが存在する場合と同等の処理を行うことが可能である。これは、２個の異なる補正特性Ｆ_ａ，Ｆ_ｂの内挿によって、画像処理装置１が多数の補正特性を保持しているのと同等の処理を可能ならしめるものである。換言すれば、ｎ個の補正特性Ｆ_Ｔをｎ個の合成パラメータｈ_１〜ｈ_ｎに置き換えることによって、画像処理装置の簡略化を実現するものである。これは、複雑な補正特性Ｆ_ｋを保持するよりもスカラ量である合成パラメータｈ_ｎを保持するほうが容易であることを利用したものである。したがって、補正特性Ｆ_ｋが複雑である場合ほど、画像処理装置の簡略化の効果が大きくなる。すなわち、非線形的な補正処理を行う場合や、多数の要素からなるマトリクスを使用して補正処理を行う場合において、「技術１」は特に好適に適用される。
【００２５】
なお、合成パラメータｈは、上記では離散的な値を取る例をあげたが、連続的な値を取ることも許容される。
【００２６】
○「技術２」；
「技術２」は、画像を分割して得られた複数の領域ごとに補正処理を行うことによって画像処理装置への過大な負荷を防止しつつ、隣接する領域間の境界を目立たなくする技術である。以下では、「技術２」について、図２〜図４を参照しながら説明する。
【００２７】
図２は、処理対象の画像２０が複数の部分領域２０ａ〜２０ｉに分割された状態を例示する図である。図２においては、点線ＤＬで表現される境界によって、画像２０が縦３行×横３列の９つの部分領域２０ａ〜２０ｉに分割されている。９つの部分領域２０ａ〜２０ｉの各々に合成パラメータを適用して、「技術１」で説明した補正処理を行うことにより、部分領域２０ａ〜２０ｉ別に異なる補正処理を実現可能である。しかし、このような補正処理に際し、隣接領域（たとえば、部分領域２０ａ，２０ｂ）に異なる合成パラメータｈが適用された場合、補正処理後の画像で当該隣接領域の境界が視認可能に現れることがある。
【００２８】
そこで、「技術２」においては、合成パラメータｈが隣接領域の境界付近で略連続的に変化するようにする。ここでは、部分領域２０ｄ，２０ｅの境界Ｂをまたぐ線分Ｌに注目して、この方法の概略を説明する。
【００２９】
まず、部分領域２０ｄ，２０ｅの中の補正点での合成パラメータｈを算出する基準となる基準合成パラメータｈ_ｄ，ｈ_ｅが定められる。そして、部分領域２０ｄ，２０ｅの中で、この基準合成パラメータｈ_ｄ，ｈ_ｅが合成パラメータｈとして適用される補正点をそれぞれ基準点Ｐ_ｄ，Ｐ_ｅとする。基準点Ｐ_ｄ，Ｐ_ｅの位置は制限されないが、ここでは、基準点Ｐ_ｄ，Ｐ_ｅは、部分領域２０ｄ，２０ｅの中心点とする。このとき、線分Ｌ（線分Ｐ_ｄＰ_ｅ）上の補正点Ｐ_ｃでの合成パラメータｈは、式（３）〜（５）で与えられる。なお、式（３）〜（５）で与えられる合成パラメータｈの変化を図３のグラフにも示す。ここで、基準点Ｐ_ｄ，基準点Ｐ_ｅ，補正点Ｐ_ｃおよび線分Ｌと境界Ｂとの交点Ｇの位置は、それぞれ、座標ｘ_ｄ，ｘ_ｅ，ｘ_ｃおよびｘ_ｇで表現されている。
【００３０】
【数３】

【００３１】
この式（３）〜（５）は、部分領域２０ｄ，２０ｅに基準合成パラメータが１つづつ定められれば、線分Ｌ上の補正点の合成パラメータが算出可能であることを示している。換言すれば、式（３）〜（５）は、２つの基準点Ｐ_ｄ，Ｐ_ｅの基準合成パラメータが定められれば、線分Ｌ上の補正点の合成パラメータが算出可能であることを示している。さらに換言すれば、画像の中の各点ごとに合成パラメータを定める代わりに、少数の基準点における合成パラメータを指定し、基準点以外の補正点の合成パラメータは、補正点と基準点との相対位置に基づいて決定する方法を式（３）〜（５）は示している。
【００３２】
なお、上述の説明では、１次元の線分上の補正点における合成パラメータの算出方法を説明したが、実際の画像表示装置においては、２次元の平面内の補正点において同様に合成パラメータが算出される。その具体的方法は、後述するデジタルカメラに搭載された画像処理装置の説明の中で説明される。
【００３３】
なお、式（３）〜（５）においては、線形的な補間により、線分Ｌ上の補正点における合成パラメータが算出されたが、たとえば、式（６）で表現されるような非線形的な補間も許容される。
【００３４】
【数４】

【００３５】
なお、補間方法は境界（図３のグラフで言えば座標ｘ_ｇ）付近で合成パラメータが略連続的に変化する方法であればよく、式（３）〜（６）で表現される方法に制限されない。たとえば、図４のグラフで表現されるような補間も許容される。この補間方法は、部分領域の中で、隣接領域との境界を含む周辺領域内のみで合成パラメータの補間を行い、隣接領域との境界を含まない中心領域では基準点に適用されたパラメータをそのまま適用する補間方法である。
【００３６】
これらの補間を採用すれば、画像の中の各点ごとに合成パラメータｈを指定する必要がないので、画像処理装置への過大な負荷を防止可能である。また、隣接領域の境界付近でパラメータｈが略連続的に変化するので、境界付近で画像処理装置全体としての補正特性が急激に変化することを防止可能である。したがって、補正処理後の画像で隣接した部分領域間の境界が視認可能に現れることを防止可能である。
【００３７】
＜＜デジタルカメラに搭載された画像処理装置＞＞
以下では、デジタルカメラに搭載された画像処理装置について説明を行う。
【００３８】
＜デジタルカメラの基本構成＞
図５〜図７は、本発明の一の実施の形態に係るデジタルカメラ２の基本構成を示す図であり、図５は平面図、図６は図５のＩＩ−ＩＩ位置から見た断面図、図７は背面図に相当する。これらの図は必ずしも三角図法に則っているものではなく、デジタルカメラ２の基本構成を概念的に例示することを主眼としている。
【００３９】
これらの図に示すように、デジタルカメラ２は、略直方体状をしており、図６の如く、撮影レンズであるマクロ機能付きレンズ群１０１の後方位置の適所にＣＣＤカラーエリアセンサ１０２を有する撮像回路１０３が設けられている。また、このレンズ群１０１は、変倍レンズ１０１ａと補償レンズ１０１ｂとを備えている。
【００４０】
一方、カメラ本体部１００の内部には、変倍レンズ１０１ａのズーム比の変更を行うためのズームモータＭ１、および補償レンズ１０２ｂを駆動して合焦を行うためのモータＭ２とが設けられている。
【００４１】
カメラ本体部１００の前面には、図５のようにグリップ部Ｇが設けられ、カメラ本体部１００の上端部の適所にポップアップ形式の内蔵フラッシュ１０４が設けられている。また、図７の如く、カメラ本体部１００の上面にはシャッターボタン１０５が設けられている。このシャッターボタン１０５については、フォーカス調整用などのトリガーとして用いる半押し状態と、記録用撮影のトリガーとして用いる全押し状態とを検出し、判別する機能を有してる。
【００４２】
一方、図７に示すように、カメラ本体部１００の背面には、撮影画像のライブビュー表示および記録画像の再生表示等を行うための液晶ディスプレイ（ＬＣＤ）１０６と電子ビューファインダ（ＥＶＦ）１０７とが設けられている。なお、光学ファインダとは異なり、ＣＣＤ１０２からの画像信号を表示に利用するＬＣＤ１０６とＥＶＦ１０７とがファインダとしての機能を担っている。
【００４３】
カメラ本体部１００の背面には、「撮影モード」と「再生モード」とを切換設定する撮影／再生モード設定スイッチ１０８が設けられている。撮影モードは、写真撮影を行うモードであり、再生モードは、メモリカード１０９に記録された撮影画像をＬＣＤ１０６に再生表示するモードである。
【００４４】
デジタルカメラ２の背面右方には、４連スイッチ１１０が設けられており、ボタンＬ、Ｒを押すことにより、ズームモータＭ１が駆動しズーミングを行い、その他、ボタンＵ、Ｄ、Ｌ、Ｒで各種操作を行う。
【００４５】
また、カメラ本体部１００の背面には、ＬＣＤボタン１１０、確定ボタン１１１、取消ボタン１１２、およびメニューボタン１１３が設けられている。
【００４６】
また、カメラ本体部１００の側面には、外部モニタ端子１１４が設けられている。この外部モニタ端子１１４は、デジタルカメラ２から外部モニタに画像データなどを伝送するための端子である。
【００４７】
図５に示すように、デジタルカメラ２はメモリカード１０９が装着されるようになっている。また、デジタルカメラ２は、４本の単三形乾電池Ｅ１〜Ｅ４を直列接続する電源電池Ｅを駆動源としている。
【００４８】
＜デジタルカメラの基本的な機能＞
図８は、デジタルカメラ２の基本的な機能ブロック図である。
【００４９】
ＣＣＤ１０２は、レンズ群１０１により結像された被写体の光像を、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。このＣＣＤ１０２は、インターライン方式の水平２０４８画素、縦方向に１５３６画素の約３１５万画素を有しており、フル画素の読み出しには７６８ラインずつを２回に分けて読み出されることとなる。
【００５０】
信号処理部１２０は、ＣＣＤ１０２の出力を受けてデジタル画像データ化するためのＣＤＳ（相関２重サンプリング）とＡ／Ｄコンバータとによって、デジタル画像データをデジタルカメラ用ＣＰＵ（以下では「メインＣＰＵ」という）２００に転送する。
【００５１】
タイミングジェネレータ（ＴＧ）１２１は、ＣＣＤ１０２の駆動を制御するための各種のタイミングパルスを生成するものであり、またＣＣＤ１０２から出力される画像信号の種類を切り替える機能も有している。なお、このＴＧ１２１とＣＣＤ１０２と一体となって、撮像手段として機能することとなる。
【００５２】
メインＣＰＵ２００は、デジタルカメラにとって必要な機能をワンチップ化したデジタル信号処理プロセッサ（ＤＳＰ）である。このメインＣＰＵ２００は、画像信号処理部２１１と、ＪＰＥＧ部２１２と、ビデオエンコーダ部２１３とを有している。また、メインＣＰＵ２００は、メモリカードコントローラ部２１４と、クロック生成部２１５と、ＳＩＯ（シリアルインターフェース）部２１６と、各部のコントロールを行うためのＲＩＳＣ−ＣＰＵコア２１７と、バスコントローラ２１８とを有している。
【００５３】
画像信号処理部２１１は、黒補正、ホワイトバランス（ＷＢ）、シェーディング補正、色補間、ガンマ補正、色空間変換、エッジ強調およびノイズ除去といった処理を行う。この画像信号処理部２１１の機能は後述する。
【００５４】
ＪＰＥＧ部２１２は、画像信号処理部２１１で処理した画像データをＪＰＥＧ圧縮、あるいはメモリカード８から読み込んだ画像データをＪＰＥＧ伸張する機能を有している。
【００５５】
ビデオエンコーダ部２１３は、画像信号処理部２１１で生成された画像データに処理を施し、ＮＴＳＣやＰＡＬなどの放送形態にあったデジタルコンポジット信号に変換した後、Ｄ／Ａコンバータによりアナログコンポジット信号に変換する。
【００５６】
メモリカードコントローラ部２１４は、メモリカード１０９に対し画像データなどの入出力を行う。
【００５７】
クロック生成部２１５は、ＴＧ１２１のためにクロックの送出を行う。
【００５８】
ＳＩＯ部２１６は、信号処理部１２０、ＴＧ１２１、カメラＣＰＵ２２０に対して制御を行うためのデータの送受を行う。
【００５９】
バスコントローラ２１８は、バス２１９を介して外部メモリ２３０に入出力されるデータを制御するもので、ＤＭＡ（ダイレクトメモリアクセス）コントローラとしての機能も有している。
【００６０】
外部メモリ２３０は、プログラムデータを格納するフラッシュＲＯＭ２３１と、画像データなどを蓄積するための揮発性のＤＲＡＭ（画像メモリ）２３２とで構成されている。このフラッシュＲＯＭ２３１には、記録媒体であるメモリカード１０９に記録されているプログラムデータをメモリカードコントローラ部２１４を介して格納することができる。これにより、この格納したプログラムをデジタルカメラ２の動作に反映することができる。
【００６１】
カメラＣＰＵ２２０は、デジタルカメラ２における動作の制御を行う。すなわち、カメラＣＰＵ２２０は、シャッターボタン１０５など使用者が操作する操作部材２２５と、レンズ群１０１などのメカニカルな機構の位置検出などを示す各部部材２２６と、ズームモータＭ１などのアクチュエータを駆動するアクチュエータ駆動部２２７と、内蔵フラッシュ１０４に接続されて、カメラシーケンスを実行する。
【００６２】
また、カメラＣＰＵ２２０は、焦点情報の算出を行うＡＦ演算部２２０ａと、露出情報の演算を行うＡＥ演算部２２０ｂと、合成パラメータ演算部２２０ｃとを備える。
【００６３】
ＡＦ演算部２２０ａは、画像データから画像のコントラストを算出する。そして、ＡＦ演算部２２０ａは、アクチュエータ駆動部２２７に制御信号を出力して、コントラストが最大となる位置にレンズ群１０１を移動することによって、合焦状態を実現する。
【００６４】
ＡＥ演算部２２０ｂは、画像を縦ｍ行横ｎ列に分割して得られる複数の領域（以下、測光領域と略記する）ごとに、画像データから輝度値を算出する。そして、当該輝度値が所定の閾値より小さい場合に、内蔵フラッシュ１０４に発光信号を出力する。また、算出した輝度値は、合成パラメータ演算部２２０ｃにも出力される。
【００６５】
合成パラメータ演算部２２０ｃは、ＡＥ演算部２２０ｂから入力された測光領域の輝度値に基づいて、測光領域内の補正点の合成パラメータの基準となる基準合成パラメータを決定する。さらに、基準合成パラメータから、合成パラメータを算出してＳＩＯ２１６およびバス２１９を介してＤＲＡＭ２３２へ転送する。合成パラメータ演算部２２０ｃの詳細は後述する。
【００６６】
＜画像信号処理部の詳細＞
画像信号処理部２１１は、ＤＲＡＭ２３２に格納されたＲＡＷ画像データ（信号処理部１２０からＤＲＡＭ２３２に転送された画像データ）に所定の補正処理を行い、再びＤＲＡＭ２３２に転送する画像処理装置としての機能を有する。以下では、この画像信号処理部２１１の詳細を図９のブロック図を参照しながら処理部別に説明する。なお、図９における各処理部とバス２１９と間には、フィールド画像メモリ（ＦＩＦＯ）３２１〜３３２が設けられている。ＦＩＦＯ３２１〜３２２，３２４〜３３１は、バス２１９を介して転送されてきた画像データや補正処理に必要なパラメータ等のデータを一時的に格納するバッファメモリである。これらのデータは同期を取りながら各処理部へ供給される。また、ＦＩＦＯ３２３，３３２は、画像データをＤＲＡＭ２３２に転送する場合に使用されるバッファメモリである。
【００６７】
○黒補正・ホワイトバランス（ＷＢ）部；
黒補正・ホワイトバランス部３０１は、バス２１９およびＦＩＦＯ３２１を介してＤＲＡＭ２３２から転送されてきたＲＡＷ画像データの黒レベルを基準の黒レベルへ補正し、しかるのちにホワイトバランスの調整を行う。ホワイトバランスの調整は、バス２１９およびＦＩＦＯ３２２を介してフラッシュＲＯＭ２３１から転送されてきたレベル変換テーブルに基づいて行われる。黒補正・ホワイトバランス部での処理が終了した画像データは、シェーディング補正部３０２に出力される。また、当該画像データは、ＡＦ演算およびＡＥ演算用の画像データとして、ＦＩＦＯ３２３およびバス２１９を介してＤＲＡＭ２３２に転送される。
【００６８】
○シェーディング補正部；
シェーディング補正部３０２は、レンズ群１０１の光軸の中心部分よりも周辺部分の照度が低下する、いわゆる「周辺光量落ち」を補正する。シェーディング補正は、周辺部分の光量低下率の逆数に比例する係数を、周辺部分の画像データに乗ずることにより行われる。この係数を記述したシェーディング補正データは、バス２１９およびＦＩＦＯ３２４を介してフラッシュＲＯＭ２３１から取得される。シェーディング補正部３０２での処理が終了した画像データは、色補間部３０３へ出力される。
【００６９】
○色補間部；
色補間部３０３は、Ｒ，Ｇ，Ｂのうち１つの原色成分のデータしか持たない各画素データに、他の２つの原色成分のデータを付加する色補間処理を行う。より具体的には、隣接した画素の画素データを補間することによって、不足している原色成分のデータを取得する。この補間処理に使用されるパラメータは、バス２１９およびＦＩＦＯ３２５を介してフラッシュＲＯＭ２３１から取得される。色補間部３０３での処理が終了した画像データは、ガンマ補正部３０４へ出力される。
【００７０】
○ガンマ補正部；
ガンマ補正部３０４は、画像データのガンマ補正を行う。このガンマ補正は、ガンマ補正特性を記述したガンマテーブルを用いて行われる。
【００７１】
ガンマ補正部３０４におけるガンマ補正では、１２ビットの入力画素データを１０ビットの出力画素データへ変換するので、１２ビットの値（０〜４０９５）の各々に１０ビットの値（０〜１０２３）を対応づけたガンマテーブルが使用される。すなわち、１０ビットの値を格納可能な４０９６個の参照テーブルの集合がガンマテーブルとして用いられる。このガンマテーブルにより、与えられた入力画像データに対する出力画像データを決定できるので、当該ガンマテーブルは「技術１」の説明で述べた補正特性に該当する。
【００７２】
ここで、ガンマ補正部３０４の構成について図１０のブロック図を参照しながら説明する。ガンマ補正部３０４は、図１０に示すように、ガンマテーブルＧＴ１を用いたガンマ補正を行う第１ガンマ補正部３４１と、ガンマテーブルＧＴ２を用いたガンマ補正を行う第２ガンマ補正部３４２とを備える。これらのガンマテーブルＧＴ１，ＧＴ２は、バス２１９およびＦＩＦＯ３２６を介してフラッシュＲＯＭ２３１から取得される。ガンマ補正部３０４に入力された画像データＩ_ｇは、第１ガンマ補正部３４１および第２ガンマ補正部３４２の両方に入力されてガンマ補正処理が行われる。第１ガンマ補正部３４１および第２ガンマ補正部３４２で補正処理が終了した画像データＩ_ｇ１’およびＩ_ｇ２’は、合成部３４３で合成され、１つの画像データＩ_ｇ’として色空間変換部３０５へ出力される。
【００７３】
ここで、合成部３４３での合成方法、すなわち、画像データＩ_ｇ１’，Ｉ_ｇ２’およびＩ_ｇ’の関係は、合成パラメータｈｇを含む式（７）で表現される。
【００７４】
【数５】

【００７５】
式（７）から明らかなように、合成方法は合成パラメータｈ_ｇの値によって異なる。すなわち、ｈ_ｇ＝１の場合は、画像データＩ_ｇ’は画像データＩ_ｇ１’に等しくなる。一方、ｈ_ｇ＝０の場合は、画像データＩ_ｇ’は画像データＩ_ｇ２’に等しくなる。０と１との間においては、ｈ_ｇが大きくなるほど、画像データＩ_ｇ’は画像データＩ_ｇ１’に近くなる。これは、合成パラメータｈ_ｇを変化させることによって、ガンマテーブルを変化させたのと同等の効果が得られることを示している。この合成パラメータｈ_ｇは合成パラメータ演算部２２０ｃで算出され、合成パラメータ演算部２２０ｃからガンマ補正部３０４へ、バス２１９およびＦＩＦＯ３２６を介して転送される。
【００７６】
ここで、ガンマテーブルＧＴ１およびＧＴ２の違いを図１１のグラフを参照しながら説明する。図１１のグラフの横軸は入力画素データ（０〜４０９５）であり、縦軸は出力画素データ（０〜１０２３）である。図１１には、ガンマテーブルＧＴ１およびＧＴ２の階調変換特性を表現する曲線３５１，３５２が示されている。なお、ガンマテーブルＧＴ１およびＧＴ２は離散的な数値の数値テーブルであるが、グラフ中では便宜的に連続値を取る連続関数として表現されている。
【００７７】
曲線３５１で表現されるガンマテーブルＧＴ１は、ＣＣＤ，表示装置（または出力装置），人間の視覚の階調特性を考慮して決定されたガンマテーブルである。そして、ガンマテーブルＧＴ１は、照度が十分である場合に本ガンマテーブルを用いてガンマ補正を行うと自然な視覚感が得られるように決められている。一方、曲線３５２で表現されるガンマテーブルＧＴ２は、入力画素データの値が小さい領域での傾きが曲線３５１よりも大きくなっている。このため、入力画素データの値が小さい領域では、出力画素データの値はガンマテーブルＧＴ１の場合よりもガンマテーブルＧＴ２のほうが著しく大きい。したがって、ガンマテーブルＧＴ２を用いたガンマ補正を行った場合、照度が不足している場合でも、ある程度閲覧に適した画像を得ることが可能である。すなわち、ガンマテーブルＧＴ２の階調変換特性は、不足している照度を見かけ上で上昇させる階調変換特性である。
【００７８】
上述の第１ガンマ補正部３４１および第２ガンマ補正部３４２は、いずれもリニアアンプではなく、ゲイン値のような単一のパラメータで補正特性を特定することができない。すなわち、補正特性の特定には複数のパラメータあるいは数値テーブルが必要となる。このように補正特性が複雑な場合、発明の実施の形態の冒頭で説明した「技術１」を適用することによって（多数のガンマテーブルを合成パラメータｈ_ｇで置き換えることによって）、補正処理を行う装置を複雑化することなく、多数の補正特性を保持する場合と同等の処理が可能になる。
【００７９】
なお、ガンマテーブルＧＴ２によるガンマ補正によって、照度不足の画像の閲覧性を向上可能ではあるが、このような階調変換によってノイズも強調され画像にノイズ感が生じるという問題もある。この対策として、ガンマテーブルＧＴ２の寄与が大きい階調変換を行った（合成パラメータｈ_ｇが小さい）場合は、コアリング部３０７でのノイズ除去量を大きく設定することによって、ノイズ感を目立たなくする対策が取られる（後述）。
【００８０】
○色空間変換部；
色空間変換部３０５は、画像データの色空間変換を行う。すなわち、色空間変換部３０５では、画像データの色空間がＲ，Ｇ，Ｂの原色成分を有する色空間から、輝度成分（Ｙ）と色差成分（Ｃｒ，Ｃｂ）とを有する色空間へ変換される。この色空間変換部３０５の変換は、式（８）に示すように、３行３列の色差マトリクスＣを用いて表現可能である。
【００８１】
【数６】

【００８２】
このマトリクスＣにより、与えられた入力画像データ（ＲＧＢ画像データ）に対する出力画像データ（ＹＣｒＣｂ画像データ）を決定できるので、当該マトリクスは「技術１」の説明で述べた補正特性に該当する。
【００８３】
ここで、色空間変換部３０５の構成について図１２のブロック図を参照しながら説明する。色空間変換部３０５は、ガンマ補正部３０４と同様に２種類の補正特性を有する。色空間変換部３０５は、図１２に示すように、色差マトリクスＣ１で表現される色空間変換を行う第１色空間変換部３６１と、色差マトリクスＣ２で表現される色空間変換を行う第２色空間変換部３６２とを備えている。これらの色差マトリクスＣ１，Ｃ２は、バス２１９およびＦＩＦＯ３２７を介して、フラッシュＲＯＭ２３１から取得される。
【００８４】
色空間変換部３０５に入力された画像データＩ_ｃ（＝Ｉ_ｇ’）は、第１色空間変換部３６１および第２色空間変換部３６２の両方に入力されて色空間変換が行われる。第１色空間変換部３６１および第２色空間変換部３６２で色変換処理が終了した後の画像データＩ_ｃ１’およびＩ_ｃ２’は、合成部３６３で合成され、１つの画像データＩｃ’として色空間フィルタ部３０６へ出力される。
【００８５】
ここで、合成部３６３での合成方法、すなわち、画像データＩ_ｃ１’，Ｉ_ｃ２’およびＩ_ｃ’の関係は、合成パラメータｈ_ｃを含む式（９）で表現される。
【００８６】
【数７】

【００８７】
式（９）から明らかなように、合成方法は合成パラメータｈ_ｃの値によって異なる。すなわち、ｈ_ｃ＝１の場合は、画像データＩ_ｃ’は画像データＩ_ｃ１’に等しくなる。一方、ｈ_ｃ＝０の場合は、画像データＩ_ｃ’は画像データＩ_ｃ２’に等しくなる。０と１との間においては、合成パラメータｈ_ｃが大きくなるほど、画像データＩ_ｃ’は画像データＩ_ｃ１’に近くなる。これは、合成パラメータｈ_ｃを変化させることによって、色差マトリクスＣを変化させたのと同等の効果が得られることを示している。先述したように、この合成パラメータｈ_ｃは合成パラメータ演算部２２０ｃで決定され、合成パラメータ演算部２２０ｃから色空間変換部３０５へバス２１９およびＦＩＦＯ３２７を介して転送される。
【００８８】
ここで、色差マトリクスＣ１は照度が十分である場合に適した色差マトリクスであり、色差マトリクスＣ２は照度が不十分である場合に適した色差マトリクスである。より具体的には、照度が不足している場合には人間の視覚では画像が赤みを帯びて感じられるので、相対的に赤みを抑えるような色差マトリクスが採用される。
【００８９】
上述の第１色空間変換部３６１および第２色空間変換部３６２は、第１ガンマ補正部３４１および第２ガンマ補正部３４２と異なり線形変換を行うものである。しかし、この変換特性の特定には９個のパラメータ（マトリクスの成分）が必要である。このように、変換特性が線形であっても、パラメータ数が多く複雑な変換処理が必要とされる場合には、発明の実施の形態の冒頭で説明した「技術１」を適用することによって（多数の変換マトリクスをパラメータｈ_ｃで置き換えることによって）、変換処理を行う装置を複雑化することなく、多数の変換特性を保持する場合と同等の処理が可能になる。
【００９０】
○色空間フィルタ部；
色空間フィルタ部３０６では、図１３のブロック図に示すように、色空間変換部３０５から入力された画像データＩ_ｃ’のうち、輝度成分Ｙが高周波輝度成分Ｙ_Ｈと低周波輝度成分Ｙ_Ｌとに分離される。この分離は、色空間フィルタ部３０６に設けられたローパスフィルタ（ＬＰＦ）３７１およびハイパスフィルタ（ＨＰＦ）３７２に輝度成分Ｙを入力することにより行われ、ＨＰＦ３７２を通過した成分が高周波輝度成分Ｙ_Ｈ、ＬＰＦ３７１を通過した成分が低周波輝度成分Ｙ_Ｌとして色空間フィルタ部３０６から出力される。一方、色差信号（Ｃｒ，Ｃｂ）は分離されずに色空間フィルタ部３０６から出力される。
【００９１】
○コアリング部；
コアリング部３０７には、色空間フィルタ部３０６から出力された高周波輝度成分ＹＨが入力される。高周波輝度成分Ｙ_Ｈは、輝度信号Ｙのうち輪郭（エッジ）を抽出した信号であるが、ノイズ成分を多く含んでいる。このため、コアリング部３０７では、高周波輝度成分Ｙ_Ｈからノイズ成分の除去を行う。
【００９２】
コアリング部３０７での処理特性の具体例を図１４のグラフに示す。図１４のグラフにおいては、横軸がコアリング処理前の高周波輝度成分Ｙ_Ｈであり、縦軸がコアリング処理後の高周波輝度成分Ｙ_Ｈ’となっている。また、２種類のコアリング処理特性ＣＲ１，ＣＲ２を示す折れ線３８１，３８２が図１４のグラフには示されている。コアリング処理特性ＣＲ１，ＣＲ２のいずれも、入力される高周波輝度成分Ｙ_Ｈの値が所定の閾値Ｔ１，Ｔ２より小さい場合は、出力される高周波輝度成分Ｙ_Ｈ’の値は０となる。一方、高周波輝度成分Ｙ_Ｈの値が閾値Ｔ１，Ｔ２以上の場合は、高周波輝度成分Ｙ_Ｈ’の値は高周波輝度成分Ｙ_Ｈの値が増加するにつれて０から連続的に大きくなっている。ここで、コアリング処理特性ＣＲ２の閾値Ｔ２はコアリング処理特性ＣＲ１の閾値Ｔ１より大きいので、ノイズ除去能力はコアリング処理特性ＣＲ１を適用した場合よりもコアリング処理特性ＣＲ２を適用した場合のほうが大きい。
【００９３】
さらに、上述のコアリング処理特性ＣＲ１，ＣＲ２においては、閾値以上での折れ線３８１，３８２の傾きは一定ではなく、高周波輝度成分Ｙ_Ｈの値によって変化している。すなわち、コアリング部３０７においても、非線形の補正処理が行われている。このような非線形の補正処理は、閾値付近でノイズ除去の特性が急激に変化して画像の閲覧者に違和感を与えることを防止するために行われている。しかし、このような処理では、ガンマ補正部３０４の説明で述べたのと同様に、単一のゲイン値のみでは補正特性を特定することができない。すなわち、このようなコアリング処理特性ＣＲ１，ＣＲ２の特定には、複数のパラメータ（傾き）や数値テーブルが必要となる。このような場合においても、「技術１」を適用することによって、補正処理を行う装置を複雑化することなく、多数の補正特性を保持する場合と同等の処理が可能になる。以下では、「技術１」が適用されたコアリング部３０７の構成を図１５のブロック図を参照しながら説明する。
【００９４】
コアリング部３０７は、図１５に示すように、コアリング処理特性ＣＲ１でコアリング処理を行う第１コアリング部３９１と、コアリング処理特性ＣＲ２でコアリング処理を行う第２コアリング部３９２とを備えている。コアリング部３０７に入力された高周波輝度成分Ｙ_Ｈは、第１コアリング部３９１および第２コアリング部３９２の両方に入力されてコアリング処理が行われる。第１コアリング部３９１および第２コアリング部３９２でコアリング処理が終了した高周波輝度成分Ｙ_Ｈ１’およびＹ_Ｈ２’は、合成部３９３で合成され、１つの高周波輝度成分Ｙ_Ｈ’として高周波輝度信号増幅器３０８へ出力される。
【００９５】
ここで、合成部３９３での合成方法、すなわち、高周波輝度成分Ｙ_Ｈ１’，Ｙ_Ｈ２’およびＹ_Ｈ’の関係は、合成パラメータｈ_ｙを含む式（１０）で表現される。
【００９６】
【数８】

【００９７】
式（１０）から明らかなように、合成方法は合成パラメータｈ_ｙの値によって異なる。すなわち、ｈ_ｙ＝１の場合は、高周波輝度成分Ｙ_Ｈ’は高周波輝度成分Ｙ_Ｈ１’に等しくなる。一方、ｈ_ｙ＝０の場合は、高周波輝度成分Ｙ_Ｈ’は高周波輝度成分Ｙ_Ｈ２’に等しくなる。０と１との間においては、合成パラメータｈ_ｙが大きくなるほど、高周波輝度成分Ｙ_Ｈ’は高周波輝度成分Ｙ_Ｈ１’に近くなる。これは、合成パラメータｈ_ｙを変化させることによって、コアリング処理特性を変化させたのと同等の効果が得られることを示している。先述したように、この合成パラメータｈ_ｙは合成パラメータ演算２２０ｃ部で決定され、合成パラメータ演算部２２０ｃからコアリング部３０７へ、バス２１９およびＦＩＦＯ３３０を介して転送される。
【００９８】
○高周波輝度信号増幅器；
高周波輝度信号増幅器３０８は、コアリング部３０７から出力された高周波輝度成分Ｙ_Ｈ’のレベル変換を行い、輝度信号合成器３０９へ出力する。高周波輝度成分Ｙ_Ｈ’は、輝度信号Ｙのうち輪郭（エッジ）を抽出した信号であるから、そのレベルを上げて低周波輝度成分Ｙ_Ｌに加算することにより、元の輝度成分Ｙよりエッジを強調した画像が得られる。また、レベルを変化させることにより、エッジ強調の度合いを変化させることができる。
【００９９】
当該高周波輝度信号増幅部３０８は、所定値を乗算するリニアアンプであってもよいが、非線形の処理を行ってもよい。非線形の処理を行う場合、ガンマ補正部３０４やコアリング部３０７と同様に、「技術１」を適用することによって、処理を行う装置を複雑化することなく、多数の処理特性を保持する場合と同等の処理が可能になる。また、コントラストが不足するレンズ群１０１の光軸から離れた周辺部においてコントラストを強調するようにしてもよい。
【０１００】
○輝度信号合成器；
輝度信号合成器３０９は、高周波輝度信号増幅器３０８から出力された高周波輝度成分Ｙ_Ｈと、低周波輝度成分Ｙ_Ｌとを合成する。これにより、エッジ強調がなされた輝度成分Ｙが得られる。輝度信号合成器３０９の出力はＦＩＦＯおよびバスを介してＤＲＡＭ２３０へ転送される。
【０１０１】
＜合成パラメータ演算部の詳細＞
以下では、合成パラメータ演算部２２０ｃにおける、合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙの算出方法を説明する。すなわち、デジタルカメラ２に搭載された画像処理機能に適用された「技術２」について説明する。
【０１０２】
先述したように、画像上の各点における合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙの値は、測光領域ごとに決定された基準合成パラメータｈ_ｇｓ，ｈ_ｃｓ，ｈ_ｙｓに基づいて算出される。以下では、合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙの演算プロセスを、基準合成パラメータｈ_ｇｓ，ｈ_ｃｓ，ｈ_ｙｓの決定プロセスと、合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙの算出プロセスとに分離して説明する。
【０１０３】
○基準合成パラメータの決定；
合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙの算出の基準となる基準合成パラメータｈ_ｇｓ，ｈ_ｃｓ，ｈ_ｙｓは、フラッシュＲＯＭ２３１に格納された数値テーブルに基づいて合成パラメータ演算部２２０ｃが決定する。ここで、フラッシュＲＯＭ２３１には、以下に列記する数値テーブル（ａ）〜（ｃ）が格納されている。
【０１０４】
（ａ）ガンマ補正用数値テーブル；
測光領域の輝度値とガンマ補正に関する基準合成パラメータｈ_ｇｓ（０≦ｈ_ｇｓ≦１）の値との対応を定義した数値テーブルである。ガンマ補正用数値テーブルは、輝度値が大きくなるほど対応する基準合成パラメータｈ_ｇｓの値も大きくなるように定義されている。これは、合成パラメータｈ_ｇが１に近づくほど、照度が十分な場合に適したガンマ補正がガンマ補正部３０４で行われることを反映している。
【０１０５】
（ｂ）色空間変換用数値テーブル；
測光領域の輝度値と色空間変換に関する基準合成パラメータｈ_ｃｓ（０≦ｈ_ｃｓ≦１）の値との対応を定義した数値テーブルである。色空間変換用数値テーブルは、輝度値が大きくなるほど対応する基準合成パラメータｈ_ｃｓの値も大きくなるように定義されている。これは、合成パラメータｈ_ｃが１に近づくほど、照度が十分な場合に適した色空間変換が色空間変換部３０５で行われることを反映している。
【０１０６】
（ｃ）コアリング用数値テーブル；
基準合成パラメータｈ_ｇｓ（０≦ｈ_ｇｓ≦１）の値とコアリングに関する基準合成パラメータｈ_ｙｓ（０≦ｈ_ｙｓ≦１）の値との対応を定義した数値テーブルである。コアリング用数値テーブルは、基準合成パラメータｈ_ｇｓが大きくなるほど対応する基準合成パラメータｈ_ｒｓの値も大きくなるように定義されている。これは、合成パラメータｈ_ｇが０に近づくほどコアリング部で照度が不十分な場合に適したコアリング処理が求められることを反映している。このようなコアリング用数値テーブルにより、ノイズ除去の必要性が高いガンマ補正処理がなされる場合には、自動的に強いノイズ除去がなされることになるので、処理後の画像でのノイズ感を低減可能である。
【０１０７】
合成パラメータ演算部２２０ｃは、ＡＥ演算部２２０ｂから各測光領域の輝度値を取得すると、フラッシュＲＯＭ２３１に格納された数値テーブル（ａ），（ｂ）を参照して、当該輝度値に対応する基準合成パラメータｈ_ｇｓ，ｈ_ｃｓの値を取得する。また、取得した基準合成パラメータｈ_ｇｓの値に対応する、基準合成パラメータｈ_ｙｓの値を数値テーブル（ｃ）を参照して取得する。以上により、基準合成パラメータｈ_ｇｓ，ｈ_ｃｓ，ｈ_ｙｓが各測光領域ごとに決定される。
【０１０８】
○合成パラメータの算出；
各測光領域の基準合成パラメータｈ_ｇｓ，ｈ_ｃｓ，ｈ_ｙｓが決定されると、合成パラメータ演算部２２０ｃは、各測光領域の中の点の合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｒの算出を行う。以下では、基準合成パラメータｈ_ｇｓ，ｈ_ｃｓ，ｈ_ｙｓから測光領域の中の各点における合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙを決定する方法について、合成パラメータｈ_ｇの場合を例にあげて説明する。
【０１０９】
図１６は、矩形の画像４００が縦ｍ行横ｎ列の矩形の測光領域に等分割された状態を模式的に示す図である。なお、測光領域の分割方法として他の方法を採用することも妨げられないが、このように矩形形状に等分割することにより、演算を簡略化することが可能である。また、画像４００においては、測光領域の境界が点線ＤＬで示されているが、これは境界を明確にするために便宜的に記載されており、実際の画像４００には含まれない。また、画像４００には、以後の説明のためにｘｙ直交座標系が定義されており、画像４００の横方向がｘ軸方向、画像の縦方向がｙ軸方向とされている。また、各測光領域の大きさは、縦Ｈ×横Ｗである。
【０１１０】
ここで、横ｐ列目縦ｑ行目の測光領域の基準合成パラメータをｈ_ｇｓ（ｐ，ｑ）、基準点Ｓ_ｐ，ｑの座標を（ｘ_ｐ，ｙ_ｐ）とする。また、基準点Ｓ_ｐ，ｑは、横ｐ列目縦ｑ行目の測光領域の中心点とする。また、合成パラメータｈ_ｇを算出する点ＰＸの座標を（Ｘ，Ｙ）とする。
【０１１１】
まず、式（１１），（１２）で示される領域Ｒ１に４つの基準点Ｓ_α，β，Ｓ_{α＋１，β}，Ｓ_{α，β＋１}，Ｓ_{α＋１，β＋１}が含まれる場合を考える。
【０１１２】
【数９】

【０１１３】
これは、点ＰＸの位置が画像の周辺部以外の領域にあり、近傍に４つの基準点が存在している場合に相当する。ここで、式（１１），（１２）で示される領域Ｒ１を図１６中にも図示した。領域Ｒ１の境界の一点破線ＢＬは、その線分上の点は領域Ｒ１に含まれないことを示す。また、実線ＳＬは、その線分上の点は領域Ｒ１に含まれることを示す。また、４つの基準点Ｓ_α，β，Ｓ_{α＋１，β}，Ｓ_{α，β＋１}，Ｓ_{α＋１，β＋１}および点ＰＸの相対的な位置関係を座標値とともに図１７の拡大図に示す。
【０１１４】
このように近傍に４つの基準点Ｓ_α，β，Ｓ_{α＋１，β}，Ｓ_{α，β＋１}，Ｓ_{α＋１，β＋１}が存在している場合は、点ＰＸにおける合成パラメータｈ_ｇは、値ａ，ｂ，ｗ，ｈを用いて式（１３）〜（１７）によって算出される。
【０１１５】
【数１０】

【０１１６】
これは、点ＰＸを通るｙ軸に平行な直線Ｌ’と、線分Ｓ_{α，β＋１}Ｓ_{α＋１，β＋１}との交点を点Ａ、直線Ｌ’と線分Ｓ_α，βＳ_{α＋１，β}との交点を点Ｂとしたときに（図１７参照）、点Ａにおける仮想的な合成パラメータａを、基準合成パラメータｈ_ｇｓ（α，β＋１），ｈ_ｇｓ（α＋１，β＋１）の直線補間により算出し、点Ｂにおける仮想的な合成パラメータｂを、基準合成パラメータｈ_ｇｓ（α，β），ｈ_ｇｓ（α＋１，β）の直線補間により算出し、さらに点ＰＸにおける合成パラメータｈ_ｇを、仮想的な合成パラメータａ，ｂの直線補間によって算出したものである。合成パラメータｈ_ｇは、基準合成パラメータｈ_ｇｓ（α，β），ｈ_ｇｓ（α＋１，β），ｈ_ｇｓ（α，β＋１），ｈ_ｇｓ（α＋１，β＋１）および点ＰＸと基準点Ｓ_α，β，Ｓ_{α＋１，β}，Ｓ_{α，β＋１}，Ｓ_{α＋１，β＋１}との相対位置によって決定されるので、多数の補正点（画素）に対応した合成パラメータをあらかじめ準備する必要はない。また、合成パラメータｈ_ｇは、線形的な補間によって算出されるので境界付近で合成パラメータが急激に変化することはない。逆に言えば、基準合成パラメータｈ_ｇｓの補間方法は、式（１３）〜（１５）に例示された方法に限られず、測光領域の境界付近で連続性を保つものであればよい。このような補間方法の採用により、隣接した測光領域の境界付近で補正特性（合成パラメータｈ_ｇの場合は階調変換特性）が急激に変化することはなく、境界が目立たない処理画像を得ることができる。これは、隣接した測光領域の境界付近では、隣接した両方の測光領域の基準合成パラメータｈ_ｇｓが同程度に合成パラメータｈ_ｇに寄与していることによる。
【０１１７】
なお、領域Ｒ１に４つの基準画素が含まれない場合、すなわち、画素ＰＸが画像４００の周辺部にある場合は、領域Ｒ１に含まれる基準点に係る基準合成パラメータの値のみを用いて、式（１３）〜（１７）の算出を行う。この場合、領域内に含まれない基準点に係る基準合成パラメータｈ_ｇｓは０とすればよい。
【０１１８】
ここでは、ガンマ補正に係る合成パラメータｈ_ｇの例をあげて説明を行ったが、他の合成パラメータｈ_ｃ，ｈ_ｙも同様にして算出可能であることは言うまでもない。
【０１１９】
＜デジタルカメラの撮影動作＞
デジタルカメラ２の撮影動作を図１８のフローチャートを参照しながら説明する。
【０１２０】
撮影動作の動作フローの最初のステップであるステップＳ１では、撮影準備の指示の検出が行われる。具体的には、シャッターボタン１０５の押下（半押し）の検出がカメラＣＰＵ２２０によって行われる。シャッターボタン１０５が半押し状態になったことが検出された場合、動作フローは次のステップＳ２へ移行する。検出されない場合、検出されるまでステップＳ１が繰り返される。
【０１２１】
以降のステップＳ２〜Ｓ５では、本撮影の撮影準備が行われる。以下では撮影準備のプロセスを順を追って説明する。
【０１２２】
ステップＳ２では、ＣＣＤ１０２によって取得された被写体の画像信号が、信号処理部１２０で処理され、ＲＡＷ画像データとしてＤＲＡＭ２３２へ転送される。転送が完了すると、動作フローはステップＳ３へ移行する。
【０１２３】
ステップＳ３では、ＤＲＡＭ２３２に格納されたＲＡＷ画像データが画像信号処理部２１１へ転送され、黒補正・ホワイトバランス部３０１で処理が行われる。この処理が終了した画像データは、ＡＥ演算およびＡＦ演算用の画像データとして、再びＤＲＡＭ２３２に転送される。転送が完了すると、動作フローはステップＳ４へ移行する。
【０１２４】
ステップＳ４では、ＡＦ演算部２２０ａが、ＤＲＡＭ２３２に格納されたＡＦ演算用の画像データを用いて、画像のコントラスト値の算出を行う。ＡＦ演算部２２０ａは、当該コントラスト値が最大になるようにレンズ群１０１の駆動を行い、合焦状態を実現する。さらに、ＡＥ演算部２２０ｂが測光領域の輝度値を算出し、当該輝度値を合成パラメータ演算部２２０ｃへ出力する。これらの処理が終了すると、動作フローはステップＳ５へ移行する。
【０１２５】
ステップＳ５では、合成パラメータ演算部２２０ｃにおいて合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙの算出が行われる。算出された合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙは、ＤＲＡＭ２３２に転送される。転送完了後、動作フローはステップＳ６へ移行する。
【０１２６】
ステップＳ６では、本撮影の指示の検出が行われる。具体的には、シャッターボタン１０５の押下（全押し）の検出がカメラＣＰＵ２２０によって行われる。シャッターボタン１０５が全押し状態になったことが検出された場合、動作フローは次のステップＳ７へ移行する。検出されない場合、検出されるまでステップＳ６が繰り返される。
【０１２７】
以降のステップＳ７〜Ｓ９では、本撮影が行われる。以下では本撮影のプロセスを順を追って説明する。
【０１２８】
ステップＳ７では、本撮影動作が開始され、本撮影に係る画像データが取得される。ステップＳ７では、まず、ＣＣＤ１０２によって取得された被写体の画像信号が、信号処理部１２０で処理され、ＲＡＷ画像データとしてＤＲＡＭ２３２へ転送される。続いて、ＤＲＡＭ２３２に格納されたＲＡＷ画像データは、画像信号処理部２１１へ転送され先述した補正処理が行われる。略同時に、補正処理に必要な合成パラメータｈ_ｇ，ｈ_ｃ，ｈ_ｙを画像信号処理部２１１はＤＲＡＭ２３２から取得する。画像信号処理部で２１１での処理が終了した画像データは再びＤＲＡＭ２３２へ転送される。転送終了後、動作フローはステップＳ８へ移行する。
【０１２９】
ステップＳ８では、取得された画像データの圧縮処理が行われる。すなわち、ＤＲＡＭ２３２に格納された画像データがＪＰＥＧ部２１２に転送され、ＪＰＥＧ圧縮が行われる。ＪＰＥＧ圧縮後の画像データは再びＤＲＡＭ２３２に転送される。転送完了後、動作フローはステップＳ９へ移行する。
【０１３０】
ステップＳ９では、圧縮された画像データがメモリカードコントローラ２１４を介してメモリカード１０９に記録され、撮影動作が終了する。
【０１３１】
以上の撮影動作により、ＣＣＤ１０２によって取得された画像信号はメモリカード１０９に格納されることになる。
【０１３２】
＜変形例＞
なお、上述の実施形態においては、輝度値に基づいてガンマ補正、色空間補正特性の合成パラメータを変化させていたが、合成パラメータの基準となる画像情報は輝度値に限られない。たとえば、色温度に基づいて、複数のホワイトバランス補正に係る合成パラメータを変化させるようにしてもよい。あるいは、フラッシュ撮影において、ＡＦ演算部２２０ａから得られるコントラストが最大となるレンズ位置から、各測光領域の被撮影物までの距離を算出し、予想されるフラッシュ到達量に基づいて合成パラメータを変化させてもよい。
【０１３３】
また、上述の実施形態においては、デフォルトで分割方法が決まっていた測光領域ごとに基準合成パラメータと基準点とを定めたが、輝度値が略同一の複数の測光領域を１つの領域とみなして、１つの基準合成パラメータと基準点を定めてよい。
【０１３４】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【０１３５】
［１］請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記第１補正手段および前記第２補正手段が階調変換手段であることを特徴とする画像表示装置。
【０１３６】
［１］の発明によれば、第１部分領域と第２部分領域との境界付近で階調変換特性が急激に変化することを防止できるので、第１部分領域と第２部分領域との境界が階調変換後の画像で目立たなくなる。これにより、画像の閲覧者に違和感を与えることを防止できる。
【０１３７】
［２］請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記第１補正手段および前記第２補正手段が色空間変換手段であることを特徴とする画像表示装置。
【０１３８】
［２］の発明によれば、第１部分領域と第２部分領域との境界付近で色空間変換特性が急激に変化することを防止できるので、第１部分領域と第２部分領域との境界が階調変換後の画像で目立たなくなる。これにより、画像の閲覧者に違和感を与えることを防止できる。
【０１３９】
［３］請求項１に記載の画像処理装置において、
前記第１合成特性がスカラのパラメータで特定されていることを特徴とする画像表示装置。
【０１４０】
［３］の発明によれば、スカラのパラメータを変化させることにより画像処理装置全体としての補正特性を変化させることができるので、処理能力が低い画像処理装置でも複雑な補正処理を行うことが可能になる。
【０１４１】
［４］請求項１に記載の画像処理装置において、
前記第１合成特性決定手段が、
前記第１合成特性が前記第１境界領域から前記第２境界領域にかけて略連続的に変化するように、前記第１合成特性を決定することを特徴とする画像処理装置。
【０１４２】
［４］の発明によれば、第１部分領域と第２部分領域との境界付近で、補正特性が急激に変化することを防止できるので、第１部分領域と第２部分領域との境界が補正処理後の画像で目立たなくなる。これにより、画像の閲覧者に違和感を与えることを防止できる。
【０１４３】
［５］請求項１に記載の画像処理装置において、
前記第１合成画像は、前記第１補正画像と前記第２補正画像との線形結合であることを特徴とする画像処理装置。
【０１４４】
［６］請求項１に記載の画像処理装置において、
前記第１補正特性および第２補正特性が非線形の補正特性であることを特徴とする画像表示装置。
【０１４５】
［７］請求項１に記載の画像処理装置において、
前記第１補正特性および第２補正特性が複数の要素を有するマトリクスであることを特徴とする画像処理装置。
【０１４６】
【発明の効果】
請求項１ないし請求項５の発明によれば、２種類の補正特性に対応した補正手段しか有していない画像処理装置でも多数の補正特性に対応した補正手段を有している画像処理装置と同等の画像補正処理が可能になるので、画像処理装置の簡略化や画像処理速度の向上を実現可能である。さらに、画像上で補正特性が急激に変化することがなくなるので、画像に見苦しい境界が生じない。
【０１４７】
また、請求項２の発明によれば、画像上の輝度値に応じて処理特性を変化させることができるので、画像内に照度が異なる被撮影物が共存している場合でも、自然な画像を得ることが可能である。
【０１４８】
また、請求項４の発明によれば、ノイズの除去量を画像内で変更することが容易であるので、画像上の要求に応じたノイズ除去が可能になる。
【０１４９】
また、請求項５の発明によれば、ノイズが強調されやすい補正処理がなされた領域では、ノイズの除去量が多くなるので、補正処理後の画像のノイズ感が低減される。
【図面の簡単な説明】
【図１】画像処理装置１の概念的ブロック図である。
【図２】画像２０が複数の部分領域２０ａ〜２０ｉに分割された状態を例示する図である。
【図３】合成パラメータｈの変化を示す図である。
【図４】合成パラメータｈの変化を示す図である。
【図５】デジタルカメラ２の平面図である。
【図６】デジタルカメラ２の断面図である。
【図７】デジタルカメラ２の背面図である。
【図８】デジタルカメラ２の基本的な機能ブロック図である。
【図９】画像信号処理部２１１のブロック図である。
【図１０】ガンマ補正部３０４のブロック図である。
【図１１】ガンマ補正特性を示すグラフである。
【図１２】色空間変換部３０５のブロック図である。
【図１３】色空間フィルタ部３０６のブロック図である。
【図１４】コアリング処理特性を示すグラフである。
【図１５】コアリング部３０７のブロック図である。
【図１６】画像４００の状態を例示する図である。
【図１７】領域Ｒ１の拡大図である。
【図１８】デジタルカメラ２の撮影動作を説明するフローチャートである。
【符号の説明】
１画像処理装置
２デジタルカメラ
２０，４００画像
２０ａ〜２０ｉ部分領域
１００デジタルカメラ本体部
１０１レンズ群
１０１ａズームレンズ
１０１ｂ補償レンズ
１０２ＣＣＤ
１０３撮像回路
１０４内蔵フラッシュ
１０５シャッターボタン
１０６ＬＣＤ
１０７ＥＶＦ
１０８モード切替スイッチ
１０９メモリカード
１１４外部モニタ端子
Ｐ_ｄ，Ｐ_ｅ，Ｓ_α，β，Ｓ_{α＋１，β}，Ｓ_{α，β＋１}，Ｓ_{α＋１，β＋１} 基準点

Claims

画像処理装置であって、
入力画像を第１補正特性に基づいて処理して、第１補正画像を出力する第１補正手段と、
前記入力画像を第２補正特性に基づいて処理して、第２補正画像を出力する第２補正手段と、
前記第１補正画像と前記第２補正画像とを第１合成特性に基づいて合成して、第１合成画像を出力する第１合成手段と、
前記入力画像の全体領域を分割して得られる第１部分領域の中の補正位置における前記第１合成特性を生成する基準となる第１基準合成特性を、前記入力画像の前記第１部分領域内の画像情報に基づいて決定する第１基準合成特性決定手段と、
前記入力画像の全体領域を分割して得られる第２部分領域の中の補正位置における前記第１合成特性を生成する基準となる第２基準合成特性を、前記入力画像の前記第２部分領域内の画像情報に基づいて決定する第２基準合成特性決定手段と、
前記入力画像の全体領域の中の補正位置における前記第１合成特性を決定する第１合成特性決定手段と、
を備え、
前記第１合成特性決定手段が、
前記第１部分領域の中の第１境界領域と、前記第２部分領域の中の第２境界領域とが境界を挟んで互いに隣接する場合において、
前記第１境界領域および前記第２境界領域の中の補正位置における前記第１合成特性を、前記第１基準合成特性および前記第２基準合成特性の両方に基づいて決定することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像情報が輝度値であることを特徴とする画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記第１境界領域および前記第２境界領域の中の補正位置の前記第１合成特性が、前記第１部分領域の中の第１基準点および前記第２部分領域の中の第２基準点と前記補正位置との相対位置と、前記第１基準合成特性および前記第２基準合成特性とに基づいて決定されることを特徴とする画像処理装置。
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
ノイズ除去手段をさらに備え、
前記ノイズ除去手段は、
前記第１合成画像を第１ノイズ除去特性に基づいて処理して、第１ノイズ除去画像を出力する第１ノイズ除去手段と、
前記第１合成画像を第２ノイズ除去特性に基づいて処理して、第２ノイズ除去画像を出力する第２ノイズ除去手段と、
前記第１ノイズ除去画像と前記第２ノイズ除去画像とを第２合成特性に基づいて合成して、第２合成画像を出力する第２合成手段と、
前記第１部分領域の中の補正位置における前記第２合成特性を生成する基準となる第３基準合成特性を決定する第３基準合成特性決定手段と、
前記第２部分領域の中の補正位置における前記第２合成特性を生成する基準となる第４基準合成特性を決定する第４基準合成特性決定手段と、
前記入力画像の全体領域の中の補正位置における前記第２合成特性を決定する第２合成特性決定手段と、
を備え、
前記第２合成特性決定手段が、
前記第１境界領域および前記第２境界領域の中の補正位置における前記第２合成特性を、前記第３基準合成特性および前記第４基準合成特性の両方に基づいて決定することを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記第３基準合成特性決定手段が、前記第１基準合成特性に基づいて前記第３基準合成特性を決定し、
前記第４基準合成特性決定手段が、前記第２基準合成特性に基づいて前記第４基準合成特性を決定することを特徴とする画像処理装置。