JP2004120589A

JP2004120589A - 信号処理装置、撮像装置、信号処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP2004120589A
Application number: JP2002283650A
Authority: JP
Inventors: Takaaki Fukui; 福井　貴明
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-27
Filing date: 2002-09-27
Publication date: 2004-04-15

Abstract

【課題】カラー画像データに対して最適な階調変換を行う。
【解決手段】光学像を電気信号に変換するＣＣＤ撮像素子５０１から出力されるカラー画像データを処理するための信号処理装置であって、ＣＣＤ撮像素子５０１から出力される画像の特徴量及び撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択回路５２３と、階調変換特性選択回路５２３により選択された階調変換特性に基づいて、ＣＣＤ撮像素子５０１から出力されるカラー画像データの階調変換を行う階調変換回路５０５とを備える。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置、撮像装置、信号処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体に係り、更に詳しくは、カラー画像データに対して撮影画像に応じて最適な階調変換を行うものに関する。
【０００２】
【従来の技術】
従来の撮像装置における輝度信号作成例を説明する。図９は従来の撮像装置の信号処理ユニットの構成を示すブロック図である。ＣＣＤ撮像素子５０１からの信号（カラー画像データ）は、ホワイトバランス回路５０２で白のゲインが調整され、色信号作成回路５０３で色変換マトリックスや階調変換などの処理が行われて、色差信号が作成されて出力される。
【０００３】
また、輝度信号処理として、ホワイトバランス回路５０２からの信号は、輝度信号作成回路５０４で補間やエッジ強調などの処理が行われ、輝度信号が作成される。その後、輝度階調変換回路５０５によって階調変換が行われ、輝度補正回路５０６によって輝度信号の色相に応じた輝度信号補正が行われて、輝度信号として出力される。
【０００４】
前記作成された色信号と輝度信号は、画像圧縮回路５０７によって画像圧縮され、画像記録回路５０８によって記録媒体５０９に格納される。
【０００５】
ところで、近年のデジタルカメラにおける輝度階調変換は、モニタ特性の逆特性である、
Ｙ´＝Ｙγ　　　　：γ＝０．４５
のように数値で定義し、その演算式に沿って階調変換する手法や、Ｌｕｔ（ルックアップテーブル）などを用いて所定の階調変換特性によってなされている。また、これらの階調特性も、撮影モードによって、例えばポートレートモードや風景モードなどに応じて所定の階調変換特性をあらかじめデジタルカメラ内に設定しておくことによって階調変換がなされている。これらの手法は、あらかじめカメラ内に設定されている階調変換特性のみを用いて階調変換を行うことになる。
【０００６】
一方、実際にカメラで撮影を行うと、撮影条件によってはフレアーが生じることにより、白っぽく霧がかかったような画像になることや、風景などのシーンなどではよりくっきりとした画像が求められることがある。
【０００７】
つまり、撮影シーンや被写体に応じて最適な階調特性はさまざまであり、撮影シーンに応じた最適な階調変換特性を選択することは、より好ましい画像を得る上において非常に重要である。各社デジタルカメラにおいては、ユーザによってコントラストを選択できる機能を持つものも存在する。
【０００８】
また、特許文献１によると、「情報取得手段で取得されたダイナミックレンジに関する情報を合成する情報合成回路と、該情報合成回路で合成された合成情報のヒストグラムを算出するヒストグラム演算回路と、該ヒストグラム演算回路で算出されたヒストグラムのうち、所定値以上の度数のヒストグラムに基づいて階調変換特性を算出する変換特性演算回路と、を有する撮像装置」が開示されており、階調を自動補正する手法として、基本的な階調変換特性に対して、演算によって階調変換特性を可変させる手法が提案されている。
【０００９】
【特許文献１】
特開２００２−１３５６４８号公報（請求項４）
【００１０】
【発明が解決しようとする課題】
しかしながら、前述したように画像に最適な階調変換特性は被写体や撮影シーンによって異なる為、撮影するごとに設定しなおす必要があるが、現状のデジタルカメラの液晶ディスプレイは、ＰＣ（パーソナルコンピュータ）モニタ上で見るのとは差があるため、出来上がりの画像を予想するのは難しく、最適な選択をすることは難しい。
【００１１】
また、Ａｄｏｂｅ社のＰｈｏｔｏｓｈｏｐ（Ｒ）など、ＰＣ上での画像閲覧用アプリケーションソフトにおいて、自動コントラスト補正やフレアー除去機能を有するものがある。しかしながら、これらの補正はデジタルカメラ等で画像圧縮された画像に対して行われる。一般的にデジタルカメラで用いられるファイルフォーマットであるＪＦＩＦは、各色８ビットで構成され、その画像に対して８ビット→８ビットの階調変換を行うと、階調飛びが生じることや、階調飛びを押さえる為のディザを加えるなどの処理を行うことになり、画像劣化が生じてしまう。
【００１２】
また、ユーザが階調変換特性を選択することや、ＰＣアプリケーションでレタッチ補正をせずに、カメラ内の機能として最適な階調変換特性が自動選択されることで、ユーザの面倒を減らすことができ、より好ましいことであることは言うまでもない。
【００１３】
前述したような特許文献１に記載の手法の場合、階調変換特性を演算により求める必要があるため、所定の数式演算の範囲でしか変化させることができない。また、柔軟な階調特性に変化させるにはそれだけの演算が必要になり、演算規模が非常に大きくなってしまう。
【００１４】
Ｌｕｔで階調変換を行う場合には、一般的にＬｕｔからの補正量を演算等で定義し、変換特性を算出することが行われているが、この手法においても上記の理由から柔軟な階調特性を変換させることは難しかった。
【００１５】
本発明は上記の点に鑑みてなされたものであり、カラー画像データに対してさまざまな撮影シーンに合わせた最適な階調変換を規模の大きな演算を行うことなく柔軟に行うことを可能とすることを目的とする。
【００１６】
【課題を解決するための手段】
本発明の信号処理装置は、光学像を電気信号に変換する撮像手段から出力されるカラー画像データを処理するための信号処理装置であって、前記撮像手段から出力される画像の特徴量を抽出する特徴量抽出手段と、撮影条件を取得する撮影条件取得手段と、前記画像特徴量抽出手段により得られた画像の特徴量及び前記撮影条件取得手段により得られた撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力されるカラー画像データの階調変換を行う階調変換手段とを備えた点に特徴を有する。
【００１７】
本発明の信号処理方法は、光学像を電気信号に変換する撮像手段から出力されるカラー画像データを処理するための信号処理方法であって、前記撮像手段から出力される画像の特徴量を抽出する特徴量抽出手順と、撮影条件を取得する撮影条件取得手順と、前記画像特徴量抽出手順により得られた画像の特徴量及び前記撮影条件取得手順により得られた撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手順と、前記階調変換特性選択手順により選択された階調変換特性に基づいて、前記撮像手段から出力されるカラー画像データの階調変換を行う階調変換手順とを有する点に特徴を有する。
【００１８】
本発明のプログラムは、光学像を電気信号に変換する撮像手段から出力されるカラー画像データの処理をコンピュータに実行させるプログラムであって、前記撮像手段から出力される画像の特徴量を抽出する特徴量抽出処理と、撮影条件を取得する撮影条件取得処理と、前記画像特徴量抽出処理により得られた画像の特徴量及び前記撮影条件取得処理により得られた撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択処理と、前記階調変換特性選択処理により選択された階調変換特性に基づいて、前記撮像手段から出力されるカラー画像データの階調変換を行う階調変換処理とを実行させる点に特徴を有する。
【００１９】
本発明のコンピュータ読み取り可能な記憶媒体は、前記本発明のプログラムを格納した点に特徴を有する。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。図１は本実施の形態の撮像装置の信号処理ユニットの構成を示すブロック図である。なお、図９に示した撮像装置と同様の構成要素に同一の符号を付し、その詳細な説明を省略する。
【００２１】
ＣＣＤ撮像素子５０１から出力された信号（カラー画像信号）は、特徴量抽出回路５２１によって画像の特徴量が抽出される。その抽出された特徴量、及び露出制御部５２４からの撮影した際の露出情報信号、及び撮影モード制御部５２５からの撮影モード設定情報をもとに、階調変換特性選択回路５２３によって階調変換特性候補記憶部５２２から最適な階調変換特性が選択され、その階調変換特性が輝度階調変換回路５０５に設定される。
【００２２】
図２には、本実施の形態における階調変換特性候補記憶部５２２に記憶される階調変換特性候補を示す。図中横軸は輝度値を、縦軸は度数を表す。
【００２３】
以下、具体的に階調変換特性の選択方法について説明する。
【００２４】
まず、フレアー現象が生じた例で具体的に動作について説明する。図３（ｂ）は、例えば図３（ａ）のような画像の輝度のヒストグラムを示した例だとする。図３（ａ）のシーンにおいてフレアーが生じた場合、図４（ａ）に示すように全体として白っぽくコントラストのない画像となる。
【００２５】
そのように撮影された場合、図３（ｂ）のヒストグラムに対して、図４（ｂ）に示すようにヒストグラムが変化する。図３（ｂ）と図４（ｂ）を比較すると、フレアーのため黒浮きし、低輝度部の度数が減るという特徴がある。
【００２６】
フレアーが生じるシーンとしては、明るいシーンで画像内に強い光が入っている場合や、水面などから来る乱反射した光がある場合に良く起こる。
【００２７】
これらを組み合わせると、
露出制御部５２４により明るいシーンであること
ヒストグラム算出回路（画像特徴量抽出回路５２１）により低輝度の度数が少ないこと
という特徴が得られた場合に、コントラストの高い、特に低輝度部を沈める階調変換特性を選択することで、より最適な画像が得られる。図５は、コントラストの高くした階調変換特性の例を示す。
【００２８】
なお、この例では、画像特徴量抽出回路５２１がヒストグラムを用いて低輝度部の度数を算出するヒストグラム算出回路であるとしたが、ある閾値以下の度数を算出するような低輝度部度数算出回路を用いても良いことは言うまでもない。
【００２９】
次に、夜景で撮影した例で具体的に動作について説明する。図６に、夜景シーンを撮影した場合の代表的な輝度のヒストグラムを示す。図６に示すように、夜景の場合、非常に暗い低輝度部と非常に明るい高輝度部が画像の大半を占めることが多く、ヒストグラムとしては二極化する特徴を持つことが多い。また、露出制御も暗いシーンであることが多い。
【００３０】
これらを組み合わせると、
ヒストグラム算出回路（画像特徴量抽出回路５２１）によりヒストグラムが高輝度部及び低輝度部に二極化していること
露出制御部５２４により被写体が非常に暗いこと
という特徴が得られた場合、夜景である可能性が非常に高い。
【００３１】
夜景の場合、低輝度部分が浮いてくると画像として好ましくない。そのような場合、低輝度のみ沈めた階調変換特性のガンマである方が好ましい。図７は、低輝度部を沈めた夜景用階調変換特性の例を示す。
【００３２】
なお、この例では、画像特徴量抽出回路５２１がヒストグラム算出回路である例を説明したが、ある閾値以下の度数を算出するような低輝度部度数算出回路と、別の閾値以上の度数を算出するような高輝度部度数算出回路の二つの回路を用いて実現しても良いことは言うまでもない。
【００３３】
また、高輝度部のみの度数が非常に大きい場合、高輝度部において階調表現ができるような階調特性を選択することで、より豊かな階調表現が可能となる。図８は、高輝度部表現用階調変換特性の例を示す。
【００３４】
また、撮影者によって、明示的に夜景モードのようなシーンを特定されたことで、特定の階調変換特性を選択しても良いことは言うまでもない。
【００３５】
また、図示しないフラッシュの発光・非発光の条件によって特定の階調変換特性を選択しても良いことは言うまでもない。特にフラッシュが最大発光量に近く発光した場合、コントラストが強い画像になる場合が多い。コントラストを低くめの階調特性を選択することで、より好適な画像が得られる。さらに、オートフォーカスの結果、非常に近距離の被写体でフラッシュが発光された場合においても、ハイライト部分がきつくなる為、コントラストを低めの階調変換特性を選択することで、より好適な画像が得られる。
【００３６】
（その他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００３７】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。そのプログラムコードの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネット等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００３８】
さらに、上記プログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００３９】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることはいうまでもない。
【００４０】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００４１】
なお、上記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００４２】
【発明の効果】
以上述べたように本発明によれば、カラー画像データに対してさまざまな撮影シーンに合わせて撮影画像に応じた最適な階調変換を規模の大きな演算を行うことなく柔軟に行うことができる。特に、デジタルカメラのように撮像装置の中で、非可逆圧縮される前に最適な階調変換特性が選択されるようにすれば、画像劣化させることなく最適な画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本実施の形態の撮像装置の信号処理ユニットの構成を示すブロック図である。
【図２】本実施の形態における階調変換特性候補を示す図である。
【図３】（ａ）がサンプル画像を示す図、（ｂ）がサンプル画像の明るさレベルによるヒストグラムを示す図である。
【図４】（ａ）がフレアーが生じたサンプル画像を示す図、（ｂ）がフレアー現象が生じたサンプル画像の明るさレベルによるヒストグラムを示す図である。
【図５】フレアー対策階調変換特性の例を示す特性図である。
【図６】夜景撮影した場合の明るさレベルによるヒストグラムの例を示す図である。
【図７】夜景用階調変換特性の例を示す特性図である。
【図８】高輝度部表現用階調変換特性の例を示す特性図である。
【図９】従来の撮像装置の信号処理ユニットの構成を示すブロック図である。
【符号の説明】
５０１　撮像素子
５０２　ホワイトバランス回路
５０３　色信号作成回路
５０４　輝度信号作成回路
５０５　輝度階調変換回路
５０６　輝度補正回路
５０７　画像圧縮回路
５０８　画像記録回路
５０９　記録媒体
５２１　画像特徴量抽出回路
５２２　階調変換特性候補記憶部
５２３　階調変換特性選択回路
５２４　露出制御部
５２５　撮影モード制御部

Claims

光学像を電気信号に変換する撮像手段から出力されるカラー画像データを処理するための信号処理装置であって、
前記撮像手段から出力される画像の特徴量を抽出する特徴量抽出手段と、
撮影条件を取得する撮影条件取得手段と、
前記画像特徴量抽出手段により得られた画像の特徴量及び前記撮影条件取得手段により得られた撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、
前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力されるカラー画像データの階調変換を行う階調変換手段とを備えたことを特徴とする信号処理装置。
前記階調変換手段により階調変換されたカラー画像データを圧縮し記録する画像圧縮記録手段を備えたことを特徴とする請求項１に記載の信号処理装置。
前記特徴量抽出手段は、前記撮像手段からの出力値に対し、第１の所定閾値以下の信号に対する度数を算出する第１の度数算出手段、
前記撮像手段からの出力値に対し、第２の所定閾値以上の信号に対する度数を算出する第２の度数算出手段、
前記撮像手段から出力値に対し、その度数分布を算出する度数分布算出回路のいずれか又はその組合せによって構成されることを特徴とする請求項１又は２に記載の信号処理装置。
前記撮影条件取得手段は、撮影条件として、露出情報、撮影モード設定情報、オートフォーカスの結果、フラッシュの発光量のいずれか又はその組合せを取得すること特徴とする請求項１〜３のいずれか１項に記載の信号処理装置。
前記撮像手段を備えるとともに、請求項１〜４のいずれか１項に記載の信号処理装置を内蔵することを特徴とする撮像装置。
光学像を電気信号に変換する撮像手段から出力されるカラー画像データを処理するための信号処理方法であって、
前記撮像手段から出力される画像の特徴量を抽出する特徴量抽出手順と、
撮影条件を取得する撮影条件取得手順と、
前記画像特徴量抽出手順により得られた画像の特徴量及び前記撮影条件取得手順により得られた撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手順と、
前記階調変換特性選択手順により選択された階調変換特性に基づいて、前記撮像手段から出力されるカラー画像データの階調変換を行う階調変換手順とを有することを特徴とする信号処理方法。
光学像を電気信号に変換する撮像手段から出力されるカラー画像データの処理をコンピュータに実行させるプログラムであって、
前記撮像手段から出力される画像の特徴量を抽出する特徴量抽出処理と、
撮影条件を取得する撮影条件取得処理と、
前記画像特徴量抽出処理により得られた画像の特徴量及び前記撮影条件取得処理により得られた撮影条件に基づいて、あらかじめ定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択処理と、
前記階調変換特性選択処理により選択された階調変換特性に基づいて、前記撮像手段から出力されるカラー画像データの階調変換を行う階調変換処理とを実行させることを特徴とするプログラム。
請求項７に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。