JP2004363726A

JP2004363726A - 画像処理方法及びデジタルカメラ

Info

Publication number: JP2004363726A
Application number: JP2003157168A
Authority: JP
Inventors: Manabu Hyodo; 学兵藤; Koichi Sakamoto; 浩一坂本; Masahiko Sugimoto; 雅彦杉本; Hirokazu Kobayashi; 寛和小林
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-06-02
Filing date: 2003-06-02
Publication date: 2004-12-24
Anticipated expiration: 2023-06-02
Also published as: JP4568484B2

Abstract

【課題】広いダイナミックレンジを有する画像を得るのに好適なデジタルカメラを提供する。
【解決手段】ＣＣＤにより取得されたアナログの撮像信号は、アナログ信号処理回路によりデジタル変換され、各画素ごとに階調値を持つ画像データとして出力される。階調変換部は、入力された画像データの持つ階調値を調べて明度平均値の最大値を検出して、この明度平均値の最大値に応じて階調変換テーブルを決定する。この後、階調変換部は、階調変換テーブルに基づいて階調変換処理を行う。階調変換処理では、主要被写体に相当する低輝度域は階調値の出入力特性の傾きが大きくなるように、高輝度域は出入力特性の傾きが小さくなるように、入力された画像データの階調値が変換される。
【選択図】図５

Description

【０００１】
【発明の属する技術分野】
本発明は、画素ごとに信号値を持つ画像データに対して所定の階調変換処理を施す画像処理方法、及び、デジタルカメラに関するものである。
【０００２】
【従来の技術】
撮像装置の１つとして、デジタルカメラが広く普及している。デジタルカメラは、撮影レンズの背後にＣＣＤやＣＭＯＳなどの撮像素子が設けられており、撮像素子から出力される撮像信号に基づいて画像データを生成し、生成した画像データをメモリカードなどの記憶媒体に記録する。
【０００３】
デジタルカメラを用いて低輝度の被写体を撮像する場合、得られる撮像信号は全体として小さく、また、被写体を再生する際に階調の幅として再現される撮像信号の信号値の幅も狭い。これにより、画像データを再生した際に、暗く、階調の乏しい画像として再現されてしまう。
【０００４】
このため、低輝度の被写体を撮像する場合には、ゲインアップという感度向上技術が用いられる。ゲインアップは、撮像素子から出力される撮像信号を一定の倍率で増幅するものである。ゲインアップを行うことによって、低輝度の被写体であっても明るく、また、階調豊かに再現することができる。
【０００５】
しかし、高輝度の被写体を撮像した場合に、ゲインアップを行ってしまうと、再現可能な階調幅以上に撮像信号が増幅されてしまい、いわゆる白飛びとして再現されてしまう。このような理由から、ゲインアップは、被写体に輝度の高い部分と低い部分とがある場合には適さない。
【０００６】
そこで、下記特許文献１、及び、特許文献２には、高感度の撮影を行い、被写体の低輝度部分を再現するのに適した第１の撮像素子と、低感度の撮影を行い、被写体の高輝度部分を再現するのに適した第２の撮像素子とを設け、これら２種類の撮像素子により得られた２種類の画像を合成することにより、広いダイナミックレンジを有する画像を得ることのできる撮像装置が記載されている。
【０００７】
【特許文献１】
特開２００１−８１０４号公報
【特許文献２】
特開２００２−１６５２２６号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、２種類の撮像素子を別個に設けた場合には、装置の大型化やコストの増加を招いてしまう。また、高感度の撮像素子と低感度の撮像素子とを交互に配置するなどして共通のエリアに２種類の撮像素子を設けた場合には、得られる画像の解像度が低下してしまうという問題があった。
【０００９】
こういった問題は、１種類の撮像素子によっても、初めに高感度モードで撮影し、続けて低感度モードで撮影し、２つの画像を撮影後に合成するといった方法を用いれば解決することができる。ところが、この方法では、撮影に時間がかかってしまうだけではなく、２回の撮影を行う間に被写体が動いてしまった場合には、正常な画像を得ることができなくなる。
【００１０】
本発明は、上記問題点を解決するためになされたもので、簡単な構成で画質の低下を招くことがなく、ダイナミックレンジの拡大を図ることのできる画像処理方法、及び、デジタルカメラを提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理方法は、階調値の出入力特性が非線形に変化する階調変換特性を複数備え、画像の輝度に応じて選択された階調変換特性に基づき、階調値の変換処理を行うことを特徴としている。
【００１２】
また、本発明のデジタルカメラは、階調値の出入力特性が非線形に変化する階調変換特性を複数備え、画像の輝度に応じて選択された階調変換特性に基づき、階調値の変換処理を行う階調変換部を備えたことを特徴としている。前記階調変換部において階調変換処理がなされた画像を表示する表示手段を設けてもよい。
【００１３】
前記階調値の変換処理は、選択された階調変換特性に基づく階調値の変換処理の後に、ガンマ変換特性に基づくガンマ変換処理が行われるようにしてもよい。また、前記階調変換特性は、画素データの入力階調値が大きい領域では、画素データの入力階調値が小さな領域に対して出力階調値が緩やかに変化するようにしてもよい。また、画像を複数の領域に分割して、少なくとも一の前記領域において輝度平均値を算出し、輝度平均値の最大値より用いるべき階調変換特性を決定するようにしてもよい。
【００１４】
【発明の実施の形態】
本発明を実施したデジタルカメラ１０の前面側の斜視図を図１（Ａ）に、背面側の斜視図を同図（Ｂ）にそれぞれ示す。カメラ本体１１の前面には、撮影レンズ１３が設けられており、上面には、シャッタボタン１５が設けられている。
【００１５】
カメラ本体１１の背面には、ズームボタン、モード選択ボタン、電源ボタン、４つのボタンが十字配列されたカーソルボタンからなる操作部１７、及び、各種表示を行うためのＬＣＤ１９が設けられている。また、カメラ本体１１の側面には、メモリカード２１が着脱自在にセットされる。このメモリカード２１には、例えば、ＪＰＥＧ形式で圧縮された画像データが記憶される。
【００１６】
デジタルカメラ１０には、撮影モード、再生モード、各種設定を行うメニューモードが設けられている。また、撮影モードには、通常撮影モードの他に、高感度での撮影を行う高感度撮影モード、高輝度の部分と低輝度の部分が存在する被写体を撮影するための、広ダイナミックレンジモードが設けられている。各モードは、操作部１７を操作することによって切り替えることができる。ユーザーはこれらの各モードを切り替えながら、撮影モードにおいて撮影を行ったり、再生モードにおいて撮影済みの画像を確認したりする。
【００１７】
図２に示すように、デジタルカメラ１０の内部にはＣＰＵ２３が設けられている。ＣＰＵ２３は、シャッタボタン１５や操作部１７から入力される操作信号に応じてデジタルカメラ１０の各部を制御する。
【００１８】
撮影レンズ１３は、モータを含むレンズ駆動機構２５によって駆動されて、光学撮影倍率の変更と焦点調整が行われる。絞り２７はモータを含む絞り駆動機構２９によって駆動されて、絞り径が切り替えられる。レンズ駆動機構２５及び絞り駆動機構２９は、ＣＰＵ２３に制御されるモータドライバ３１、３３によって駆動される。
【００１９】
絞り２７の背後には、撮像素子としてＣＣＤイメージセンサ（ＣＣＤ）３５が配置されている。ＣＣＤ３５は、周知のように、多数の受光素子がマトリクス状に配列された光電面を備えており、撮影レンズ１３や絞り２７を通過し、この光電面に結像した被写体光を光電変換する。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、各画素がＲ、Ｇ、Ｂのいずれかに対応するように各色のカラーフィルタアレイとが配置されている。
【００２０】
ＣＣＤ３５は、ＣＣＤドライバ３７から供給される垂直転送クロック及び水平転送クロックに同期して、各画素毎に蓄積された電荷を１ラインずつシリアルな撮像信号として出力する。各画素の電荷蓄積時間（露出時間）は、ＣＣＤドライバ３７から与えられる電子シャッタ駆動信号によって決められている。
【００２１】
ＣＣＤ３５による撮像信号の取り込みは、デジタルカメラ１０が撮影モードにセットされると開始される。撮影モードでは、画素数を落としたスルー画として撮像信号が取り込まれ、ＬＣＤ１９に連続的に表示される。シャッタボタン１５が押圧操作されて本撮影指示がなされると、ＣＣＤ３５は、スルー画としての取り込みをいったん中止して、本画像として撮像信号を取り込む。本撮影が終了すると再びスルー画として撮像信号が取り込まれる。このようにして取り込まれたアナログの撮像信号は、アナログ信号処理回路４１に出力される。
【００２２】
アナログ信号処理回路４１は、相関二重サンプリング回路（ＣＤＳ）４３、信号増幅部４５、Ａ／Ｄコンバータ４７とからなる。ＣＤＳ４３は、撮像信号に含まれるノイズの除去を行う。デジタルカメラ１０が通常撮影モードや、広ダイナミックレンジモードにセットされているときは、ノイズの除去されたアナログ撮像信号は、信号増幅部４５において通常ゲイン（Ｇａ）で増幅されＡ／Ｄコンバータ４７に送られる。
【００２３】
一方、デジタルカメラ１０が高感度撮影モードにセットされているときには、ノイズの除去されたアナログ撮像信号は、信号増幅部４５において設定感度に応じて定められるゲインで増幅される。例えば、ＩＳＯ４００モードにおいては通常撮影モードの４倍のゲイン（４Ｇａ）で、ＩＳＯ２００モードでは２倍のゲイン（２Ｇａ）で、それぞれ増幅される。
【００２４】
図３は、信号増幅部４５においてアナログ撮像信号が増幅される様子を示したグラフである。図の横軸は、ＣＣＤ３５から出力されてアナログ信号処理回路４１に入力されるアナログ信号値を表し、縦軸は、アナログ信号増幅部４１から出力されるアナログ信号値を表す。図の実線は、通常撮影モード（ゲインＧａ）を表し、点線は、高感度撮影モード（ゲイン２Ｇａ）を表す。
【００２５】
高感度撮影モードでは、被写体の高輝度部分、すなわちアナログ信号値の入力値の高い部分では、出力の最大値を越えてしまい飽和状態となり、いわゆる白飛びとして再現される。しかし、多くの主要被写体は低〜中輝度であり、この部分を階調豊かに表現することができる。このように、ゲインアップが行われると、撮影可能な被写体輝度の幅（ダイナミックレンジ）は減少してしまう代わりに、被写体の低〜中輝度部分を再現する階調の幅は広がる。信号増幅部４５により増幅されたアナログ撮像信号は、Ａ／Ｄコンバータ４７に送信される。
【００２６】
Ａ／Ｄコンバータ４７は、送信されたアナログ撮像信号を、１０ビットの階調幅（１０２４階調）を持った信号値（階調値）へデジタル変換して画像データを生成する。この画像データは、各画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を持つＣＣＤーＲＡＷデータであり、このデータは、データバス４９を介してフレームメモリ５１に出力される。
【００２７】
データバス４９には、フレームメモリ５１やアナログ信号処理回路４１の他に、デジタル信号処理回路６１、ＣＰＵ２３、ＬＣＤ１９、メモリカード２１が接続されており、これらはデータバス４９を介して情報の送受信を行えるようになっている。フレームメモリ５１は、デジタル信号処理回路６１が画像データに対して各種信号処理を施す際に使用される作業用メモリであり、画像データが一時的に記憶される。
【００２８】
デジタル信号処理回路６１は、画像調節部６３、画像補正部６５、階調変換部６７、ガンマ補正部６８が設けられている。さらに、画像調節部６３には、ＡＦ回路６９、ＡＥ回路７１、ＡＷＢ回路７３、が設けられている。
【００２９】
ＡＦ回路６９は、アナログ信号処理回路４１から出力された画像データに基づいて焦点位置を検出し、フォーカッシングを行う。ＡＥ回路７１は、アナログ信号処理回路４１から出力された画像データに基づいて被写体輝度を測定し、露出制御を行う。ＡＷＢ回路７３は、オートホワイトバランス回路であり、撮影時のホワイトバランスを自動調整する。画像補正部６５は、撮像された画像にシャープネス補正、コントラスト補正、などの画質補正処理を行う。
【００３０】
デジタルカメラ１０が通常撮影モードやゲインアップモードにセットされている場合、ＣＣＤ３５によってスルー画や本画像として取り込まれ、アナログ信号処理回路４１から出力された画像データは、画像調節部６３、画像補正部６５により各種処理がなされた後、ガンマ変換部６８に出力されてガンマ変換処理が行われる。
【００３１】
周知のように、画像データをモニタに出力すると、モニタに入力された階調値とモニタが出力する階調値との間に物理定期な影響でズレが生じる。ガンマ変換処理はこのズレを補正するために行われる。図４に示すように、ガンマ変換部６８には、前記ズレを補正するためのガンマ変換テーブルが設けられており、ガンマ変換部６８は、このガンマ変換テーブルに基づいて入力された画像データの入力階調値を変換して出力する。
【００３２】
一方、デジタルカメラ１０が広ダイナミックレンジモードにセットされている場合、ＣＣＤ３５によって取り込まれた画像データには、画像調節部６３、画像補正部６５による各種処理に加えて、階調変換部６７による階調変換処理が行われる。そして、階調変換処理後の画像データに対してガンマ変換処理が行われる。以下、階調変換処理について説明を行う。
【００３３】
図５に示すように、階調変換部６７には、１００％モード、２００％モード、４００％モードの３つの階調変換テーブルが設けられている。階調変換部６７は、入力された画像のダイナミックレンジに応じて、階調変換テーブルの中から１つを選択して、選択した階調変換テーブルに基づいて、画像データが持つ各画素ごとの階調値を変換して出力する。なお、本実施形態では、信号増幅部４５にて通常ゲイン（Ｇａ）で増幅され、Ａ／Ｄ変換された１０ビット（階調値０〜１０２３）のデータが階調変換部６７に入力され、階調変換後に１０ビットのデータが出力される。
【００３４】
階調変換処理で用いるべき階調変換テーブルは、以下の手順で決定される。まず、図６（Ａ）に示すように、入力画像７０を１６分割し、各領域Ａ１〜Ａ１６で、領域内の画素が持つ階調値の平均値（輝度平均値）を算出する。そして、全１６領域での輝度平均値を比較することによって、輝度平均値の最大値を検出する。
【００３５】
図６（Ｂ）に示すように、階調変換部６７は、輝度平均値の最大値が０〜２５５であるとき、すなわち被写体輝度が低いと判断される場合には、１００％モードを選択する。また、最大値が２５６〜５１１であるときには２００％モードを選択して、５１２〜１０２３のときには４００％モードを選択する。
【００３６】
１００％モードが選択されると、階調変換部６７は、出力階調値が４倍になるように入力階調値を線形変換する。例えば、階調値が２５５のデータが入力された場合には、階調値が１０２３のデータを出力する。これは、高感度撮影モードで４倍のゲイン（４Ｇａ）にてアナログ信号を増幅した場合と同等の入出力特性を有する。
【００３７】
また、２００％モードが選択されると、入力階調値が低い部分に対しては１００％モードと同様の特性にて階調変換され、入力階調値が高くなるにつれて入出力特性の傾きがなだらかに変化し、入力データの階調値が５１１のときに出力データの階調値が１０２３になるような非線形のカーブを描く出入力特性にて入力階調値が変換される。
【００３８】
さらに、４００％モードが選択されると、入力階調値が低い部分に対しては１００％モードと同様の特性にて階調変換され、２００％モードと同様に、入力階調値が高くなるにつれて入出力特性の傾きがなだらかに変化する。そして、入力データの階調値が１０２３のときに出力データの階調値が１０２３になるような非線形のカーブを描く出入力特性にて入力階調値が変換される。
【００３９】
このように、階調変換テーブルによって階調変換処理のなされた画像データは、ガンマ変換部６８に入力され、さらに、ガンマ変換テーブル（図４参照）によってガンマ変換処理が行われる。これにより、１００％モード、２００％モード、４００％モードの各階調変換テーブルによって階調変換処理のなされた画像データは最終的に、図７に示すように階調値が変換され出力される。
【００４０】
そして、ガンマ変換部６８から出力された画像データは、スルー画として取得された場合は、ＬＣＤ１９に表示され、本画像として取得された場合は、圧縮されメモリカード２１に記録される。
【００４１】
以下、本発明の作用について説明を行う。高輝度の部分と低輝度の部分が存在する被写体を撮像する場合に、ユーザーは操作部１７を操作して、デジタルカメラ１０を広ダイナミックレンジモードにセットする。広ダイナミックレンジモードでは、ＣＣＤ３５によって光学的な被写体像が撮像信号に光電変換され、信号増幅部４５において通常のゲイン（Ｇａ）で増幅された後、デジタル変換される。その後、階調変換部６７に送られて階調変換処理が行われる。
【００４２】
階調変換部６７では、入力された画像の輝度平均値の最大値が検出され、これに基づいて３つの階調変換テーブルの中から１つが選択される。そして、選択された階調変換テーブルによって決定される階調変換特性にて、入力された画像データの階調値が変換されて出力される。
【００４３】
階調変換処理では、入力階調値が低い部分では高感度モードで撮影されたのと同様の入出力特性で階調変換が行われるので、階調値の低い通常の主要被写体を明るくまた、階調豊かに表現することができる。そして、２００％モード、あるいは４００％モードでは、被写体の明るい部分の変化が緩やかになるように階調変換がなされるので、いわゆる白飛びの発生が抑えられ、ダイナミックレンジの広い画像を得ることができる。
【００４４】
また、上記構成では階調変換のみでダイナミックレンジが拡大されており、撮像素子を２種類設けたり、２回の撮影を行ったりする必要がないため、簡単な構成で画質の向上を図ることが可能となる。さらに、画像データの輝度平均値の最大値を検出して、階調変換特性を決定するようにしたので、画像データに応じた最適な階調変換を行うことができる。
【００４５】
上記実施形態では、非線形の階調変換テーブルが２種類設けられているが、１つあるいは３つ以上の非線形階調変換テーブルを設け、入力画像の明るさに応じて適宜選択しても良い。また、入力階調値が低い部分では、出力階調値が４倍になるように変換テーブルが定められているが、この倍率は適宜変更することができる。
【００４６】
また、階調変換テーブルの入力階調値と出力階調値はともに１０ビットとしているが、ビット数は適宜変更しても良い。また、入力値と出力値のビット数が異なっていても良く、例えば、入力値が１０ビットに対して出力値が９ビットになっていても良い。
【００４７】
上記実施形態では、入力される画像を１６分割して各領域の輝度階調値を算出することで、階調変換テーブルの選択を行っているが、領域の分割数は適宜変更することができる。また、主要被写体は画面の中央部に位置することが通常なので、画面の中央部（図５のＡ６，Ａ７，Ａ１０，Ａ１１）における輝度平均値より、階調変換テーブルの選択を行ってもよい。
【００４８】
上記実施形態ではデジタルカメラを例にして説明したが、デジタルビデオカメラにも適用することができる。さらに、本発明は記録材料に画像を記録するプリンタ装置にも適用できる。図８に示すように、広ダイナミックレンジモードでは、画像の被写体反射率（画像の明るさ）に応じて選択される、例えば、１００％モード、２００％モード、４００％モードの変換テーブルを用意する。そして、２００％モード、４００％モードでは、画像の被写体反射率が高い領域（明るい領域）のプリント濃度がなだらかに変化するようにして、この領域では通常プリントモードよりもプリント濃度が高くなるように、プリンタ装置の出力特性を定める。これにより、プリント出力される画像にいわゆる白飛びが生じるのを防止することができる。
【００４９】
【発明の効果】
以上詳細に説明したように、本発明は、画像を構成する各画素の画素データの階調値の出入力特性が非線形に変化する複数の階調変換特性を備え、画像の輝度に応じて選択された一の階調変換特性に基づき、階調値の変換処理を行うようにしたので、撮像された画像に応じた最適な変換処理が行えるとともに、被写体の低輝度部分は明るく、また、階調豊かに再現しながら、被写体の高輝度部分も階調再現ができ、ダイナミックレンジの広い画像を得ることができる。
【図面の簡単な説明】
【図１】デジタルカメラの前面側、及び背面側の外観斜視図である。
【図２】デジタルカメラの構成図である。
【図３】ゲインアップの作用を表す説明図である。
【図４】ガンマ変換処理における入力階調値と出力階調値の関係を表すグラフである。
【図５】階調変換処理における入力階調値と出力階調値の関係を表すグラフである。
【図６】階調変換テーブルの選択手順を説明する説明図である。
【図７】広ダイナミックレンジモードにおける入力階調値と出力階調値の関係を表す説明図である。
【図８】被写体反射率とプリント濃度の関係を表すグラフである。
【符号の説明】
１０デジタルカメラ
２３ＣＰＵ
３５ＣＣＤ
４１アナログ信号処理回路
４５信号増幅部
６１デジタル信号処理回路
６７階調変換部

Claims

画像を構成する各画素の画素データの階調値を変換して出力する画像処理方法において、
前記階調値の出入力特性が非線形に変化する階調変換特性を複数備え、前記画像の輝度に応じて選択された前記階調変換特性に基づき、前記階調値の変換処理を行うことを特徴とする画像処理方法。
前記階調値の変換処理は、前記選択された階調変換特性に基づく階調値の変換処理の後に、ガンマ変換特性に基づくガンマ変換処理が行われることを特徴とする請求項１記載の画像処理方法。
前記階調変換特性は、画素データの入力階調値が大きい領域では、画素データの入力階調値が小さな領域に対して出力階調値が緩やかに変化することを特徴とする請求項１又は２記載の画像処理方法。
前記画像を複数の領域に分割して、少なくとも一の前記領域において輝度平均値を算出し、前記輝度平均値の最大値より用いるべき前記階調変換特性を決定することを特徴とする請求項１から３のいずれか記載の画像処理方法。
被写体を撮像して画像データを構成し、被写体画像を構成する各画素の画素データの階調値を変換する画像処理を行うデジタルカメラにおいて、
前記階調値の出入力特性が非線形に変化する階調変換特性を複数備え、前記画像の輝度に応じて選択された前記階調変換特性に基づき、前記階調値の変換処理を行う階調変換部を備えたことを特徴とするデジタルカメラ。
前記階調値の変換処理は、前記選択された階調変換特性に基づく階調値の変換処理の後に、ガンマ変換特性に基づくガンマ変換処理が行われることを特徴とする請求項５記載のデジタルカメラ。
前記階調変換特性は、画素データの入力階調値が大きい領域では、画素データの入力階調値が小さな領域に対して出力階調値が緩やかに変化することを特徴とする請求項５又は６記載のデジタルカメラ。
前記階調変換部は、前記画像を複数の領域に分割して、少なくとも一の前記領域において輝度平均値を算出し、前記輝度平均値の最大値より用いるべき前記階調変換特性を決定することを特徴とする請求項５から７のいずれか記載のデジタルカメラ。
前記階調変換部において階調変換処理がなされた前記画像データに基づいて、前記画像を表示する表示手段を備えたことを特徴とする請求項５から８のいずれか記載のデジタルカメラ。