JP2015139082A - 画像処理装置、画像処理方法、プログラム、および電子機器 - Google Patents

画像処理装置、画像処理方法、プログラム、および電子機器 Download PDF

Info

Publication number
JP2015139082A
JP2015139082A JP2014009180A JP2014009180A JP2015139082A JP 2015139082 A JP2015139082 A JP 2015139082A JP 2014009180 A JP2014009180 A JP 2014009180A JP 2014009180 A JP2014009180 A JP 2014009180A JP 2015139082 A JP2015139082 A JP 2015139082A
Authority
JP
Japan
Prior art keywords
input image
tone curve
image
luminance signal
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014009180A
Other languages
English (en)
Inventor
俊次 川口
Shunji Kawaguchi
俊次 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014009180A priority Critical patent/JP2015139082A/ja
Priority to US14/597,753 priority patent/US9432646B2/en
Publication of JP2015139082A publication Critical patent/JP2015139082A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor

Abstract

【課題】簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行う。【解決手段】比較部は、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、入力画像を撮像する際に光を蓄積する長時間蓄積および短時間蓄積のうちの、長時間蓄積を行ったときの飽和レベルを基準とした比較を行う。また、トーンカーブ生成部は、その比較結果に基づいて、入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成する。そして、輝度階調圧縮処理部は、トーンカーブ生成部により生成されたトーンカーブに従って、入力画像の輝度階調の圧縮処理を行う。本技術は、例えば、撮像装置に適用できる。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、プログラム、および電子機器に関し、特に、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができるようにした画像処理装置、画像処理方法、プログラム、および電子機器に関する。
従来、デジタルスチルカメラやデジタルビデオカメラなどの撮像機能を備えた電子機器においては、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子が使用されている。
このような固体撮像素子を用いる撮像装置は、例えば、光学フィルムを用いる撮像装置と比較してダイナミックレンジが狭くなる。そのため、固体撮像素子を用いる撮像装置では、逆光時の撮像などにおいて、明るい部分の階調が失われる白とび（オーバーエクスポージャ）や、暗い部分の階調が失われる黒つぶれ（アンダーエクスポージャ）などが発生し易かった。これに対し、近年、固体撮像素子の進歩（低ノイズ化）やブラケット露光の合成技術により、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有するRAW画像信号が得られるようになってきた。
一方、撮像された動画像や静止画像を保存するファイルフォーマット（例えば、JPEG（Joint Photographic Experts Group）、MPEG（Moving Picture Experts Group）など）、一般のCRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などの表示装置、または、プリンタでは、現在も表現可能な輝度階調には制限がある。つまり、表示装置で表現可能な画像のダイナミックレンジが狭い。従って、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有する画像のRAW画像信号（以下、広ダイナミックレンジ画像と称する）を取得しても、それを保存したり表現したり（表示や印刷等）できなかった。なお、RAW画像信号は、いわゆるイメージャの出力信号である。
そこで、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来の機器が表現可能な画像（以下、狭ダイナミックレンジ画像と称する）に変換するダイナミックレンジ圧縮処理技術が必要となる。
例えば、特許文献１には、広ダイナミックレンジ画像の輝度のヒストグラムに基づいて階調再配分を適応的に決定する技術が開示されている。この技術では、広ダイナミックレンジ画像の階調を、ヒストグラム化するなどして、よりダイナミックレンジの狭い表示装置等の階調に合わせて再配分することで狭ダイナミックレンジの画像を生成する。また、ヒストグラムのピーク近辺の輝度値ができるだけ多くの階調に配分される階調変換曲線を決定することによって、重要な被写体のコントラスト低下を抑制する。この技術のように、入力画像の輝度に対して、出力の輝度が一律に定まる手法をグローバルな階調圧縮法と呼ぶ。
しかしながら、グローバルな階調圧縮法では、階調変換曲線の微分値が小さい輝度（階調レンジが削られる輝度）での輝度変化が小さくなり、小振幅のコントラスト感や被写体の立体感（以降、これらをまとめてテクスチャ感、またはディテール感と称することにする）が喪失した見栄えの悪い画像となる問題がある。
そこで、グローバルな階調圧縮法における見栄えの問題を解決した階調圧縮技術として、ローカルな階調圧縮法がある。これは、ダイナミックレンジの大きい画像は、一般には被写体自体のコントラストよりも、むしろコントラストの強い照明によって発生するという知見を用いて、照明の成分のみを階調圧縮してダイナミックレンジを狭める手法である。
この手法は、入力画像の輝度に対して出力の輝度が一律に定まるものではなく、輝度の入出力の関係が画素ごとに変化するため、グローバルな階調圧縮法に対してローカルな階調圧縮法と呼ばれている。
例えば、特許文献２には、ローカルな階調圧縮法を用いるものとして、画像を一旦グローバルな階調圧縮法により階調圧縮してから照明以外の成分を補償する技術が開示されている。この技術では、一般に照明の分布はエッジ部分以外では空間的になだらかであるという特性を使って、ローパスフィルタで画像を帯域分割し、低周波側の画像成分を照明成分として扱っている。
特開平９−３３１４６９号公報 特開２００４−２２１６４４号公報
ところで、上述したような従来の階調圧縮法では、階調変換曲線が適切に設定されない場合には、入力信号レベルの最大値が飽和レベルに張り付くことがあり、ダイナミックレンジが狭くなったような見栄えの悪い画像が出力される。このため、階調圧縮を行うことによって、画質が劣化することになっていた。
本開示は、このような状況に鑑みてなされたものであり、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができるようにするものである。
本開示の一側面の画像処理装置は、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部とを備える。
本開示の一側面の画像処理方法またはプログラムは、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行うステップを含む。
本開示の一側面の電子機器は、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部とを有する画像処理装置を備える。
本開示の一側面においては、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較が行われ、その比較結果に基づいて、入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブが生成され、生成されたトーンカーブに従って、入力画像の輝度階調の圧縮処理が行われる。
本開示の一側面によれば、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができる。
本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。 長時間蓄積の飽和レベルを基準とした判定に基づいて生成されるトーンカーブを説明する図である。 従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。 暗いシーンに用いる直線的なトーンカーブを説明する図である。 従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。 一面が白いシーンに用いる直線的なトーンカーブを説明する図である。 判定部により行われる判定について説明するフローチャートである。 短時間蓄積の飽和レベルを基準とした判定に基づいて生成されるトーンカーブを説明する図である。 従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。 暗いシーンに用いる直線的なトーンカーブを説明する図である。 従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。 一面が白いシーンに用いる直線的なトーンカーブを説明する図である。 判定部により行われる判定について説明するフローチャートである。 さらに暗いシーンに用いるトーンカーブを説明する図である。 撮像装置の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
図１に示すように、画像処理装置１１は、輝度信号生成部１２、対数変換部１３、グローバル輝度生成部１４、抽出部１５、判定部１６、トーンカーブ生成部１７、グローバル輝度階調圧縮処理部１８、輝度階調圧縮処理部１９、および逆対数変換部２０を備えて構成される。
輝度信号生成部１２には、例えば、図示しない固体撮像素子により撮像された画像が入力され、輝度信号生成部１２は、その画像（以下、入力画像と称する）を構成する画像信号から輝度信号Ｌを生成し、対数変換部１３および抽出部１５に供給する。
対数変換部１３は、輝度信号生成部１２から供給される入力画像の輝度信号Ｌに対して対数変換を行って対数輝度値logＬを求め、グローバル輝度生成部１４および輝度階調圧縮処理部１９に供給する。
グローバル輝度生成部１４は、所定の周波数以下の成分を遮断するローパスフィルタ（LPF：Low Pass Filter）であり、対数変換部１３から供給される対数輝度値logＬにローパスフィルタを施す。これにより、グローバル輝度生成部１４は、帯域分割された低周波側の画像成分をグローバル対数輝度値logＧＬとして生成し、グローバル対数輝度値logＧＬをグローバル輝度階調圧縮処理部１８および輝度階調圧縮処理部１９に供給する。
抽出部１５は、輝度信号生成部１２から供給される入力画像の輝度信号Ｌから、最小値min、最大値max、および平均値aveを抽出して、それらを判定部１６に供給する。
判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび平均値aveのいずれかを用いた判定を行う。例えば、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび平均値aveのいずれか、または、それらの平均値と、複数の蓄積時間で入力画像を撮像する際に光を蓄積する長時間蓄積の飽和レベルまたは短時間蓄積の飽和レベルを基準とした値とを比較し、その比較結果に基づいた判定を行う。なお、判定部１６が行う判定については、図８および図１４のフローチャートを参照して後述する。
トーンカーブ生成部１７は、判定部１６において行われる判定に従って、入力画像の輝度信号を階調圧縮するのに用いるトーンカーブを生成し、グローバル輝度階調圧縮処理部１８に供給する。
グローバル輝度階調圧縮処理部１８は、トーンカーブ生成部１７により生成されたトーンカーブを用いて、グローバル輝度生成部１４から供給されるグローバル対数輝度値logＧＬを階調圧縮する。そして、グローバル輝度階調圧縮処理部１８は、階調圧縮を行った結果得られるグローバル対数輝度階調圧縮値logＧＬＴＣを、輝度階調圧縮処理部１９に供給する。
輝度階調圧縮処理部１９は、次の式（１）および式（２）に従い、外部から供給される増幅率Gainを用いて、グローバル輝度階調圧縮処理部１８から供給されるグローバル対数輝度階調圧縮値logＧＬＴＣを階調圧縮する輝度階調圧縮処理を行う。そして、グローバル輝度階調圧縮処理部１８は、輝度階調圧縮処理により求めた対数輝度階調圧縮値logＬＴＣを、逆対数変換部２０に供給する。
Figure 2015139082
逆対数変換部２０は、輝度階調圧縮処理部１９から供給される対数輝度階調圧縮値logＬＴＣを逆対数変換して、輝度階調圧縮値ＬＴＣを出力する。
このように構成される画像処理装置１１では、判定部１６による判定結果に従ってトーンカーブを生成することにより、例えば、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付くようなことを回避することができる。これにより、階調圧縮を行うことによりダイナミックレンジが狭くなったような見栄えの悪い画像となることが回避され、そのような画質の劣化が発生することを防止することができる。
ここで、図２を参照して、従来の輝度階調圧縮に用いられるトーンカーブ（階調変換曲線）について説明する。
一般的に、入力画像の輝度信号Ｌの最小値minに対応して出力ノイズ値cp_out_noiseが設定され、入力画像の輝度信号Ｌの最大値maxに対応して出力飽和値cp_out_satが設定される。さらに、入力画像の輝度信号Ｌの平均値aveに対応して出力中央値cp_out_midが設定されることにより、図２に示すような３点を通過するトーンカーブが生成され、このトーンカーブを用いて輝度階調圧縮が行われる。
例えば、出力ノイズ値cp_out_noiseを高く設定し過ぎるとノイズが強調されてしまうため、出力ノイズ値cp_out_noiseは、ノイズが目立たない程度の低いレベルに設定される。また、出力レンジを有効に使用するために、従来、出力飽和値cp_out_satが飽和レベルに設定される。そして、出力中央値cp_out_midを適切なレベルに設定することで、そのシーンに対してのトーンカーブを生成することができる。
ところで、出力飽和値cp_out_satが飽和レベルに設定されたトーンカーブでは、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタで収まってしまうシーンにおいて、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付くことになる。このため、輝度階調圧縮が行われる結果、ダイナミックレンジが狭くなったように見栄えが悪い画像となる。例えば、図２には、入力画像の輝度信号Ｌの最小値minおよび最大値maxが長時間蓄積のみに収まっている例が示されている。
ここで、長時間蓄積とは、HDR（High Dynamic Range：ハイダイナミックレンジ）合成を行うために画像を撮像する際における長時間蓄積および短時間蓄積のうちの、長時間蓄積のことである。即ち、HDR合成では、画像を撮像する際に、長時間蓄積および短時間蓄積の異なる時間で光を蓄積し、長時間蓄積による画像と短時間蓄積による画像とを合成（ブレンド）することで、ダイナミックレンジの広い画像が合成される。そして、画像処理装置１１では、HDR合成する画像を撮像した際に、入力画像の輝度信号Ｌの最小値minおよび最大値maxが長時間蓄積のみに収まっている場合、長時間蓄積を基準とした判定が行われる。
そこで、図１の画像処理装置１１では、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタに収まるシーンにおいて、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルを基準とした一定レベル以下である場合、入力画像の輝度信号Ｌの最大値maxが、その一定レベルに置き換えられてトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxと、長時間蓄積の飽和レベルの0.8倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下であると判定した場合、入力画像の輝度信号Ｌの最大値maxが、長時間蓄積の0.8倍に置き換えられてトーンカーブが生成される。
図３には、入力画像の輝度信号Ｌの最大値maxが、長時間蓄積の0.8倍に置き換えられて生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付いてしまうことを回避することができる。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタに収まるシーンであっても、輝度階調圧縮を行った結果、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
なお、判定部１６は、長時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、長時間蓄積の飽和レベルの一定の比率（上述の例では、0.8倍）を基準値とした判定、または、長時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、長時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
ところで、図４に示すように、従来の階調圧縮法では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンでは、出力中央値cp_out_midの出力レベルを持ち上げるようなトーンカーブが階調圧縮に用いられていた。そのため、暗い入力信号を持ち上げるような階調圧縮が行われる結果、ノイズが目立つ画像となっていた。
そこで、図１の画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンにおいて、ノイズが目立つ画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと、長時間蓄積の飽和レベルの0.2倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、直線的なトーンカーブが生成される。
図５には、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができる。これにより、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンであっても、輝度階調圧縮を行った結果、ノイズが目立つ画像となることを回避することができる。
なお、判定部１６は、長時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、長時間蓄積の飽和レベルの一定の比率（上述の例では、0.2倍）を基準値とした判定、または、長時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、長時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
ところで、図６に示すように、従来の階調圧縮法では、白壁を撮像したような入力画像の一面が白いシーンでは、レンズシェーディングなど、例えば、白壁に発生している明暗のコントラストがトーンカーブにより強調されることになる。このため、輝度階調圧縮が行われる結果、レンズシェーディングなどが強調された画質の劣化した画像となる。
そこで、図１の画像処理装置１１では、白壁を撮像したような入力画像の一面が白いシーンにおいて、レンズシェーディングなどが強調された画質の劣化した画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が長時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分と、長時間蓄積の飽和レベルの0.2倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、直線的なトーンカーブが生成される。
図７には、入力画像の輝度信号Ｌの最大値maxを長時間蓄積の飽和レベルの一定の比率（例えば、0.8倍）に置き換えた値と最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、レンズシェーディングなどが強調されるような階調圧縮が行われることを回避することができる。これにより、白壁を撮像したような入力画像の一面が白いシーンであっても、輝度階調圧縮を行った結果、画質の劣化した画像となることを回避することができる。
次に、図８のフローチャートを参照して、判定部１６により行われる判定について説明する。
例えば、抽出部１５から判定部１６に、入力画像の輝度信号Ｌの最小値min、入力画像の輝度信号Ｌの最大値max、および入力画像の輝度信号Ｌの平均値aveが供給されると処理が開始される。
ステップＳ１１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下であるか否かを判定する。
ステップＳ１１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、処理はステップＳ１２に進む。ステップＳ１２において、判定部１６は、リニア出力を行うことをトーンカーブ生成部１７に指示するとともに、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給する。これに従い、トーンカーブ生成部１７は、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶような直線的なトーンカーブを生成し、グローバル輝度階調圧縮処理部１８に供給する。これにより、例えば、図５を参照して上述したように、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して輝度階調圧縮を行っても、ノイズが目立つ画像となることを回避することができる。
一方、ステップＳ１１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下でない（0.2倍より大である）と判定した場合、処理はステップＳ１３に進む。
ステップＳ１３において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が長時間蓄積の飽和レベルの0.2倍以下であるか否かを判定する。
ステップＳ１３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、処理はステップＳ１２に進み、上述した処理が行われる。これにより、例えば、図７を参照して上述したように、白壁を撮像したような入力画像の一面が白いシーンに対して輝度階調圧縮を行っても、レンズシェーディングが強調されるような画質の劣化した画像となることを回避することができる。
一方、ステップＳ１３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が長時間蓄積の飽和レベルの0.2倍以下でない（0.2倍より大である）と判定した場合、処理はステップＳ１４に進む。
ステップＳ１４において、判定部１６は、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下であるか否かを判定する。
ステップＳ１４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下であると判定した場合、処理はステップＳ１５に進む。ステップＳ１５において、判定部１６は、入力画像の輝度信号Ｌの最大値maxを長時間蓄積の飽和レベルの0.8倍に置き換えてトーンカーブ生成部１７に供給するとともに、入力画像の輝度信号Ｌの最小値minおよび平均値aveをトーンカーブ生成部１７に供給する。
ステップＳ１５の処理後、処理はステップＳ１６に進み、トーンカーブ生成部１７はトーンカーブを生成する。この場合、トーンカーブ生成部１７は、図３を参照して上述したように、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の0.8倍に置き換えられたトーンカーブを生成する。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタ（長時間蓄積のみ）に収まるシーンに対して輝度階調圧縮を行っても、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
一方、ステップＳ１４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下ででない（0.8倍より大である）と判定した場合、処理はステップＳ１６に進む。この場合、判定部１６は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給し、トーンカーブ生成部１７は、通常の処理と同様にトーンカーブを生成する。
ステップＳ１２またはＳ１６の処理後、処理はステップＳ１７に進む。ステップＳ１７において、グローバル輝度階調圧縮処理部１８は、トーンカーブ生成部１７により生成されたトーンカーブを用いて、グローバル輝度生成部１４から供給されるグローバル対数輝度値logＧＬの輝度階調の圧縮処理を行い、処理は終了される。
以上のように、画像処理装置１１は、長時間蓄積を基準にした判定に従って生成されたトーンカーブを用いることで、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができる。
即ち、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveが、すべて長時間蓄積のみに収まってしまって、実質的にワイドダイナミックレンジでないようなシーンに対して、入力画像の輝度信号Ｌの最大値maxを長時間蓄積の0.8倍に置き換えて生成されたトーンカーブを用いる。これにより、単独の時間で光を蓄積して撮像した画像（通常の画像）と同程度のダイナミックレンジをもつ画像として階調圧縮することができ、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
また、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下となるような、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して、直線的なトーンカーブを用いる。これにより、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができ、暗いシーンでのノイズを抑制することができる。
さらに、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最大値maxと輝度信号Ｌの平均値aveとの差分が長時間蓄積の飽和レベルの0.2倍以下であるような入力画像の一面が白いシーンに対して、直線的なトーンカーブを用いる。これにより、レンズシェーディングなどが強調されるような画質の劣化した画像となることを回避することができる。
ここで、上述した実施の形態では、入力画像の輝度信号Ｌの最小値minおよび最大値maxが長時間蓄積のみに収まってしまうシーンに対する処理について説明している。これに対し、例えば、入力画像の輝度信号Ｌの最小値minおよび最大値maxが短時間蓄積のみに収まっているシーンに対しても同様の処理を行うことができる。つまり、画像処理装置１１は、長時間蓄積を基準にした判定に従ってトーンカーブを生成するだけでなく、短時間蓄積を基準にした判定に従ってトーンカーブを生成してもよい。
即ち、例えば、入力画像の輝度信号Ｌの最小値minおよび最大値maxが短時間蓄積のみに収まってしまうシーンにおいても、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付くことになる。このため、図２を参照して上述した例と同様に、輝度階調圧縮が行われる結果、ダイナミックレンジが狭くなったように見栄えが悪い画像となる。
そこで、図１の画像処理装置１１では、例えば、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルを基準とした一定レベル以下である場合、入力画像の輝度信号Ｌの最大値maxが、その一定レベルに置き換えられてトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxと、短時間蓄積の飽和レベルの0.9倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下であると判定した場合、入力画像の輝度信号Ｌの最大値maxが、短時間蓄積の0.9倍に置き換えられてトーンカーブが生成される。
図９には、入力画像の輝度信号Ｌの最大値maxが、短時間蓄積の0.9倍に置き換えられて生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付いてしまうことを回避することができる。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタに収まるシーンであっても、輝度階調圧縮を行った結果、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
なお、判定部１６は、短時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、短時間蓄積の飽和レベルの一定の比率（上述の例では、0.9倍）を基準値とした判定、または、短時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、短時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
ところで、図１０に示すように、従来の階調圧縮法では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンでは、出力中央値cp_out_midの出力レベルを持ち上げるようなトーンカーブが階調圧縮に用いられていた。そのため、暗い入力信号を持ち上げるような階調圧縮が行われる結果、ノイズが目立つ画像となっていた。
そこで、図１の画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンにおいて、ノイズが目立つ画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと、短時間蓄積の飽和レベルの0.1倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、直線的なトーンカーブが生成される。
図１１には、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができる。これにより、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンであっても、輝度階調圧縮を行った結果、ノイズが目立つ画像となることを回避することができる。
なお、判定部１６は、短時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、短時間蓄積の飽和レベルの一定の比率（上述の例では、0.1倍）を基準値とした判定、または、短時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、短時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
ところで、図１２に示すように、従来の階調圧縮法では、白壁を撮像したような入力画像の一面が白いシーンでは、レンズシェーディングなど、例えば、白壁に発生している明暗のコントラストがトーンカーブにより強調されることになる。このため、輝度階調圧縮が行われる結果、レンズシェーディングなどが強調された画質の劣化した画像となる。
そこで、図１の画像処理装置１１では、白壁を撮像したような入力画像の一面が白いシーンにおいて、レンズシェーディングなどが強調された画質の劣化した画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの最大値maxと輝度信号Ｌの平均値aveとの差分が短時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分と、短時間蓄積の飽和レベルの0.1倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、直線的なトーンカーブが生成される。
図１３には、入力画像の輝度信号Ｌの最大値maxを短時間蓄積の飽和レベルの一定の比率（例えば、0.9倍）に置き換えた値と最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、レンズシェーディングなどが強調されるような階調圧縮が行われることを回避することができる。これにより、白壁を撮像したような入力画像の一面が白いシーンであっても、輝度階調圧縮を行った結果、画質の劣化した画像となることを回避することができる。
次に、図１４のフローチャートを参照して、判定部１６により行われる判定について説明する。
例えば、抽出部１５から判定部１６に、入力画像の輝度信号Ｌの最小値min、入力画像の輝度信号Ｌの最大値max、および入力画像の輝度信号Ｌの平均値aveが供給されると処理が開始される。
ステップＳ２１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下であるか否かを判定する。
ステップＳ２１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、処理はステップＳ２２に進む。ステップＳ２２において、判定部１６は、リニア出力を行うことトーンカーブ生成部１７に指示するとともに、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給する。これに従い、トーンカーブ生成部１７は、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶような直線的なトーンカーブを生成し、グローバル輝度階調圧縮処理部１８に供給する。これにより、例えば、図９を参照して上述したように、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して輝度階調圧縮を行っても、ノイズが目立つ画像となることを回避することができる。
一方、ステップＳ２１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下でない（0.1倍より大である）と判定した場合、処理はステップＳ２３に進む。
ステップＳ２３において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が短時間蓄積の飽和レベルの0.1倍以下であるか否かを判定する。
ステップＳ２３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、処理はステップＳ２２に進み、上述した処理が行われる。これにより、例えば、図７を参照して上述したように、白壁を撮像したような入力画像の一面が白いシーンに対して輝度階調圧縮を行っても、レンズシェーディングが強調されるような画質の劣化した画像となることを回避することができる。
一方、ステップＳ２３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が短時間蓄積の飽和レベルの0.1倍以下でない（0.1倍より大である）と判定した場合、処理はステップＳ２４に進む。
ステップＳ２４において、判定部１６は、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下であるか否かを判定する。
ステップＳ２４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下であると判定した場合、処理はステップＳ２５に進む。ステップＳ２５において、判定部１６は、入力画像の輝度信号Ｌの最大値maxを短時間蓄積の飽和レベルの0.9倍に置き換えてトーンカーブ生成部１７に供給するとともに、入力画像の輝度信号Ｌの最小値minおよび平均値aveをトーンカーブ生成部１７に供給する。
ステップＳ２５の処理後、処理はステップＳ２６に進み、トーンカーブ生成部１７はトーンカーブを生成する。この場合、トーンカーブ生成部１７は、図９を参照して上述したように、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の0.9倍に置き換えられたトーンカーブを生成する。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタ（短時間蓄積のみ）に収まるシーンに対して輝度階調圧縮を行っても、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
一方、ステップＳ２４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下ででない（0.9倍より大である）と判定した場合、処理はステップＳ２６に進む。この場合、判定部１６は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給し、トーンカーブ生成部１７は、通常の処理と同様にトーンカーブを生成する。
ステップＳ２２またはＳ２６の処理後、処理はステップＳ２７に進む。ステップＳ２７において、グローバル輝度階調圧縮処理部１８は、トーンカーブ生成部１７により生成されたトーンカーブを用いて、グローバル輝度生成部１４から供給されるグローバル対数輝度値logＧＬの輝度階調の圧縮処理を行い、処理は終了される。
以上のように、画像処理装置１１では、短時間蓄積を基準にした判定に従って生成されたトーンカーブを用いることで、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができる。
即ち、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveが、すべて短時間蓄積のみに収まってしまって、実質的にワイドダイナミックレンジでないようなシーンに対して、入力画像の輝度信号Ｌの最大値maxを短時間蓄積の0.9倍に置き換えて生成されたトーンカーブを用いる。これにより、単独の時間で光を蓄積して撮像した画像（通常の画像）と同程度のダイナミックレンジをもつ画像として階調圧縮することができ、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
また、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下となるような、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して、直線的なトーンカーブを用いる。これにより、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができ、暗いシーンでのノイズを抑制することができる。
さらに、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最大値maxと輝度信号Ｌの平均値aveとの差分が短時間蓄積の飽和レベルの0.1倍以下であるような入力画像の一面が白いシーンに対して、直線的なトーンカーブを用いる。これにより、レンズシェーディングなどが強調されるような画質の劣化した画像となることを回避することができる。
なお、上述した実施の形態では、例えば、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対し、トーンカーブ生成部１７が、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶようなトーンカーブを生成する例について説明したが、完全な直線としなくてもよい。
例えば、図１５に示すように、画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが一定レベルよりさらに低くなる暗いシーンにおいて、ノイズを抑制する処理が行われる。例えば、入力画像の輝度信号Ｌの平均値aveが一定レベル以下である場合、入力画像の輝度信号Ｌの平均値ave以下では、出力ノイズ値cp_out_noiseが出力されるとともに、入力画像の輝度信号Ｌの平均値ave以上において入力画像の輝度信号Ｌの最大値maxに向かって直線的なトーンカーブが生成される。即ち、入力画像の輝度信号Ｌの平均値ave以下において出力が抑え込まれたトーンカーブが生成される。
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分と、長時間蓄積の飽和レベルの0.1倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が長時間蓄積の飽和レベルの0.1倍以下であると判定した場合、入力画像の輝度信号Ｌの平均値ave以下において出力が抑え込まれたトーンカーブが生成される。これにより、例えば、図５を参照して説明した直線的なトーンカーブを用いる場合よりも、より暗いシーンにおいてノイズを抑制した画像を出力することができる。
なお、判定部１６は、長時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、長時間蓄積の飽和レベルの一定の比率（上述の例では、0.1倍）を基準値とした判定、または、長時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、長時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
なお、上述したような実施の形態の画像処理装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
図１６は、画像処理装置１１が適用される電子機器である撮像装置の構成例を示すブロック図である。
図１６に示すように、撮像装置１０１は、モジュール１０２およびカメラ信号処理部１０３を備えて構成されており、太陽光や蛍光灯などの光源の下にある被写体Ｚを撮像し、可視光カラー画像を出力する。
モジュール１０２は、撮像レンズ１１１、赤外線カットフィルタ１１２、色フィルタ群１１３、画素アレイ部１１４、カラム処理部１１５、および駆動制御部１１６を備えて構成される。
撮像レンズ１１１は、画像情報を取り込むために、被写体Ｚからの光を撮像装置１０１の内部に導光して結像させる。色フィルタ群１１３は、例えば、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の色フィルタがベイヤ配列で配置されており、それぞれの色を透過する。画素アレイ部１１４には、複数の画素がアレイ状に配置されており、それぞれの画素において被写体Ｚからの光を受光し、その光量に応じたレベルの画素信号を出力する。
カラム処理部１１５は、画素アレイ部１１４から出力される画素信号に対してCDS(Correlated Double Sampling)処理やＡＤ（Analog Digital）変換処理などを施す。駆動制御部１１６は、例えば、カメラ信号処理部１０３が備えるカメラ制御部１２２の制御に従って、画素アレイ部１１４およびカラム処理部１１５を駆動する。そして、カラム処理部１１５から出力された撮像データは、カメラ信号処理部１０３が備える撮像信号処理部１２１に供給される。
カメラ信号処理部１０３は、撮像信号処理部１２１およびカメラ制御部１２２を備えて構成され、撮像信号処理部１２１は、信号分離部１３１、色信号処理部１３２、輝度信号処理部１３３、およびエンコーダ部１３４を備えて構成される。
信号分離部１３１は、色フィルタ群１１３において原色フィルタ以外のものが使用されているときにカラム処理部１１５から供給されるデジタル撮像信号を、赤色信号Ｒ、緑色信号Ｇ、および青色信号Ｂの原色信号に分離する原色分離機能を備える。色信号処理部１３２は、信号分離部１３１によって分離された赤色信号Ｒ、緑色信号Ｇ、および青色信号Ｂに基づいて、色信号Ｃに関しての信号処理を行う。
輝度信号処理部１３３は、信号分離部１３１によって分離された赤色信号Ｒ、緑色信号Ｇ、および青色信号Ｂに基づいて、輝度信号Ｙに関しての信号処理を行う。即ち、輝度信号処理部１３３は、図１の画像処理装置１１の機能を備え、上述したような輝度階調圧縮処理を行う。エンコーダ部１３４は、色信号処理部１３２から出力される色信号Ｃ、および、輝度信号処理部１３３から出力される輝度信号Ｙに基づいて、映像信号ＶＤを生成して出力する。
カメラ制御部１２２は、撮像装置１０１の全体を制御する主制御部としての機能を有し、ROM（Read Only Memory）１４１，RAM（Random Access Memory）１４２、通信I/F（Interface）１４３、メモリ読出部１４４、マイクロプロセッサ１４５を備えて構成される。
ROM１４１は、読み出し専用の記憶部であり、カメラ制御部１２２の制御プログラムなどが格納されている。また、カメラ制御部１２２によって、各種の制御パルスをオン／オフするタイミングを設定するためのプログラムが格納されている。
RAM１４２は、随時書き込みおよび読み出しが可能であるとともに揮発性の記憶部の一例であり、カメラ制御部１２２が各種処理を行なうためのデータなどが格納される。ここで、揮発性の記憶部とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、"不揮発性の記憶部"とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を"不揮発性"を呈するように構成するものであってもよい。
通信I/F１４３は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
メモリ読出部１４４は、メモリカード１０４から読み出したデータをRAM１４２に格納（インストール）する。
メモリカード１０４は、カメラ制御部１２２に挿脱可能に構成され、例えば、マイクロプロセッサ１４５にソフトウエア処理をさせるためのプログラムデータを登録するなどのために利用される。また、メモリカード１０４は、輝度信号処理部１３３からの輝度系信号に基づく測光データＤＬの収束範囲や露光制御処理（電子シャッタ制御を含む）のための各種の制御パルスのオン／オフタイミングなど、様々な設定値などのデータを登録するなどのために利用される。
マイクロプロセッサ１４５は、コンピュータが行う演算および制御の機能を超小型の集積回路に集約されたCPU（Central Processing Unit）を代表例とする電子計算機の中枢をなす。
なお、撮像装置１０１におけるカメラ制御部１２２としては、マイクロプロセッサ１４５には、露光制御用のプログラムも組み込まれて、露光条件を制御する露光条件制御部としても機能するようになっている。ここで、電子計算機の中枢をなすマイクロプロセッサ１４５を、露光条件を制御する露光条件制御部として機能させるための露光制御用のプログラムとしては、輝度信号処理部１３３からの輝度系信号に基づく測光データＤＬの計算（たとえば所定サイズおよび所定位置の測光エリアの平均値の計算）と、その計算結果に基づく輝度レベル判定（中間レベルよりも高いか低いか）などのためのものを含む。
なお、このような撮像装置１０１は、駆動制御部１１６およびカラム処理部１１５を、画素アレイ部１１４と別体にしてモジュール状のもので示しているが、これらが画素アレイ部１１４と同一の半導体基板上に一体的に形成されたワンチップものを利用してもよい。
また、図１６では、画素アレイ部１１４や駆動制御部１１６、カラム処理部１１５、カメラ信号処理部１０３の他に、撮像レンズ１１１、あるいは赤外線カットフィルタ１１２などの光学系をも含む状態で、撮像装置１０１を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。
ここで、固体撮像装置におけるモジュールとの関係においては、図示のように、画素アレイ部１１４（撮像部）と、ＡＤ変換機能や差分（ＣＤＳ）処理機能を具備したカラム処理部１１５などの画素アレイ部１１４側と密接に関連した信号処理部（カラム処理部１１５の後段のカメラ信号処理部は除く）が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置を提供するようにし、そのモジュール状の形態で提供された固体撮像装置の後段に、残りの信号処理部であるカメラ信号処理部１０３を設けて撮像装置１０１の全体を構成するようにしてもよい。
または、図示を割愛するが、画素アレイ部１１４と撮像レンズ１１１などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置を提供するようにし、そのモジュール状の形態で提供された固体撮像装置に加えて、カメラ信号処理部１０３をもモジュール内に設けて、撮像装置１０１の全体を構成するようにしてもよい。
また、固体撮像装置におけるモジュールの形態として、カメラ信号処理部１０３を含めてもよく、この場合には、事実上、固体撮像装置と撮像装置１０１とが同一のものと見なすこともできる。
このような撮像装置１０１は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。このような構成の撮像装置１０１においては、前述した図１の画像処理装置１１の全ての機能を包含して構成されており、画像処理装置１１の基本的な構成および動作と同様とすることができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU２０１，ROM２０２，RAM２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
を備える画像処理装置。
（２）
前記比較部は、前記入力画像の輝度信号の最大値と、前記所定の時間蓄積の飽和レベルを基準とした第１の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値が前記第１の基準値以下である場合、前記入力画像の輝度信号の最大値を前記第１の基準値に置き換えて前記トーンカーブを生成する
上記（１）に記載の画像処理装置。
（３）
前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第２の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第２の基準値以下である場合、直線的な前記トーンカーブを生成する
上記（１）または（２）に記載の画像処理装置。
（４）
前記比較部は、前記入力画像の輝度信号の最大値および平均値の差分と、前記所定の時間蓄積の飽和レベルを基準とした第３の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値および平均値の差分が前記第３の基準値以下という結果である場合、直線的な前記トーンカーブを生成する
上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記長時間蓄積を行ったときの飽和レベルを基準とした比較を行う
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記短時間蓄積を行ったときの飽和レベルを基準とした比較を行う
上記（１）から（４）までのいずれかに記載の画像処理装置。
（７）
前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第４の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第４の基準値以下という結果である場合、前記入力画像の輝度信号の平均値以下の出力を抑え込むような前記トーンカーブを生成する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
ステップを含む画像処理方法。
（９）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
ステップを含む画像処理をコンピュータに実行させるプログラム。
（１０）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
を有する画像処理装置を備える電子機器。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 画像処理装置， １２ 輝度信号生成部， １３ 対数変換部， １４ グローバル輝度生成部， １５ 抽出部， １６ 判定部， １７ トーンカーブ生成部， １８ グローバル輝度階調圧縮処理部， １９ 輝度階調圧縮処理部， ２０ 逆対数変換部

Claims (10)

  1. 入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
    前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
    前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
    を備える画像処理装置。
  2. 前記比較部は、前記入力画像の輝度信号の最大値と、前記所定の時間蓄積の飽和レベルを基準とした第１の基準値とを比較し、
    前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値が前記第１の基準値以下である場合、前記入力画像の輝度信号の最大値を前記第１の基準値に置き換えて前記トーンカーブを生成する
    請求項１に記載の画像処理装置。
  3. 前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第２の基準値とを比較し、
    前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第２の基準値以下である場合、直線的な前記トーンカーブを生成する
    請求項１に記載の画像処理装置。
  4. 前記比較部は、前記入力画像の輝度信号の最大値および平均値の差分と、前記所定の時間蓄積の飽和レベルを基準とした第３の基準値とを比較し、
    前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値および平均値の差分が前記第３の基準値以下という結果である場合、直線的な前記トーンカーブを生成する
    請求項１に記載の画像処理装置。
  5. 前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記長時間蓄積を行ったときの飽和レベルを基準とした比較を行う
    請求項１に記載の画像処理装置。
  6. 前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記短時間蓄積を行ったときの飽和レベルを基準とした比較を行う
    請求項１に記載の画像処理装置。
  7. 前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第４の基準値とを比較し、
    前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第４の基準値以下という結果である場合、前記入力画像の輝度信号の平均値以下の出力を抑え込むような前記トーンカーブを生成する
    請求項１に記載の画像処理装置。
  8. 入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
    比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
    生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
    ステップを含む画像処理方法。
  9. 入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
    比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
    生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
    ステップを含む画像処理をコンピュータに実行させるプログラム。
  10. 入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
    前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
    前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
    を有する画像処理装置を備える電子機器。
JP2014009180A 2014-01-22 2014-01-22 画像処理装置、画像処理方法、プログラム、および電子機器 Pending JP2015139082A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014009180A JP2015139082A (ja) 2014-01-22 2014-01-22 画像処理装置、画像処理方法、プログラム、および電子機器
US14/597,753 US9432646B2 (en) 2014-01-22 2015-01-15 Image processing apparatus, image processing method, program and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014009180A JP2015139082A (ja) 2014-01-22 2014-01-22 画像処理装置、画像処理方法、プログラム、および電子機器

Publications (1)

Publication Number Publication Date
JP2015139082A true JP2015139082A (ja) 2015-07-30

Family

ID=53545933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014009180A Pending JP2015139082A (ja) 2014-01-22 2014-01-22 画像処理装置、画像処理方法、プログラム、および電子機器

Country Status (2)

Country Link
US (1) US9432646B2 (ja)
JP (1) JP2015139082A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535289B2 (en) 2016-01-18 2020-01-14 Sharp Kabushiki Kaisha Display device, display method, recording medium, and television receiver

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004756A (ko) * 2015-07-03 2017-01-11 삼성전자주식회사 카메라 운영 방법 및 이를 구현하는 전자 장치
CN105635525A (zh) * 2015-12-23 2016-06-01 努比亚技术有限公司 一种图像细节处理方法和装置
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3959769B2 (ja) 1996-04-12 2007-08-15 ソニー株式会社 ビデオカメラ装置、映像信号処理装置および映像信号の階調変換方法
JP4214457B2 (ja) 2003-01-09 2009-01-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8254674B2 (en) * 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7525579B2 (en) * 2004-12-27 2009-04-28 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method for use therein
JP4264553B2 (ja) * 2006-06-12 2009-05-20 ソニー株式会社 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535289B2 (en) 2016-01-18 2020-01-14 Sharp Kabushiki Kaisha Display device, display method, recording medium, and television receiver

Also Published As

Publication number Publication date
US20150208046A1 (en) 2015-07-23
US9432646B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
CN111418201B (zh) 一种拍摄方法及设备
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
US8208039B2 (en) Image processing apparatus and computer-readable medium
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US9681026B2 (en) System and method for lens shading compensation
US8169500B2 (en) Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
JP2010009583A5 (ja)
JP2011003048A (ja) 画像処理装置、及び画像処理プログラム
US11798143B2 (en) Image processing apparatus and control method thereof
JP4544308B2 (ja) 画像処理装置、撮像装置、方法およびプログラム
WO2015190320A1 (ja) 撮像装置、及び、撮像方法
JP2015139082A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
US8736739B2 (en) Imaging apparatus, imaging control method, and program
US8693799B2 (en) Image processing apparatus for emphasizing details of an image and related apparatus and methods
JP2006080942A (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JPWO2015146471A1 (ja) 撮影装置
JP2002288650A (ja) 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体
KR101959147B1 (ko) 왜곡없이 저조도 영상 프레임을 복원하는 단말 장치 및 방법과 이를 수행하는 기록 매체
JP2013225724A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2012124652A (ja) 撮像装置及び画像処理方法
JP2008172566A (ja) 撮像装置及び撮像方法
JP2010268134A (ja) 撮像装置
JP4954658B2 (ja) 画像処理装置