JP2008136113A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】撮影状況に応じてダイナミックレンジ拡大処理を実施するか否かを判断する画像処理装置、撮像装置及び画像処理方法を提供する。
【解決手段】複数の画素を備える撮像素子を用いて被写体を撮像して得られた画像を処理する装置３１であって、画像の輝度値が第１の閾値以下である画素の数を黒とび量として求める黒とび量演算部３３と、画像の輝度値が第１の閾値よりも大きい第２の閾値以上である画素の数を白とび量として求める白とび量演算部３４と、黒とび量或いは白とび量が第３の閾値以上であるか否かを判断する処理判断部３５と、黒とび量或いは白とび量が第３の閾値以上である場合、異なるシャッタスピードで撮像した被写体の複数の画像を合成することによりダイナミックレンジを広げる画像処理を実施し、黒とび量及び白とび量が第３の閾値未満である場合、前記の画像処理を実施しないダイナミックレンジ拡大処理部３６を備える。
【選択図】図１

Description

本発明は、撮影画像のダイナミックレンジを拡大する機能を備える画像処理装置及び撮像装置、及び撮影画像のダイナミックレンジを拡大する画像処理方法に関する。

近年、被写体を撮像して得られた画像信号をデジタル信号として取り扱うデジタルビデオカメラやデジタルスチルカメラ等のデジタル方式の撮像装置が実用化されている。

デジタル方式の撮像装置は、ダイナミックレンジが、銀塩カメラよりも狭く、特に高輝度部（ハイライト）と低輝度部が共存する被写体に弱い。よって、高輝度部或いは低輝度部での階調が不十分となり、明るいところは真っ白に、暗いところは真っ黒に写ってしまう場合がある。これらは、一般に「白とび（或いは白つぶれ）」及び「黒とび（或いは黒つぶれ）」と呼ばれる。尚、ダイナミックレンジとは、撮像装置が撮像する画像の範囲内に明るい部分と暗い部分が同時に存在する場合に何倍の過大光線が入っても破綻なく画像信号が得られるかのレベルである。

そこで、従来から、同一の被写体を異なる露出（シャッタスピード）で複数撮影して得られた画像を合成することにより、ダイナミックレンジを拡大する技術が知られている（例えば、特許文献１及び２参照）。

特開平７−１３５５９９号公報 特開２００１−０１６４９９号公報

上記のダイナミックレンジ拡大処理は、逆光撮影時など、比較的広いダイナミックレンジを必要とする撮影状況においては有利である。

しかしながら、上記のダイナミックレンジ拡大処理では、同一の被写体を連続して撮像するため、被写体に動きがある場合、複数の画像の間で被写体の位置にズレが生じ、これらの画像を合成すると不自然な合成画像となってしまう。

また、１つの画像を得るために異なる露出の複数回の撮像が必要となるため、シャッタボタン操作に対するレスポンスが悪くなってしまう。

よって、比較的広いダイナミックレンジを必要としない撮影状況では、上記のダイナミックレンジ拡大処理による弊害が顕著になる。

本発明は、上記問題点を解決するために成されたものであり、その目的は、撮影状況に応じてダイナミックレンジ拡大処理を実施するか否かを判断する画像処理装置、撮像装置及び画像処理方法を提供することである。

本発明の第１の特徴は、複数の画素を備える撮像素子を用いて被写体を撮像して得られた画像を処理する装置であって、画像の輝度値が第１の閾値以下である画素の数を黒とび量として求める黒とび量演算部と、画像の輝度値が第１の閾値よりも大きい第２の閾値以上である画素の数を白とび量として求める白とび量演算部と、黒とび量或いは白とび量が第３の閾値以上であるか否かを判断する処理判断部と、黒とび量或いは白とび量が第３の閾値以上である場合に、異なるシャッタスピードで撮像した被写体の複数の画像を合成する画像処理を実施し、黒とび量及び白とび量が第３の閾値未満である場合に、前記画像処理を実施しないダイナミックレンジ拡大処理部とを備えることである。

本発明の第１の特徴によれば、黒とび量或いは白とび量が所定の閾値（第３の閾値）以上である場合、広いダイナミックレンジを必要とする撮影状況にあると考えられる。よって、この場合、異なるシャッタスピードで撮像した前記被写体の複数の画像を合成することによりダイナミックレンジを広げる、いわゆるダイナミックレンジ拡大処理を実施する。一方、黒とび量及び白とび量が第３の閾値未満である場合、現在のダイナミックレンジで十分な撮影状況にあると考えられる。よって、この場合、ダイナミックレンジ拡大処理を実施しない。これにより、ダイナミックレンジ拡大処理を必要な場合だけ実施することができるので、ダイナミックレンジ拡大処理が不要な場合は、動きがある被写体を撮像すると画像が不自然になる、１つの画像の為に２以上の撮像を行なうためレスポンスが悪い等、ダイナミックレンジ拡大処理による弊害がなくなる。

本発明の第１の特徴において、ダイナミックレンジ拡大処理部は、白とび量が第１の所定値未満となるシャッタスピードを高輝度用シャッタスピードとして設定する高輝度用シャッタスピード設定部と、黒とび量が第２の所定値未満となるシャッタスピードを低輝度用シャッタスピードとして設定する低輝度用シャッタスピード設定部と、高輝度用シャッタスピード及び低輝度用シャッタスピードで撮像した被写体の２画像を合成する画像合成部とを備えていてもよい。

これにより、画像合成部が合成する画像を撮像する際の高輝度用シャッタスピード及び低輝度用シャッタスピードを、それぞれ画像の白とび量及び黒とび量に基づいて設定することができる。よって、通常の最適露光時間から高輝度用シャッタスピード及び低輝度用シャッタスピードを設定していた従来例に比べて、被写体の画像に応じて適正なシャッタスピードを設定することができる。

本発明の第１の特徴において、撮像素子を用いて被写体を周期的に撮像し、得られる画像が表示部上に順次表示されているときに、いわゆるスルーモードにおいて、高輝度用シャッタスピード設定部は、周期的な撮像の一部を高輝度用シャッタスピードで撮像して得られた画像に基づいて、高輝度用シャッタスピードを設定し、低輝度用シャッタスピード設定部は、周期的な撮像の他の一部を低輝度用シャッタスピードで撮像して得られた画像に基づいて、低輝度用シャッタスピードを設定してもよい。

スルーモードにおいて、高輝度用シャッタスピード及び低輝度用シャッタスピードを設定することにより、シャッタボタンの押下げ操作によって撮影を行なう時、レスポンスが向上し、高速に撮影することができる。

本発明の第１の特徴において、高輝度用シャッタスピードで撮像して得られた高輝度画像及び低輝度用シャッタスピードで撮像して得られた低輝度画像の代わりに時間的に前の適正露光シャッタスピードで撮像された適正画像を表示部上に表示してもよい。

これにより、スルーモードにおいて、表示部上に表示される画像の照度が均一になるため、ユーザにちらつき等の不快感を与えることが少なくなる。

なお、本発明の第１の特徴において、撮像素子の受光面に被写体像を結像させる撮影光学系と、撮像素子が撮像素子の受光面に結像された被写体像を光電変換することにより画像を撮像する撮像部と、撮像部が撮像した画像を表示する表示部とを備える撮像装置の一部として、本発明の第１の特徴に係わる画像処理装置を備えていても構わない。

本発明の第２の特徴は、複数の画素を備える撮像素子を用いて被写体を撮像して得られた画像を処理する方法であって、この方法は、画像の輝度値が第１の閾値以下である画素の数を黒とび量として求める段階と、画像の輝度値が第１の閾値よりも大きい第２の閾値以上である画素の数を白とび量として求める段階と、黒とび量或いは白とび量が第３の閾値以上であるか否かを判断する段階と、黒とび量或いは白とび量が第３の閾値以上である場合に、異なるシャッタスピードで撮像した被写体の複数の画像を合成する画像処理を実施する段階とを備え、黒とび量及び白とび量が第３の閾値未満である場合に、前記画像処理を実施しないことである。

本発明の第２の特徴において、異なるシャッタスピードで撮像した被写体の複数の画像を合成することによりダイナミックレンジを広げる画像処理を実施する段階は、白とび量が第１の所定値未満となるシャッタスピードを高輝度用シャッタスピードとして設定する段階と、黒とび量が第２の所定値未満となるシャッタスピードを低輝度用シャッタスピードとして設定する段階と、高輝度用シャッタスピード及び低輝度用シャッタスピードで撮像した被写体の２画像を合成する段階とを備えていてもよい。

本発明によれば、撮影状況に応じてダイナミックレンジ拡大処理を実施するか否かを判断する画像処理装置、撮像装置及び画像処理方法を提供することができる。

以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分には同一符号を付している。

図１を参照して、本発明の実施の形態に係わる画像処理装置を含む撮像装置の全体構成を説明する。撮像装置は、複数の画素を備える撮像素子を用いて被写体を撮像する撮像装置であって、撮像素子の受光面に被写体像を結像させる撮影光学系の一部としての光学レンズ１１と、予め設定された露光期間にわたって撮像素子の受光面に結像された被写体像を撮像素子（ＣＭＯＳイメージセンサ１２：ＣＭＯＳ−ＩＳ）が光電変換することにより画像を撮像する撮像部と、ＣＭＯＳイメージセンサ１２が出力するアナログ信号をデジタル信号に変換するＡＦＥ（アナログ・フロント・エンド）１３と、ＡＦＥ１３が出力するデジタル信号からＹ、Ｕ、Ｖの輝度信号と色差信号を生成する映像系処理部１４と、音声を電気信号に変換するマイク１６と、マイク１６が出力する音声のアナログ信号をデジタル信号に変換する音声系処理部１５と、映像系処理部１４が出力する輝度信号及び色差信号（映像信号）及び音声系処理部１５が出力する音声のデジタル信号（音声信号）を圧縮する圧縮処理部１７と、圧縮された映像信号及び音声信号を伸張する伸張処理部１８と、伸張された映像信号をアナログ信号に変換するビデオ出力回路１９と、ビデオ出力回路１９が出力する映像のアナログ信号を撮像部が撮像した画像として表示するファインダ（表示部）２０と、伸張された音声信号をアナログ信号に変換する音声出力回路２１と、音声出力回路２１が出力する音声のアナログ信号を出力するスピーカ２２と、撮像装置全体を制御するＣＰＵ２３と、映像及び音声の信号処理に係わるデータを一時的に記録するＳＤＲＡＭ２４と、圧縮された映像信号及び音声信号を記録するＳＤカード２５と、撮像装置全体のタイミング制御信号（例えば、Ｖsync、Ｈsync）やＣＭＯＳイメージセンサ１２の駆動パルスを生成する制御信号生成部（ＴＧ）２６とを備える。

なお、撮像素子としては、ＣＭＯＳイメージセンサ１２の代わりに、電荷結合素子（ＣＣＤ）を用いても構わない。ＡＦＥ１３は、上記のＡＤ変換機能の他に、ＣＭＯＳイメージセンサ１２からの信号レベルに応じてＣＰＵ２３の制御の元でゲイン調整も行なう。映像系処理部１４は、撮像素子を構成する画素毎に輝度信号と色差信号を生成する。また、映像系処理部１４は、ＡＦ（オートフォーカス）の評価値を検出する回路と、ＡＥ（自動露出）の評価値を検出する回路と、被写体の動きを検出する回路とを備える。

実施の形態に係わる画像処理装置は、主にＣＰＵ２３内において構成される。画像処理装置の詳細な構成は図２を参照して説明する。

図２を参照して、本発明の実施の形態に係わる画像処理装置３１の構成を説明する。画像処理装置３１は、複数の画素を備える撮像素子を用いて被写体を撮像して得られた画像を処理する装置であって、画像の輝度値が第１の閾値以下である画素の数を黒とび量として求める黒とび量演算部３３と、画像の輝度値が第１の閾値よりも大きい第２の閾値以上である画素の数を白とび量として求める白とび量演算部３４と、黒とび量或いは白とび量が第３の閾値以上であるか否かを判断する処理判断部３５と、処理判断部３５の判断結果に応じて、異なるシャッタスピードで撮像した被写体の複数の画像を合成することによりダイナミックレンジを広げる画像処理（以後、「ダイナミックレンジ拡大処理」という）を実施するダイナミックレンジ拡大処理部３６とを備える。ダイナミックレンジ拡大処理部３６は、黒とび量或いは白とび量が第３の閾値以上である場合、ダイナミックレンジ拡大処理を実施し、黒とび量及び白とび量が第３の閾値未満である場合、ダイナミックレンジ拡大処理を実施しない。

ダイナミックレンジ拡大処理部３６は、白とび量が第１の所定値未満となるシャッタスピードを高輝度用シャッタスピードとして設定する高輝度用シャッタスピード設定部４１と、黒とび量が第２の所定値未満となるシャッタスピードを低輝度用シャッタスピードとして設定する低輝度用シャッタスピード設定部４２と、高輝度用シャッタスピード及び低輝度用シャッタスピードで撮像した被写体の２画像を合成する画像合成部４３とを備える。黒とび量或いは白とび量が第３の閾値以上であると処理判断部３５が判断した場合、すなわち、ダイナミックレンジ拡大処理を実施することになった場合、高輝度用シャッタスピード設定部４１及び低輝度用シャッタスピード設定部４２は、それぞれ高輝度用シャッタスピード及び低輝度用シャッタスピードを設定する。図１の撮像装置のシャッタボタンの押下げ操作があった場合、高輝度用シャッタスピード及び低輝度用シャッタスピードによる撮像をそれぞれ実施し、画像合成部４３は作成された高輝度用画像と低輝度用画像を合成する。

なお、画像合成部４３は、上記の２画像のみならず、その他のシャッタスピードにて撮像された画像を含めて、３以上の画像を合成しても構わない。

図３を参照して、図２の画像処理装置３１による画像処理の流れを説明する。

（イ）先ず、Ｓ１０段階において、シャッタスピード（露光時間）や、ダイナミックレンジ拡大処理を行なうか否かを示すフラグ（以後、「Ｄレンジ拡大フラグ」という）Wd_flagを初期値に設定する。

（ロ）Ｓ２０段階に進み、輝度評価値を取得する。輝度評価値とは、ＣＭＯＳイメージセンサ１２の全画素の輝度値を合計した値であり、白とび量や黒とび量を求める為に必要なデータである。映像系処理部１４が出力する輝度信号から画素ごとの輝度値を求め、総ての画素の輝度値を足し合わせることにより、輝度評価値が得られる。

（ハ）そして、ＣＰＵ２３によるＡＥ（自動露出）によって、適正な露光を行なうためのシャッタスピードを計算する（Ｓ３０段階）。そして、制御信号生成部２６からタイミング制御信号V_syncを受けると（Ｓ４０段階）、その後、適正露光シャッタスピードにて画像を撮像する（Ｓ５０段階）。

（ニ）Ｓ６０段階に進み、黒とび量演算部３３は、画像の輝度値が第１の閾値以下である画素の数（黒とび量）を求める。白とび量演算部３４は、画像の輝度値が第１の閾値よりも大きい第２の閾値以上である画素の数（白とび量）求める。そして、処理判断部３５は、黒とび量或いは白とび量が第３の閾値以上であるか否かを判断する。

（ホ）黒とび量或いは白とび量が第３の閾値以上である場合（Ｓ６０段階にてＹＥＳ）、Ｓ７０段階に進み、Ｄレンジ拡大フラグWd_flagを１にセットする。一方、黒とび量及び白とび量が第３の閾値未満である場合（Ｓ６０段階にてＮＯ）、Ｓ８０段階に進み、Ｄレンジ拡大フラグWd_flagを０にセットする。

（へ）Ｓ９０段階に進み、ユーザが撮像装置のシャッタボタンを押下げる操作を行なったか否かを判断する。シャッタボタンが押された場合（Ｓ９０段階にてＹＥＳ）、Ｓ１００段階に進む。一方、シャッタボタンが押されていない場合（Ｓ９０段階にてＮＯ）、Ｓ２０段階に戻り、上記のＳ２０〜Ｓ８０段階をシャッタボタンが押されるまで繰り返し実施する。

（ト）Ｓ１００段階において、Ｄレンジ拡大フラグWd_flagを確認する。Ｄレンジ拡大フラグWd_flagが１である場合（Ｓ１００段階にてＹＥＳ）Ｓ１１０段階に進み、ダイナミックレンジ拡大処理部３６は、ダイナミックレンジ拡大処理を実施する。Ｄレンジ拡大フラグWd_flagが０である場合（Ｓ１００段階にてＮＯ）Ｓ１２０段階に進み、ダイナミックレンジ拡大処理部３６は、ダイナミックレンジ拡大処理を実施せず、通常の撮影処理を実施する。

なお、黒とび量を求める際の第１の閾値及び白とび量を求める際の第２の閾値は、画像の階調の幅で定めることができる。例えば、画像の全階調が２５６階調（８ビット）である場合、低輝度側の１０階調、つまり０〜１０階調を黒とびとする。したがって、この時の第１の閾値は、１０階調となる。同様に、高輝度側の１０階調、つまり２４６〜２５６階調を白とびとする。したがって、この時の第２の閾値は、２４６階調となる。また、第３の閾値については、撮像素子の画素数に応じて定めることができる。例えば、処理判断部３５は、黒とびと判定された画素の数或いは白とびと判定された画素の数が撮像素子の全画素数の１／４以上であるか否かを判断してもよい。

図４を参照して、図３のＳ１１０段階のダイナミックレンジ拡大処理の詳細な手順を説明する。

（Ａ）先ず、Ｓ１００５段階において輝度評価値を取得し、Ｓ１０１０段階に進み、高輝度用シャッタスピード設定部４１は、高輝度用シャッタスピードを設定する。そして、制御信号生成部２６からタイミング制御信号V_syncを受けると（Ｓ１０１５段階）、その後、高輝度用シャッタスピードにて画像を撮像する（Ｓ１０２０段階）。

（Ｂ）Ｓ１０２５段階に進み、高輝度用シャッタスピードにて撮像された画像の白とび量が第１の所定値以上であるか否かを判断する。白とび量が第１の所定値以上である場合（Ｓ１０２５段階にてＹＥＳ）、Ｓ１０３０段階にて高輝度用シャッタスピードを露光時間が短くなる方向にインクリメントする。そして、Ｓ１００５段階に戻り、Ｓ１００５〜Ｓ１０３０段階を、白とび量が第１の所定値未満になるまで実施する。一方、白とび量が第１の所定値未満である場合（Ｓ１０２５段階にてＮＯ）、Ｓ１０３５段階に進む。

（Ｃ）Ｓ１０３５段階において輝度評価値を取得し、Ｓ１０４０段階に進み、低輝度用シャッタスピード設定部４２は、低輝度用シャッタスピードを設定する。そして、制御信号生成部２６からタイミング制御信号V_syncを受けると（Ｓ１０４５段階）、その後、低輝度用シャッタスピードにて画像を撮像する（Ｓ１０５０段階）。

（Ｄ）Ｓ１０５５段階に進み、低輝度用シャッタスピードにて撮像された画像の黒とび量が第２の所定値以上であるか否かを判断する。黒とび量が第２の所定値以上である場合（Ｓ１０５５段階にてＹＥＳ）、Ｓ１０６０段階にて低輝度用シャッタスピードを露光時間が長くなる方向にデクリメントする。そして、Ｓ１０３５段階に戻り、Ｓ１０４５〜Ｓ１０６０段階を、黒とび量が第２の所定値未満になるまで実施する。

（Ｅ）Ｓ１０６５段階に進み、画像合成部４３は、高輝度用シャッタスピード及び低輝度用シャッタスピードで撮像した被写体の２画像を合成する。具体的には、２画像のブレを補正し（画像合致処理）、２画像についてＡＦＥ１３が設定するゲインを調整してレベルを一致させる。その後、２画像の画像データを画像加算処理によって合成する。加重加算合成処理の後に、コントラストを強調する処理を施し（Ｓ１０７０段階）、最後に、ＳＤカード２５等の記録媒体に画像データを記録する（Ｓ１０７５段階）。

図５を参照して、比較例として、適正露光シャッタスピードから求めた高輝度用シャッタスピード及び低輝度用シャッタスピードにおいて撮像した画像を合成するダイナミックレンジ拡大処理の流れを説明する。

（ａ）図３のＳ３０段階にて求めた適正露光シャッタスピードに基づいて、高輝度用シャッタスピードを設定する（Ｓ２００５段階）。ここでは、例えば、適正露光シャッタスピードから、一定の値又は一定の割合だけ早くしたシャッタスピードを高輝度用シャッタスピードとして設定する。そして、制御信号生成部２６からタイミング制御信号V_syncを受けると（Ｓ２０１０段階）、その後、高輝度用シャッタスピードにて画像を撮像する（Ｓ２０１５段階）。

（ｂ）図３のＳ３０段階にて求めた適正露光シャッタスピードに基づいて、低輝度用シャッタスピードを設定する（Ｓ２０２０段階）。ここでは、例えば、適正露光シャッタスピードから、一定の値又は一定の割合だけ遅くしたシャッタスピードを低輝度用シャッタスピードとして設定する。そして、制御信号生成部２６からタイミング制御信号V_syncを受けると（Ｓ２０２５段階）、その後、低輝度用シャッタスピードにて画像を撮像する（Ｓ２０３０段階）。

（ｃ）Ｓ２０３５段階に進み、高輝度用シャッタスピード及び低輝度用シャッタスピードで撮像した被写体の２画像を合成する。加重加算合成処理の後に、コントラストを強調する処理を施し（Ｓ２０４０段階）、最後に、ＳＤカード２５等の記録媒体に画像データを記録する（Ｓ２０４５段階）。

図６（ａ）は、撮像素子を用いて被写体を周期的に撮像し、得られる画像をファインダ上に順次表示する、いわゆるスルーモードにおける電子シャッタの開閉、ＡＥ、ＡＷＢ制御、表示フレームの一般的な例を示す。なお、ファインダは、撮像装置に設けられた、液晶表示装置（ＬＣＤ）等の表示装置である。電子シャッタが周期的に、一定のシャッタスピードで開閉することにより、撮像素子が被写体を周期的に撮像する（Ｓ_１、Ｓ_２、Ｓ_３、・・・）。周期的な撮像（Ｓ_１、Ｓ_２、Ｓ_３、・・・）により得られる画像（フレーム）は、順次、ファインダ２０上に、フレーム１、フレーム２、フレーム３、・・・として表示される。なお、周期的な撮像（Ｓ_１、Ｓ_２、Ｓ_３、・・・）の中で、ＡＥ（自動露出）やＡＷＢ（オートホワイトバランス）を定期的に行なっている。

図６（ｂ）は、スルーモードにおいて、高輝度用シャッタスピード及び低輝度用シャッタスピードを設定する第１の実施例を示す。ここでは、周期的な撮像（Ｓ_１、Ｓ_２、Ｓ_３、・・・）の中で、ＡＥやＡＷＢの他に、高輝度用ＡＥ及び低輝度用ＡＥを更に行なっている。高輝度用ＡＥを行なう撮像（Ｓ_２）は図４のフローで選定された高輝度用シャッタスピードで行なわれ、低輝度用ＡＥを行なう撮像（Ｓ_４）は図４のフローで選定された低輝度用シャッタスピードで行なわれる。

図６（ｃ）は、更に、高輝度用シャッタスピードで撮像して得られた高輝度画像（フレーム）及び低輝度用シャッタスピードで撮像して得られた低輝度画像（フレーム）の代わりに時間的に前の適正露光シャッタスピードで撮像された適正画像（フレーム）をファインダ２０上に表示する第２の実施例を示す。ここでは、高輝度用シャッタスピードで撮像して得られた高輝度画像及び低輝度用シャッタスピードで撮像して得られた低輝度画像の代わりに時間的に前の適正露光シャッタスピードで撮像された適正画像をファインダ２０上に表示する。具体的には、高輝度画像（フレーム２、フレーム８）の代わりに、それぞれフレーム１、フレーム７をファインダ２０上に表示している。同様に、低輝度画像（フレーム４）の代わりに、フレーム３を表示している。

以上説明したように、本発明の実施の形態によれば以下の作用効果が得られる。

黒とび量或いは白とび量が所定の閾値（第３の閾値）以上である場合（Ｓ６０にてＹＥＳ）、広いダイナミックレンジを必要とする撮影状況にあると考えられる。よって、この場合、異なるシャッタスピードで撮像した被写体の複数の画像を合成することによりダイナミックレンジを広げる、いわゆるダイナミックレンジ拡大処理を実施する（Ｓ７０）。一方、黒とび量及び白とび量が第３の閾値未満である場合（Ｓ６０にてＮＯ）、現在のダイナミックレンジで十分な撮影状況にあると考えられる。よって、この場合、ダイナミックレンジ拡大処理を実施しない（Ｓ８０）。これにより、ダイナミックレンジ拡大処理を必要な場合だけ実施することができるので、ダイナミックレンジ拡大処理が不要な場合は、動きがある被写体を撮像すると画像が不自然になる、１つの画像の為に２以上の撮像を行なうためレスポンスが悪い等、ダイナミックレンジ拡大処理による弊害がなくなる。

高輝度用シャッタスピード設定部４１は白とび量が第１の所定値未満となるシャッタスピードを高輝度用シャッタスピードとして設定し（Ｓ１０２５）、低輝度用シャッタスピード設定部４２は黒とび量が第２の所定値未満となるシャッタスピードを低輝度用シャッタスピードとして設定する（Ｓ１０５５）。これにより、画像合成部４３が合成する画像を撮像する際の高輝度用シャッタスピード及び低輝度用シャッタスピードを、それぞれ白とび量及び黒とび量に基づいて設定することができる。よって、通常の最適露光時間から高輝度用シャッタスピード及び低輝度用シャッタスピードを設定していた比較例（図５）に比べて、被写体に応じて適正なシャッタスピードを設定することができる。

図６（ｂ）に示したように、撮像素子を用いて被写体を周期的に撮像し、得られる画像をファインダ２０上に順次表示している、いわゆるスルーモードの時に、高輝度用シャッタスピード設定部４１は、周期的な撮像の一部（Ｓ_２、Ｓ_８）を高輝度用シャッタスピードで撮像して得られた画像に基づいて、高輝度用シャッタスピードを設定し、低輝度用シャッタスピード設定部４２は、周期的な撮像の他の一部（Ｓ_４）を低輝度用シャッタスピードで撮像して得られた画像に基づいて、低輝度用シャッタスピードを設定する。これにより、スルーモードにおいて、高輝度用シャッタスピード及び低輝度用シャッタスピードを設定することができる。したがって、シャッタボタンの押下げ操作によって撮影を行なう時に、高輝度用シャッタスピード及び低輝度用シャッタスピードを設定する必要がなくなるため、レスポンスが向上し、高速に撮影することができる。

図６（ｃ）に示したように、高輝度用シャッタスピードで撮像して得られた高輝度画像（フレーム２、フレーム８）及び低輝度用シャッタスピードで撮像して得られた低輝度画像（フレーム４）の代わりに時間的に前の画像（フレーム１、フレーム３、フレーム７）をファインダ２０上に表示する。尚、これらの画像はいずれも適正露光シャッタスピードで撮像して得られた画像である。これにより、スルーモードにおいて、ファインダ２０上に表示される画像の照度が均一になるため、ユーザにちらつき等の不快感を与えることが少なくなる。

上記のように、本発明は、１つの実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

図３のＳ９０段階では、シャッタボタンが押されたか否かを判断していたが、シャッタボタンの状態として、シャッタボタンが半分だけ押された「半押し」の状態、及びシャッタボタンが最も深くまで押された「全押し」の状態がある場合であっても、本発明を適用することができる。

この場合、図７に示すように、Ｓ９０段階では、「半押し」されたか否かを判断する。そして、Ｓ１１０段階のＤレンジ拡大撮影処理を、図８に示すフローチャートに従って実施する。図８のフローチャートは、図４に比べて、Ｓ１０５５段階とＳ１０６５段階の間にＳ１０５６〜Ｓ１０５８段階を更に備え、Ｓ１０２０段階及びＳ１０５０段階を備えない点が異なり、その他については同じである。Ｓ１０５６段階では、「全押し」されたか否かを判断し、全押しされた場合（Ｓ１０５６にてＹＥＳ）Ｓ１０５７に進み、Ｓ１０１０で設定された高輝度シャッタスピードで高輝度画像を取得し、Ｓ１０５８に進み、Ｓ１０５０で設定された低輝度シャッタスピードで低輝度画像を取得する。

実施の形態で図３及び図４を参照して説明した画像処理装置３１の動作、つまり画像処理方法は、コンピュータシステムを用いてこれを実行するためにコンピュータシステム内のプロセッサー（ＣＰＵ２３）などが果たす複数の機能を特定するコンピュータプログラムとして構成することもできる。このコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に保存することができる。この記録媒体をコンピュータシステムによって読み込ませ、前記プログラムを実行してコンピュータを制御しながら上述した画像処理方法を実現することができる。ここで、前記記録媒体としては、メモリ装置、磁気ディスク装置、光ディスク装置、その他のプログラムを記録することができるような装置が含まれる。

このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明特定事項によってのみ限定されるものである。

本発明の実施の形態に係わる画像処理装置３１を含む撮像装置の全体構成を示すブロック図である。 本発明の実施の形態に係わる画像処理装置３１の構成を示すブロック図である。 図２の画像処理装置３１による画像処理全体の流れを示すフローチャートである。 図３のＳ１１０段階のダイナミックレンジ拡大処理の詳細な手順を示すフローチャートである。 図４の比較例として、適正露光シャッタスピードから求めた高輝度用シャッタスピード及び低輝度用シャッタスピードにおいて撮像した画像を合成するダイナミックレンジ拡大処理の流れを示すフローチャートである。 図６（ａ）は、撮像素子を用いて被写体を周期的に撮像し、得られる画像をファインダ上に順次表示する、いわゆるスルーモードにおける電子シャッタの開閉、ＡＥ、ＡＷＢ制御、表示フレームの一般的な例を示す図であり、図６（ｂ）は、スルーモードにおいて、高輝度用シャッタスピード及び低輝度用シャッタスピードを設定する本発明の第１の実施例を示す図であり、図６（ｃ）は、更に、高輝度用シャッタスピードで撮像して得られた高輝度画像（フレーム）及び低輝度用シャッタスピードで撮像して得られた低輝度画像（フレーム）の代わりに時間的に前後の画像（フレーム）をファインダ上に表示する第２の実施例を示す図である。 図２の画像処理装置３１による画像処理全体の流れの変形例を示すフローチャートである。 図３のＳ１１０段階のダイナミックレンジ拡大処理の詳細な手順の変形例を示すフローチャートである。

符号の説明

１１ 光学レンズ
１２ ＣＭＯＳイメージセンサ
１３ ＡＦＥ（アナログ・フロント・エンド）
１４ 映像系処理部
１５ 音声系処理部
１６ マイク
１７ 圧縮処理部
１８ 伸張処理部
１９ ビデオ出力部
２０ ファインダ
２１ 音声出力回路
２２ スピーカ
２３ ＣＰＵ
２４ ＳＤＲＡＭ
２５ ＳＤカード
２６ 制御信号生成部
３１ 画像処理装置
３３ 黒とび量演算部
３４ 白とび量演算部
３５ 処理判断部
３６ ダイナミックレンジ拡大処理部
４１ 高輝度用シャッタスピード設定部
４２ 低輝度用シャッタスピード設定部
４３ 画像合成部

Claims (7)

1. 複数の画素を備える撮像素子を用いて被写体を撮像して得られた画像を処理する装置であって、
   前記画像の輝度値が第１の閾値以下である画素の数を黒とび量として求める黒とび量演算部と、
   前記画像の輝度値が前記第１の閾値よりも大きい第２の閾値以上である画素の数を白とび量として求める白とび量演算部と、
   前記黒とび量或いは前記白とび量が第３の閾値以上であるか否かを判断する処理判断部と、
   前記黒とび量或いは前記白とび量が第３の閾値以上である場合に、異なるシャッタスピードで撮像した前記被写体の複数の画像を合成する画像処理を実施し、前記黒とび量及び前記白とび量が第３の閾値未満である場合に、当該画像処理を実施しないダイナミックレンジ拡大処理部
   とを備えることを特徴とする画像処理装置。
2. 前記ダイナミックレンジ拡大処理部は、
   前記白とび量が第１の所定値未満となる前記シャッタスピードを高輝度用シャッタスピードとして設定する高輝度用シャッタスピード設定部と、
   前記黒とび量が第２の所定値未満となる前記シャッタスピードを低輝度用シャッタスピードとして設定する低輝度用シャッタスピード設定部と、
   前記高輝度用シャッタスピード及び前記低輝度用シャッタスピードで撮像した前記被写体の２画像を合成する画像合成部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子を用いて前記被写体を周期的に撮像し、得られる画像が表示部上に順次表示されているときに、前記高輝度用シャッタスピード設定部は、前記周期的な撮像の一部を前記高輝度用シャッタスピードで撮像して得られた画像に基づいて、前記高輝度用シャッタスピードを設定し、前記低輝度用シャッタスピード設定部は、前記周期的な撮像の他の一部を前記低輝度用シャッタスピードで撮像して得られた画像に基づいて、前記低輝度用シャッタスピードを設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記高輝度用シャッタスピードで撮像して得られた高輝度画像及び前記低輝度用シャッタスピードで撮像して得られた低輝度画像の代わりに時間的に前の画像を前記表示部上に表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像素子の受光面に被写体像を結像させる撮影光学系と、
   前記撮像素子が前記受光面に結像された前記被写体像を光電変換することにより画像を撮像する撮像部と、
   前記撮像部が撮像した前記画像を表示する前記表示部と、
   請求項１乃至４いずれか一項に記載の画像処理装置と
   を備えることを特徴とする撮像装置。
6. 複数の画素を備える撮像素子を用いて被写体を撮像して得られた画像を処理する方法であって、
   前記画像の輝度値が第１の閾値以下である画素の数を黒とび量として求める段階と、
   前記画像の輝度値が前記第１の閾値よりも大きい第２の閾値以上である画素の数を白とび量として求める段階と、
   前記黒とび量或いは前記白とび量が第３の閾値以上であるか否かを判断する段階と、
   前記黒とび量或いは前記白とび量が第３の閾値以上である場合に、異なるシャッタスピードで撮像した前記被写体の複数の画像を合成する画像処理を実施する段階とを備え、
   前記黒とび量及び前記白とび量が第３の閾値未満である場合に、異なるシャッタスピードで撮像した前記被写体の複数の画像を合成する画像処理を実施しない
   ことを特徴とする画像処理方法。
7. 異なるシャッタスピードで撮像した前記被写体の複数の画像を合成することによりダイナミックレンジを広げる画像処理を実施する段階は、
   前記白とび量が第１の所定値未満となる前記シャッタスピードを高輝度用シャッタスピードとして設定する段階と、
   前記黒とび量が第２の所定値未満となる前記シャッタスピードを低輝度用シャッタスピードとして設定する段階と、
   前記高輝度用シャッタスピード及び前記低輝度用シャッタスピードで撮像した前記被写体の２画像を合成する段階と
   を備えることを特徴とする請求項６に記載の画像処理方法。