JP2009033289A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】室内のように、単一の色温度の光源下で撮影した場合にホワイトバランスが適切に調整され、かつ対象とする被写体が背景から浮き上がって見える画像を取得する。
【解決手段】ストロボ装置を発光させずに取得した画像と、ストロボ装置を発光させて取得した画像とを比較し、信号値の差が所定の値より大きい部分を前景グループ、所定の値以下の部分を背景グループとして区分する。そして、ストロボ装置を発光させずに取得した画像を前景グループと背景グループとで独立して画像処理を施す。ストロボ装置を発光させずに取得した画像は単一の色温度の光源で撮影されたものであれば適切にホワイトバランスを調整することができる。
【選択図】図５

Description

本発明はストロボ発光が可能な撮像装置及びストロボ発光を利用する撮影方法に関するもので、特に色温度の低い光源下で撮影した画像を自然な色合いとすることが可能な撮像装置に関する。

光量の足りない場所で撮影する場合や被写体が逆光状態で撮影する場合に、光源としてストロボを発光させて対象とする被写体の輝度を上げ、被写体を明瞭に撮影する撮像装置が広く用いられている。

特許文献１、２では、このようなストロボを備えたデジタルカメラなどの撮像装置において、記録用の画像を撮影（本撮影）する前に、ストロボを発光させる撮影と発光させない撮影による２枚の画像を撮影（予備撮影）して、予備撮影した２枚の画像における輝度変化の大きさによって主要部領域と背景部領域とに区分し、画像をこれらの領域を区分する切りわけ情報に基づき、焦点や露出を合わせる領域やストロボの照射角度といった本撮影の撮影条件の設定や、本撮影した画像に対して主要部領域と背景部領域とで異なる感度処理や階調補正などの画像処理を行う方法が提案されている。
特開２００２−４０３２１号公報 特開２００２−４４５１０号公報

しかし、ストロボ光源は色温度が高いため、特許文献１、２で提案された方法では、他の光源下、特に色温度の低い光源下でストロボを発光させて撮影した場合には、異なる色温度の光が混合した光源（ミックス光源）となるため、ホワイトバランスの制御が困難となる。

又、一般に、単一の低い色温度の光源下でストロボを発光させずに撮影した場合、ホワイトバランスは適切に制御できるものの、輝度が低い領域の階調補正をした場合に対象とする被写体のみならず、背景の暗部まで同様の補正を行ってしまうこととなり、対象とする被写体が背景に埋もれた全体に遠近感のない画像となる。

そこで、本発明は、ある光源下で撮影した場合にホワイトバランスが適切に制御され、対象とする被写体が背景から浮き上がった画像の取得が可能な撮像装置及び撮像方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像画像を取得する撮像部と、前記撮像部で撮像画像を取得する際に閃光を発するストロボ装置と、前記撮像画像に前記撮像画像の信号値に基づいて画像処理を施す画像処理部と、を備える撮像装置において、前記ストロボ装置を発光させずに前記撮像部で取得した第１の撮像画像の信号値及び前記ストロボ装置を発光させて前記撮像部で取得した第２の撮像画像の信号値に基づいて、前記画像処理部で前記ストロボ装置を発光させずに前記撮像部で取得した撮像画像に画像処理を施すことを特徴とする。

又、前記ストロボ装置を発光させずに取得した撮像画像を、前記第２の撮像画像の信号値と比較した前記第１の撮像画像の信号値の差又は比率が所定の値以上である部分に相当する第１の部分と前記所定の値未満である部分に相当する第２の部分とに区分し、その画像処理を前記第１の部分と前記第２の部分とで独立して行うこととしても構わない。

又、前記信号値は、輝度の強度又は色差信号の強度を利用しても構わない。

又、前記第１の部分の前記第２の部分に対する割合が所定の割合以上である場合、前記ストロボ装置を発光させて取得した撮像画像を記録するものとしても構わない。

又、本発明の撮像方法は、ストロボ装置を発光させずに第１の撮像画像を取得する第１のステップと、前記ストロボ装置を発光させて第２の撮像画像を取得する第２のステップと、前記第１の撮像画像の信号値と前記第２の撮像画像の信号値とを比較して、信号値の差又は比率が所定の値以上である第１の部分と前記所定の値未満である第２の部分とに区分する第３のステップと、前記ストロボ装置を発光させずに取得した撮像画像の前記第１の部分に相当する部分と前記第２の部分に相当する部分の画像処理を独立して行う第４のステップと、を備えることを特徴とする。

又、前記第１の部分の前記第２の部分に対する割合が所定の割合以上である場合、前記ストロボ装置を発光させて取得した撮像画像を記録する第５のステップを備えることとしても構わない。

又、前記第３のステップで前記第１の部分と前記第２の部分に区分した後、電源電圧が所定の値以下である場合に、前記第４のステップで前記ストロボ装置を発光させずに取得した撮像画像の画像処理を行うことしても構わない。

本発明によると、室内のようにストロボ装置を発光させた場合にミックス光源となる環境において、ストロボ装置を発光させずに画像を取得するため、ホワイトバランスの調整を適切に行うことができる。また、ストロボ装置を発光させた場合に発光させなかった場合と比べて大きく変化する部分とそれ以外の部分とを検出して、ストロボ装置を発光させずに取得した画像のそれぞれの部分に相当する部分の画像処理を独立して行うため、例えば人物を強調し、背景部分を全体に暗いものとして階調補正を行った場合には、ホワイトバランスが適切に制御され、対象とする人物が背景から浮き上がった画像を得ることができる。

本発明の実施形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、本発明の実施形態に係る撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を電気信号に変換するマイク４と、閃光を発し、コンデンサに蓄えられた電荷を制御することにより発光量の調整が可能なストロボ装置２５と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正及びホワイトバランス調整を含む各種画像処理を施す画像処理部５と、画像処理部５から入力された画像信号から焦点合わせ制御に用いられるＡＦ評価値、露出制御に用いられるＡＥ評価値及びホワイトバランスの制御に用いられるＡＷＢ評価値を算出する評価値算出部２３と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、電源である電池の電圧を測定する電源監視回路２４を備える。レンズ部２は、画像処理部５で検出した画像信号に応じてＣＰＵ１７が、モータを駆動して焦点、絞りの制御を行うものである。

（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。プレビューモードとは、ディスプレイ部１２に撮影対象となる画像を表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、一般的な撮影モード、人物撮影に適したモードや移動物の撮影に適したモード、逆光での撮影に適したモード等、撮像装置の機能に応じた撮影モードが選択される。撮影モードが入力されない場合は一般的な撮影モードが選択されたものとする（ＳＴＥＰ２０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基に評価値算出部２３でＡＥ評価値、ＡＦ評価値を算出し、ＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。

ここで、ＡＦの最適化処理の一例を以下に説明する。レンズ部２の合焦距離を無限遠から最近接位置まで所定の間隔で変化させながら各合焦距離で画像を取得する。評価値算出部２３で、その画像を複数の領域、例えば図３に示すように縦１６列、横１６行の２５６個の領域に分割し、その分割した領域全てのＡＦ評価値を取得する。ここでＡＦ評価値には、輝度信号の高周波成分の強度を利用することができる。この各領域についてのＡＦ評価値を全て均等に合計した値や、画像の中央部の領域のものに重点を置いて合計した値など、各領域についてのＡＦ評価値から所定の規則で算出した値をこの画像のＡＦ評価値とする。そして、この画像のＡＦ評価値が極大値を取る合焦距離を対象とする被写体に焦点が合った位置とする。極大値が複数現れた場合は最も距離が短いもの、最も距離が長いもの、中間のものなど所定の基準によって採用する極大値を決定して構わない。

その後、シャッターボタンが全押しされると（ＳＴＥＰ２０９）、ホワイトバランス制御（Auto White Balance；ＡＷＢ）により、その時点でのイメージセンサ１に投影されている画像のＡＷＢ評価値である色温度を評価値算出部２３で測定する（ＳＴＥＰ２１０）。この色温度が所定の色温度よりも高い場合（ＳＴＥＰ２１０でＮｏ）、ＴＧ１６から、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、撮像装置の駆動モードが静止画撮影モードに変更され（ＳＴＥＰ２１７）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２１８）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部５において輝度信号及び色差信号の生成を行う信号変換処理やホワイトバランスの調整、階調補正などの各種画像処理が施され（ＳＴＥＰ２１９）、画像処理が施された信号を圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮した（ＳＴＥＰ２１５）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１６）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。

ＳＴＥＰ２１０で測定した色温度が所定の色温度以下の場合（ＳＴＥＰ２１０でＹｅｓ）、ストロボ装置２５を発光させて撮影した画像とストロボ装置２５を発光させずに撮影した２枚の画像（予備撮影画像）の信号値を比較し、信号値の差が所定の値よりも大きい部分と所定の値以下の部分とに領域を区分する（ＳＴＥＰ２１１）。そして、ＴＧ１６から、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、撮像装置の駆動モードを静止画撮影モードに変更し（ＳＴＥＰ２１２）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３で所望の解像度のデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２１３）。この画像を、予備撮影画像に対して本撮影画像と呼ぶ。この本撮影画像のデジタル信号を、画像処理部５においてＳＴＥＰ２１１で設定した部分に区分して部分ごとに画像処理を施す（ＳＴＥＰ２１４）。以上の信号値の差による画像の区分及び区分した部分ごとの画像処理については後述する。

画像処理が施された信号を圧縮処理部７においてＪＰＥＧ形式に圧縮した（ＳＴＥＰ２１５）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１６）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。

（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１９によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。

そして、画像処理部５で画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部８に与えて、外部メモリ２２に記録させる。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。

このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

又、外部メモリ２２に記録された動画を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。

画像を再生することが指示された場合は、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。

（信号値の差による画像の区分）
次に、ＳＴＥＰ２１１の信号値の差による画像の区分について説明する。図４は本実施形態の信号値の差による画像の区分処理のフローチャートである。ＳＴＥＰ２１０で測定した色温度が所定の色温度以下の場合（ＳＴＥＰ２１０でＹｅｓ）、まず、ストロボ装置２５を発光させずに画像を撮影し、その画像（非発光予備撮影画像）をメモリ１８に記憶させる（ＳＴＥＰ４０１）。続いてストロボ装置２５を発光させて画像を撮影し、その画像（発光予備撮影画像）をメモリ１８に記憶させる（ＳＴＥＰ４０２）。そして、評価値算出部２３では非発光予備撮影画像及び発光予備撮影画像を複数の領域、例えば図３に示すように縦１６列、横１６行の２５６個の領域に分割し、その分割領域全ての信号値を比較する（ＳＴＥＰ４０３）。この２枚の予備撮影画像は、本撮影画像よりも解像度が粗く、容量の少ないものとすることにより画像の区分動作の速度を向上させることができる。ここで比較に用いる信号値としては、輝度信号の強度や、色差信号の強度を利用することができる。一般にストロボ装置の光は色温度が高く、その光に照射された被写体は照射されていない状態と比べて青みがかかるため、色差信号としては青色についてのものが好ましい。

この比較の結果、信号値の差が所定の値よりも大きい領域と所定の値以下の領域とで各領域を二つのグループに区分する（ＳＴＥＰ４０４）。信号値の差が所定の値よりも大きいということは、所定の値以下の場合よりもストロボ装置２５の発光の影響が大きいということである。したがって、信号値の差が所定の値よりも大きいグループは、信号値の差が所定の値よりも小さいグループよりも、グループに属する領域に含まれる被写体が撮像装置から近いものと判断することができる。以下、信号値の差が所定の値よりも大きいグループを近景グループ、所定の値以下のグループを遠景グループと呼ぶ。図５に、図３の画像を近景グループ及び遠景グループに区分した例を示す。図５では、網掛けを施した、対象とする被写体である人物を含む領域は近景グループに属し、それ以外の領域は遠景グループに属する。

（グループ毎に施す画像処理）
次に本撮影画像のグループ毎に施す画像処理について説明する。まず、画像処理部５において、ＳＴＥＰ２１０で測定した色温度に基づいて本撮影画像のホワイトバランスを調整する。この本画像はストロボ装置２５を発光させず、環境光のみで撮影されたものであるため、ホワイトバランスは適切に調整される。続いて、２枚の予備撮影画像に基づいて設定した近景グループと遠景グループを本撮影画像の同じ位置に適用して、本撮影画像を近景グループと遠景グループに区分する。そして近景グループと遠景グループとで異なる階調補正特性を適用して、本撮影画像に階調補正を施す。

本撮影画像は本来ストロボ装置２５を発光させることが好ましい程度に暗い環境光下で撮影されたものであるため、近景グループについての階調補正に用いる入出力特性は全体の輝度を高くして強調するものであることが好ましい。このような入出力特性としては、例えば図６に示すものを挙げることができる。図６において、輝度がＬ６以上の部分の傾きをｋ６１、Ｌ６以下の部分の傾きをｋ６２とすると、ｋ６１＜ｋ＜ｋ６２（ｋは出力輝度値と入力輝度値とで変化のない場合の階調補正特性を示す、原点を通る直線の傾き）として、低輝度部分の階調幅を広げるように変換する。ここで、近景グループの平均輝度値をＬｎとすると、Ｌ６との関係はＬｎ＜Ｌ６として、近景グループの中でも輝度の低い部分の階調幅を広げるように変換する。

遠景グループについての階調補正に用いる入出力特性は、近景グループを浮き立たせるためにコントラストを低くするものであることが好ましい。このような入出力特性としては、例えば図７に示すものを挙げることができる。図７において、輝度がＬ７以上の部分のグラフの傾きをｋ７１、Ｌ７以下の部分の傾きをｋ７２とすると、ｋ７１＜ｋ＜ｋ７２として高輝度部分の階調幅を狭くしてコントラストを低くするように変換する。さらに出力輝度値の高輝度部分をカットして全体に暗く変換する。ここで、遠景グループの平均輝度値をＬｆとすると、Ｌ７との関係はＬｆ＜Ｌ７として、遠景グループの中でも輝度の高い部分の階調幅を狭くするように変換することとしている。

尚、遠景グループについては、階調補正前の状態でも十分に暗い部分であるため、階調補正を施さなくても構わない。即ち、階調補正特性を、図７に破線で示す原点を通り傾きがｋである直線としてもよい。

階調補正の強度は、２枚の予備撮影画像の近景グループの信号値の差の大きさによって変化させても構わない。２枚の予備撮影画像の近景グループの信号値の差が大きいほど、環境光が暗いと考えられるため、階調補正の強度を高くして近景グループの輝度を高くする。この場合、図８に示すように、全く補正しない場合の入出力特性（Ｓ０）と、最大強度の入出力特性（Ｓｍａｘ）とを設定して、Ｓ０とＳｍａｘとを２枚の予備撮影画像の近景グループの信号値の平均の差ｄを基準に線形補間した入出力特性Ｓｄを採用することができる。ｄの最大値をＤとすると、Ｓｄ＝Ｓｍａｘ×ｄ／Ｄ＋Ｓ０（１−ｄ／Ｄ）と表すことができる。図８にはｄ／Ｄ＝０．２５、０．５、０．７５の場合の３種類のＳｄを示す。尚、図８では、例として近景グループについての入出力特性について示したが、遠景グループについても同様である。

又、階調補正特性は、２枚の予備撮影画像の近景グループの色温度の差の大きさによって変化させても構わない。これにより、ホワイトバランスが調整された画像に対して適切な階調補正を施すことができる。

このように構成することにより、ホワイトバランスが適切に調整され、さらに対象とする被写体が背景から浮き上がった画像を得ることができる。

（入出力特性の補間）
しかし、隣接する領域間で階調補正に用いる入出力特性が異なると、領域の境界では画像に特性の違いによって境界が現れることとなる。そこで、領域間で境界をぼかして目立たなくするように、入出力特性の異なる隣接する領域を構成する画素の階調補正に用いる入出力特性にグラデーションを与える。

図９に４個の領域の模式図を示す。領域７１〜７４の中心をそれぞれ７１ａ〜７４ａ、領域７１〜７４の４個の領域が共有する点を原点Ｏ、図面横方向をｘ軸、縦方向をｙ軸とし、各領域の１辺の長さを２ａとする。このとき中心７１ａの座標は（ａ，ａ）、中心７２ａの座標は（−ａ，ａ）、中心７３ａの座標は（−ａ，−ａ）、中心７４ａの座標は（ａ，−ａ）である。

各領域の中心に位置する画素では各領域の属するグループに設定された入出力特性を階調補正に用い、原点Ｏを共有する４個の領域の中心に囲まれた画素では各領域に設定された入出力特性をその画素から各領域の中心までの距離で線形補間したものを階調補正に用いる。ここでは、図９に示す領域７１に属し、中心７１ａ〜７４ａに囲まれた画素７１ｂについて考える。領域７１〜７４に設定された入出力特性の或る入力輝度値での出力輝度値をそれぞれｈ１、ｈ２、ｈ３、ｈ４とし、その入力輝度値での画素７１ｂにおける出力輝度値をＺ、画素７１ｂの座標を（ｘ，ｙ）とすると、
Ｚ＝［｛（ａ＋ｘ）ｈ１＋（ａ−ｘ）ｈ２｝／２ａ］（ａ＋ｙ）／２ａ
＋［｛（ａ＋ｘ）ｈ３＋（ａ−ｘ）ｈ４｝／２ａ］（ａ−ｙ）／２ａ
となる。なお、隣接する２個の領域の中心を結ぶ線上の画素ではこれらの２個の領域に設定された入出力特性を線形補間したものを階調補正に用いる。

図１０は異なる入出力特性の間を線形補間によりグラデーションを与えて変化させた入出力特性のグラフである。図１０に５本の入出力特性のグラフｈ１〜ｈ５を示す。ｈ２〜ｈ３は、ｈ１とｈ５の間を等間隔で線形補間したものである。ｈ１は図９の領域７１の入出力特性であり図６に示すもの、ｈ５は領域７２の入出力特性であり図８に示すものである。中心７１ａにはｈ１、中心７２ａにはｈ２が適用される。ｈ５〜ｈ７はそれぞれ、中心７１ａと中心７２ａとを結ぶ線上に、中心７１ａと中心７２ａを含めて略等間隔に並んだ３個の画素である、画素７１ｃ、画素７１ｄ、画素７２ｂ（中心７１ａ側から順に）について適用される。このようにして入出力特性を補間して画素毎にグラデーションを与えて変化させることにより、階調補正後の画像は領域間での境界が目立たないものとなる。

尚、領域７１〜７３が画像の外周に位置する領域である場合、図９上の座標（ａ，２ａ）の点７１ｅ、座標（−ａ，２ａ）の点７２ｃ、座標（−２ａ，２ａ）の点７２ｄ、座標（−２ａ，ａ）の点７２ｅ、座標（−２ａ，−ａ）の点７３ｂを設定すると、点７１ｃ、７２ｅ、７２ａ、７１ａで囲まれた部分では点７２ａと点７１ａとを結ぶ線分上のｘ座標が同じ点の入出力特性、点７２ａ、７２ｅ、７３ｂ、７３ａで囲まれた部分では点７２ａと点７３ａとを結ぶ線分上のｙ座標が同じ点の入出力特性、点７２ｃ、７２ｄ、７２ｅ、７２ａで囲まれた部分では点Ｂ即ち中心７２ａの入出力特性を適用する。

尚、本実施形態において、信号値差でグループ化した際に、近景グループの面積の画像に占める割合が所定の値以上である場合、即ち近景グループに属する領域が所定の個数以上である場合、画像全体に占めるストロボ装置２５の発光の影響を受ける部分の割合が大きいと判断できるので、ストロボ装置２５を発光させずに本撮影した画像に対してグループ別に異なる階調補正を施すのではなく、ストロボ装置２５を発光させて撮影して画像全体に同一の画像補正を施してもよい。例えば全体で２５６個の領域中の２００個以上（又は８０％以上）の領域が近景グループに属している場合にストロボ装置２５を発光させる。

この場合の処理についてのフローチャートを図１１に示す。画像の各領域を２枚の予備撮影画像の信号値の差でグループ化し（ＳＴＥＰ２１１）、所定の個数又は所定の割合以上（例えば全２５６個中２００個以上又は８０％以上）の領域が近景グループに属している場合（ＳＴＥＰ１１０１でＹｅｓ）、ＴＧ１６から、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、撮像装置の駆動モードが静止画撮影モードに変更され（ＳＴＥＰ１１０２）、ストロボ装置２５を発光させ（ＳＴＥＰ１１０３）、ストロボ装置２５の光が照射された被写体の画像のデジタル信号を一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ１１０４）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部５において輝度信号及び色差信号の生成を行う信号変換処理やホワイトバランスなどの各種画像処理が施され（ＳＴＥＰ１１０５）、画像処理が施された信号を圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮する（ＳＴＥＰ２１５）。近景グループに属している領域が所定の個数又は所定の割合未満の場合（ＳＴＥＰ１１０１でＮｏ）は、ＳＴＥＰ２１２に移行して上述のグループ別の画像処理を行う。

このように、近景グループの面積の画像に占める割合が所定の値以上である場合に、ストロボ装置２５を発光させて撮影することにより、ストロボ装置２５を発光させずに本撮影した画像をグループ毎に画像を補正するのに比べて速いシャッター速度を利用でき、又はイメージセンサ１の感度を低く設定できるため、手ぶれを生じにくくすること又は画像のノイズを少ないものとすることができる。又、遠景グループはミックス光源となるため、ホワイトバランスの調整が適切に行われない可能性があるが、このグループの画像に占める割合は少ないため、画像全体としてのホワイトバランスは実用上問題なく調整される。

又、本実施形態において、予備撮影画像を本撮影画像と同じ解像度で撮影して、本撮影画像の撮影を省略してもよい。この場合、信号値差で区分する際（ＳＴＥＰ２１１）に撮影する予備撮影画像を本撮影画像と同じ所望の解像度で撮影する（ＳＴＥＰ４０１、ＳＴＥＰ４０２）。そして、ＳＴＥＰ２１２及びＳＴＥＰ２１３を省略して、グループ別画像処理の対象即ち本撮影画像として非発光予備撮影画像を用いる（ＳＴＥＰ２１４）。これにより、撮影のステップ数を減少させることができる。尚、ＳＴＥＰ４０２で撮影する発光予備撮影画像は解像度の低いものとしても構わない。

又、本実施形態において、画像を近景グループと遠景グループに区分するための信号値の比較（ＳＴＥＰ４０３）を、非発光予備撮影画像と発光予備撮影画像の２枚の予備撮影画像の信号値の差によって行う代わりに、発光予備撮影画像の信号値のみに基づいて行ってもよい。この場合、非発光予備撮影画像の取り込み（ＳＴＥＰ４０１）を省略する。

例えば、発光予備撮影画像の特定の信号値が基準値以上の部分を近景グループ、基準値未満の部分を遠景グループとして区分する。この場合の特定の信号値としては、輝度値又は青色についての色差信号が好ましい。信号値が基準値以上である領域は、ストロボ装置２５の発光の影響で輝度が高く又は青みが強く、被写体が近いものとして近景グループとし、信号値が基準値未満の領域は逆に被写体が遠いものとして遠景グループとする。これにより、予備撮影画像の取り込みを１枚とすることができ、画像の区分動作を迅速化することができる。尚、予備撮影画像を発光予備撮影画像のみとした場合は、本撮影画像を撮影する必要がある。

又、本実施形態において、領域をグループ化した（ＳＴＥＰ２１１）後、電源監視回路２４の検出する電圧が所定の電圧よりも低い場合は、ストロボ装置２５を発光させずに本撮影し、グループ別に画像補正を施してもよい（ＳＴＥＰ２１４）。これにより、電源電圧が低下してストロボ装置２５の光量が本撮影に適しない程度に低下した場合でも、対象とする被写体が適切に補正された画像を得ることができる。又、本撮影でストロボ装置２５を発光させないことにより、撮影可能な画像の枚数を増やすことができる。

又、本実施形態において、画像を近景グループと遠景グループに区分するための信号値の比較（ＳＴＥＰ４０３）を、非発光予備撮影画像と発光予備撮影画像の２枚の予備撮影画像の信号値の差によって行う代わりに、信号値の比によって行ってもよい。この場合、発光予備撮影画像の信号値を非発光予備撮影画像の信号値で割った値が所定の値より大きい領域を、ストロボ発光の影響の大きい領域として近景領域、所定の値以下である領域をストロボ発光の影響の小さい領域として遠景領域とする。

本発明は、ストロボ、ホワイトバランス調整機能及び階調補正機能を有する撮像装置に適用することができる。

は、本発明の撮像装置の内部構成を示すブロック図である。 は、本発明の撮像装置の動作を説明するためのフローチャートである。 は、所定の領域に分割した画像の一例である。 は、本発明の撮像装置において、画像を区分する動作を説明するためのフローチャートである。 は、図３の画像を近景グループと遠景グループとに区分した一例である。 は、近景グループに適用される入出力特性の一例である。 は、遠景グループに適用される入出力特性の一例である。 は、近景グループに適用される画像補整の強度を信号値の差によって変化させた入出力特性の一例である。 は、画像を分割した領域のうち、隅の４個の模式図である。 は、異なる入出力特性の間を線形補間によりグラデーションを与えて変化させた入出力特性の一例である。 は、近景グループの割合が大きい場合にストロボ装置を発光させて画像を取得する動作を説明するためのフローチャートである。

符号の説明

１ イメージセンサ
２ レンズ部
３ ＡＦＥ
４ マイク
５ 画像処理部
６ 音声処理部
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ ＴＧ
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０ バス回線
２１ バス回線
２２ 外部メモリ
２３ 評価値算出部
２４ 電源監視部
２５ ストロボ装置

Claims (8)

1. 撮像画像を取得する撮像部と、
   前記撮像部で撮像画像を取得する際に閃光を発するストロボ装置と、
   前記撮像画像に前記撮像画像の信号値に基づいて画像処理を施す画像処理部と、
   を備える撮像装置において、
   前記ストロボ装置を発光させずに前記撮像部で取得した第１の撮像画像の信号値及び前記ストロボ装置を発光させて前記撮像部で取得した第２の撮像画像の信号値に基づいて、前記画像処理部で前記ストロボ装置を発光させずに前記撮像部で取得した撮像画像に画像処理を施すことを特徴とする撮像装置。
2. 前記ストロボ装置を発光させずに取得した撮像画像を、前記第２の撮像画像の信号値と比較した前記第１の撮像画像の信号値の差又は比率が所定の値以上である部分に相当する第１の部分と前記所定の値未満である部分に相当する第２の部分とに区分し、その画像処理を前記第１の部分と前記第２の部分とで独立して行うことを特徴とする請求項１に記載の撮像装置。
3. 前記信号値が、輝度信号の強度であることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記信号値が、色差信号の強度であることを特徴とする請求項１又は請求項２に記載の撮像装置。
5. 前記第１の部分の前記第２の部分に対する割合が所定の割合以上である場合、前記ストロボ装置を発光させて取得した撮像画像を記録することを特徴とする請求項２〜４のいずれかに記載の撮像装置。
6. ストロボ装置を発光させずに第１の撮像画像を取得する第１のステップと、
   前記ストロボ装置を発光させて第２の撮像画像を取得する第２のステップと、
   前記第１の撮像画像の信号値と前記第２の撮像画像の信号値とを比較して、信号値の差又は比率が所定の値以上である第１の部分と前記所定の値未満である第２の部分とに区分する第３のステップと、
   前記ストロボ装置を発光させずに取得した撮像画像の前記第１の部分に相当する部分と前記第２の部分に相当する部分の画像処理を独立して行う第４のステップと、
   を備えることを特徴とする撮像方法。
7. 前記第１の部分の前記第２の部分に対する割合が所定の割合以上である場合、前記ストロボ装置を発光させて取得した撮像画像を記録する第５のステップを備えることを特徴とする請求項６に記載の撮像方法。
8. 前記第３のステップで前記第１の部分と前記第２の部分に区分した後、電源電圧が所定の値以下である場合に、前記第４のステップで前記ストロボ装置を発光させずに取得した撮像画像の画像処理を行うことを特徴とする請求項６に記載の撮像方法。

Images