JP2007251694A - カメラ、カメラの画素加算エリア決定方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】明るさの変化や距離の変化の大きい被写体の撮影シーンに対しても、手軽に十分な描写のできるカメラおよびこのようなカメラの画素加算エリア決定方法、プログラムや記録媒体等を提供する。
【解決手段】被写体（Ａ）について撮影された画像の輝度分布（Ｂ）に基づき、画面の中で画素加算するエリアを決定する。明るいエリアについては高画素のままとする。やや暗い部分については中画素処理のエリア、暗い部分については低画素処理のエリアと決定する。そして、決定された画面の部分について画素加算を行う。高画素（（Ｃ）の左）は、撮像素子の画素数をそのままで画素加算をしない。中画素（（Ｃ）の右）は、撮像素子の４画素分を加算したものを１画素とする。低画素（（Ｃ）の中央）は撮像素子の１６画素を加算したものを１画素とする。さらに、画素加算後に加算分に相当するゲインを調整する（Ｄ）。
【選択図】図７

Description

この発明は、カメラ、特に鑑賞に適する画像撮影機能を有するカメラ等に関する。

明るさの変化の大きい被写体を撮影すると、明るい部分が白く飛んだり、暗い部分が黒くつぶれたりして、全体が目で見たように撮影されないことはしばしばある。これを改善する提案として特許文献１がある。特許文献１では、フィルムをプリントする際に、顔等の主要被写体と背景を識別して、主要被写体に適切な輝度の補正を行ってプリントするような画像処理装置が開示されている。

一方、現在の撮像素子のダイナミックレンジは銀塩フィルムのそれよりも低いので、デジタルカメラでは、このような問題はさらに深刻である。解決策の１つとして、露出を変えながら撮影して、撮影後に複数の画像からそれぞれ適正露出となる部分を切出して、これを合成して１枚の静止画像を作成する撮影手法も提案されている。例えば、特許文献２では、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して１の広ダイナミックレンジ画像を生成する画像処理装置であって、各画像毎に階調補正を行い、階調補正された各画像を合成して１の広ダイナミックレンジ画像を生成する画像処理装置 が開示されている。
特開平１１−３３１５７５号公報 特開２０００−２２８７４７号公報

撮影被写体として、明るさの変化や距離の変化の大きいものも少なくない。一方、被写体の種類が主要被写体か単なる背景かによって、描写の重要性が当然に異なる。被写界深度も異なる。であるから、画面全部での完全な撮影を求めることは、困難であるとともにオーバースペックになる。つまり、明るさや種類または距離といった被写体の状況に応じた適切な描写が撮影には求められる。

本発明は上記課題に鑑み、明るさの変化や距離の変化の大きい被写体の撮影シーンに対しても、手軽に十分な描写のできるカメラおよびこのようなカメラの画素加算エリア決定方法、プログラムや記録媒体等を提供することを目的とする。

上記目的を達成するため、第1の発明によるカメラは、隣接した所定の数の画素間の信号を加算できる機能を有する撮像素子と、上記撮像素子の出力信号に従って上記画素加算を行うエリアを決定する画素加算エリア決定部を備えるものである。

また、第２の発明によるカメラは、第1の発明によるカメラにおいて、上記画素加算エリア決定部は、画面内の領域のうち所定の輝度レベルより暗い領域を画素加算を行うエリアに決定するものである。

また、第３の発明によるカメラは、被写体像を撮影する撮像素子と、上記撮像素子の出力信号に従って撮影シーンを検出し、検出された撮影シーンに応じて、画面内で画素加算を行わないエリアと画素加算を行わせるエリアを決定する画素加算エリア決定部と、を備えるものである。

また、第４の発明によるカメラの画素加算エリア決定方法は、撮影時に画素加算を行うカメラの画素加算エリア決定方法において、撮影画像から撮影シーンを検出し、撮影シーンに応じて、画面内で画素加算をしないエリアと画素加算を行わせるエリアを決定するものである。

本発明によれば、明るさの変化や距離の変化の大きい被写体の撮影シーンに対しても、手軽に十分な描写のできるカメラおよびこのようなカメラの画素加算エリア決定方法、プログラムや記録媒体等を提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１の実施形態）
図１は、本発明が適用されるデジタルカメラ１の全体ブロック図である。カメラ１には、ＭＰＵ１０、ＲＯＭ７、撮影レンズ２、撮像素子３、ＡＦＥ（アナログフロントエンド）４、信号処理部５、ＲＡＭ６、やメモリ９が設けられる。ＭＰＵ１０は、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。ＲＯＭ７は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。

撮影レンズ２は、入射した被写体２０の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。ＡＦＥ４は、撮像素子３からの画像信号を読み出し、読み出した画像信号にＡＧＣ処理やＣＤＳ処理やＡＤ変換等してデジタル画像データとして出力する。また、ＡＦＥ４は指示に応じて画素加算した画像信号を出力するよう撮像素子３を駆動制御する。

信号処理部５には、圧縮部や伸張部等が設けられ、画像データに対して色補正や信号圧縮、伸張などの処理を行う。圧縮部は、画像データをメモリ９に記録するための例えばＪＰＥＧ圧縮やＭＰＥＧ圧縮を行い、また音声圧縮の機能も有する。伸張部は、圧縮された画像データを元に戻す処理を行う。また、信号処理部５には補助ブロック５ａとコントラスト判定部５ｃが設けられる。補助ブロック５ａは補正のかけ方を変更するものである。コントラスト判定部５ｃは、後述するピント制御部でのオートフォーカスのために画像信号のコントラスト値を判断するものである。

ＲＡＭ６は、種々の演算データの一時的な格納や圧縮伸張時の画像データのワークエリアとして使用される。メモリ９は、画像データの保存用メモリで、例えば、フラッシュメモリやハードディスクで構成される。メモリ９に信号処理部５で処理された画像データが記録される。

また、カメラ１には、ピント制御部１７、ズーム制御部１８、補助光照射部１９と操作部１６が設けられる。ピント制御部１７は、アクチュエータや位置エンコーダを有し、撮影レンズ２内のピントレンズの移動を制御する。ズーム制御部１８は、撮影者の指示に応じて撮影レンズ２内のズームレンズを駆動して画角の切換えを行う。補助光照射部１９は、フラッシュまたは白色ＬＥＤから構成され、被写体に向かって光を照射し露出を補ったり影を消したりする。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂ、１６ｃが設けられ、その機能は例えばレリース、モード切替指示、電源のＯＮ／ＯＦＦスイッチである。ピント制御部１７、ズーム制御部１８、補助光照射部１９いずれもＭＰＵ１０により制御される。

また、ＭＰＵ１０には、機能としての画素加算エリア決定部１０ａが含まれる。画素加算エリア決定部１０ａは、後述するシーンの各種条件に基づいて撮像面内で画素加算する領域を決定する。そして、ＭＰＵ１０が画素加算処理として、画素加算エリア決定部１０ａにより決定された領域に基づき、対応する指示をＡＦＥ４に行う。そして前述したようにＡＦＥ４が、指示にされたエリアで画素加算した画像信号を出力するよう撮像素子３を駆動制御する。

ＭＰＵ１０には顔検出部１４、輪郭検出部１５が接続される。顔検出部部１４は、ＡＦＥ４より得られた像信号を解析して人間の顔の特徴を用いて、被写体の中に人物がいるかや、その顔の位置や大きさを判定することができる。輪郭検出部１５は、画像をシャープネス強調して得られる輪郭の形状を判定する機能を有する。顔検出部１４と輪郭検出部１５はＭＰＵ１０により制御される。

また、カメラ１には、画像表示用の表示部８、マイク１２、スピーカ１３が設けられる。撮影時には画像確認用として、表示部８に撮像素子３から出力される画像が逐次再生して表示される。また再生時には、メモリ９から読み出され伸張部で伸張された画像が表示部８に表示される。

さらに、カメラ１には、無線送信部１１、プリント信号出力部１２が設けられる。無線送信部１１は、プリンタやＰＣ（Personal Computer）に無線で画像データを送信するインターフェース部である。プリント信号出力部１２は、接続されるプリンタに対して、撮影した画像データを出力させるインターフェース部である。例えば、ＵＳＢ（Universal Serial Bus）からなる。

図２、図３は、画素加算についてを説明する図である。この図に沿って、画素加算についてを簡単に説明する。図２（Ａ）（Ｂ）（Ｃ）は、画素加算による画素サイズの大きさを示す図である。同図（Ａ）は、撮像素子３自体の画素配列、及び画素サイズを示す。また同図（Ａ）は、画素加算を行わない状態であって、以下説明では高画素と称す。ここで１区画が１画素を示すものとする。同図（Ｂ）は、撮像素子３の４画素を加算した例である。これを、中画素と称す。実線で示される区画が中画素の区画を示し、破線がもとの高画素の区画を示す。また、同図（Ｃ）は、撮像素子３の１６画素を加算した例である。これを低画素と称す。つまり、低画素は中画素の４画素から構成される。

より具体的な例でいうと、例えば（Ａ）の撮像素子自体が１６００万画素とすれば、中画素（Ｂ）では４００万画素、低画素（Ｃ）では１００万画素になる。近年半導体の微細化技術の進歩により、撮像素子の画素数が飛躍的に増加している。上記（Ｃ）の１００万画素でも、例えば動画として鑑賞する場合には十分な画質で、一般的な被写体に対しては十分である。逆に、（Ａ）のように画素数が多すぎると記録時間がかかったり、メモリ消費量が多くなるという弊害もある。

図３は、色を考慮して、高画素から中画素への画素加算の方式を説明する図である。
同図（Ａ）は、撮像素子３自体の画素配列、つまり高画素の配列を示す。同図（Ｃ）は中画素の画素配列を示す。ここで、撮像素子３の配列は、ベイヤー型と呼ばれる配列を例にする。高画素配列は、Ｒ画素４個，Ｇ画素８個，Ｂ画素４個の計１６画素から構成されている（同図（Ａ））。この高画素１６個から中画素の４個を生成する。画素加算時には、同じ色のセンサの信号を加算するようにするので、４つの高画素Ｒから１つの中画素Ｒを生成させる（図３（Ｂ））。このときに例えば４つの高画素Ｒの平均値を中画素Ｒの値とする。以上の画素加算処理によって、４つの高画素から構成される中画素の画素配列が生成される（同図（Ｃ））。

図４は、画素加算の効果を説明するための図である。複数画素をまとめて出力加算することによって得られる効果として、加算された画素（例えば４画素まとめて１画素とした場合）では光を受ける量が増加して信号が増えるので、Ｓ／Ｎを向上できるという効果がある。これは高感度化とも呼ばれる。

図４（Ａ）は、人物が明るく背景が暗いシーンの例である。室内などでよく見られるシーンである。人物の部分ｄ１については、画素加算を行わずに通常の感度でかつ高精細の画像にする。一方、背景の部分ｄ２については、画素加算および高感度化も行い、暗いながらもノイズの出にくい画質にする。このような、部分によって画素加算を分けた撮影を行えば、人物も背景も良く見える撮影が可能となる。図４（Ｂ）は、（Ａ）のシーン全体の中で画素加算される領域を、模式的に示した図である。この図のようにｄ１の領域については画素加算処理をせず、ｄ２の領域について画素加算処理を行う。

つまり、図４（Ａ）のようなシーンで、背景が全くなにも撮影できていないと、雰囲気も乏しく服と表情しか記録されない中途半端な画像となってしまう。対して、上記のような画素加算を行うことによって、背景部分が、人物に比べて荒い画素であってもそれなりに描写されるので、雰囲気は十分に表現できる画像が得られる。特にストロボなど補助光を光らせる場合などは、人物には光が届くが背景には光が届かず、このような傾向が顕著になるので、画素加算の効果が発揮される。またピント合わせ時に、人物にしかピントが合わないようなシーンでは背景がぼけるので、背景が画素加算によって多少分解能が低下しても弊害は少ない。

なお、画素加算処理の実現手段としては、１つに、最新の半導体微細化技術により、ＣＭＯＳセンサでは電荷を導くスイッチの工夫やＣＣＤでは電荷転送路の工夫により実現される。このような撮像素子を利用すれば、ＡＦＥ４からの撮像素子３の読出しパターンの変更指示により、撮像素子３より所定の画素加算された画像信号が出力される。また、撮像素子３からは全画素の信号を読出し、例えば信号処理部で、決定されたエリアについて画素加算をするようにするのも可能である。この方式では、従来の撮像素子がそのまま使用できるという利点がある。

また工夫した撮像素子を用いる方法の他、画素加算して撮影した画像と、加算なしで撮影した画像を２回撮影して、画像処理によって合成しても、本発明は達成できる。以上のように、画素加算によって暗い所に強く、効果的な作画を可能にできる。

図５は、カメラ１のオートフォーカス機能を説明するための図である。オートフォーカス機能は、後述する画素加算撮影において被写体距離の判断に利用する。図５（Ａ）は、図１のブロック図の詳細で、オートフォーカス機能の部分に関するブロック図である。同一構成部は、図１のブロック図と同じ符号で示し、ＡＦＥ４は省略している。コントラスト判定部５ｃは、信号処理部５内に設られている。コントラスト判定部５ｃは、画像信号のコントラストを数値化してＭＰＵ１０に出力する。

オートフォーカス動作を簡単に説明する。ピントレンズが所定位置にある状態で、レンズ２で結像された被写体像が撮像素子３で光電変換され、画像信号として出力される。コントラスト判定部５ｃがこの画像信号からコントラスト値を算出して、コントラスト値をＭＰＵ１０に通知する。ＭＰＵ１０は、コントラスト値取得後、ピントレンズの移動をピント制御部１７に指示する。ピント制御部１７は、ピントレンズを所定の位置まで移動させる。そして再度、ＭＰＵ１０は、コントラスト値を取得する。これを繰り返して、ＭＰＵ１０は、ピントレンズの位置を移動させながら、その位置でのコントラスト値を取得していく。そして、ＭＰＵ１０は、コントラスト値がピークを示すようなピントレンズ位置を検出する。ＭＰＵ１０は、このピークを示す位置をピントレンズの合焦位置と判断し、その位置にピントレンズを移動させる。従ってコントラスト判定部５ｃは、ピント検出部とも呼ぶことができる。

図５（Ｂ）は、撮像面３ｃ内に設定されたコントラスト検出領域３ｄの位置を示す。この例では、撮像面３ｃ内にコントラスト検出領域３ｄが９箇所設定されている。これにより、画面各部の被写体距離がおおよそ検出できる。図５（Ｃ）は、ピント位置（ピントレンズの位置）とコントラスト値の関係を示す、いわゆるコントラストカーブの１例を示す。横軸が被写体距離に対応するピント位置である。右側が近距離側方向で、左側が遠距離側への方向である。コントラスト値は、上に行くほど高い値を示す。本図では、ピントレンズの６箇所の位置で、画面の中央部と周辺部ａと周辺部ｂのコントラスト値をプロットし、３つのコントラストカーブを示す。このコントラストカーブから、周辺部ａには、中央部に比べて近距離の被写体が存在し、逆に周辺部ｂには中央部に比べて遠距離の被写体が存在することがわかる。以上のように画面各部のコントラスト値の分布から、画面内各位置の被写体距離の分布を推定できる。そして、見方を変えれば、コントラスト判定部５ｃ（ピント検出部）は、ピントのぼけている領域を検出することもできる。

図６は、パターンマッチングによる顔検出の原理を示す図である。後述する画素加算撮影において顔部分の判断に利用する。パターンマッチングは人物の顔部分を検知する技術の１つである。図６（Ａ）は，画面ｄに表示される被写体ｄ１とパターン画像ｅを示す。パターン画像ｅは、鼻や口の陰影を模した画像である。パターン画像のデータはＲＯＭ７に格納されている。顔検出部１４は、パターン画像ｅを画面内の被写体に対してスキャンしながら、パターン画像ｅとの類似度を判定していく。実際の人物の顔にこのパターン画像ｅが重なったときに、類似度が高くなる。そして、顔検出部１４は類似度が所定値以上になるとその場所が顔位置であると判定する。

このパターン画像ｅは顔の大きさに相当するような大きさでマッチングさせることが重要なので、画面内で顔が大きいときは、パターンも大きくしたほうが良い。また、画面内の顔の大きさは被写体の距離やカメラの画角に依存するので、状況によっては、前述したオートフォーカス機能で得られた距離情報を利用して、パターン画像の大きさを変更するような工夫も有効である（同図（Ｂ））。

図７は、具体的なシーンでの画素加算のプロセスを説明する図である。図７（Ａ）は、暗い室内での食事会などのシーンでの撮影シーンである。図７（Ａ）のようなシーンで写真を撮影する場合には、暗いということでカメラからストロボ光を照射して光を補った撮影がされる。図７（Ｂ）は、図７（Ａ）のシーンで撮影された画像の中程を横断するラインｙに沿った反射光量（輝度）の分布を、グラフ化した図である。このグラフの縦軸が反射光量（輝度値）である。上のラインは、撮像素子輝度の上限を示す。つまり、手前のビンから大量の光が反射され、画像信号としてこれが最も大きい。そして、ともすれば、図示したように撮像素子のダイナミックレンジを超えてしまう。一方、背景の方は光が届かないので、無信号となる。つまり、手前は真っ白、背景は真っ黒の雰囲気のない写真が撮影されてしまう。

そこでこのようなシーンに対しては、撮像センサ側を制御して、輝度に応じた画素加算を行う。
まず、左の被写体は近距離で反射の大きいものなので、画素加算をしないで高画素画像のままにする。中央の被写体は遠距離で暗い画像なので、画素加算により低画素画像にし高感度にする。右の画像は中距離でやや暗い画像なので、画素加算により中画素画像にする。この画素加算の結果、ラインｙに沿った画像データは図７（Ｄ）のようになる。

そして、このように得られた信号を、ＡＦＥ４で受光面積比の逆数のゲインで補正すると、図７（Ｄ）のようなグラフになる。これにより、よりダイナミックレンジの広い画像信号を得る事ができる。つまり、低画素は高画素１６個分で構成されるので、高画素エリアの信号のゲインを１６倍にしてバランスが取れることになる。同様に中画素エリアの信号についてゲインを４倍にすればよい。これにより、飽和部では信号を押さえ、かつ露光不足部では信号を高める事ができる。つまり、同図（Ｃ）のような画素の大きさで撮影することによって、正確な像データを再現することができる。

また、このような撮影はストロボ光での撮影に限られるものではない。輝度差の大きなシーンでは、暗い所の画素は大きく（粗く）かつ感度をアップし、明るい所は画素を小さくして感度を下げた撮影を行えば、ダイナミックレンジが大きくかつラチチュードの高い画像を得ることが可能となる。また、背景等ピントのあっていない所で画素加算を使うようにすれば、画素加算による分解能低下の影響を押さえることもできる。

図８，９は、画素加算撮影を説明するためのフローチャートである。図８はカメラ１の撮影処理を示すフローチャートの１で、図９はそのフローチャートの２である。この処理は、主にＭＰＵ１０によってプログラムに従って実行される。以下では、ＭＰＵ１０が明るさや距離で撮影シーンを判別して、シーンに分けた補助光撮影や画素加算処理の制御を行う。画素加算の領域については、画素加算エリア決定部１０ａが判断する。そして、ＭＰＵ１０が画素加算処理として、画素加算エリア決定部１０ａにより決定された領域に基づいた指示をＡＦＥ４に行う。そしてＡＦＥ４が、指示に応じ、決定されたエリアで画素加算した画像信号を出力するよう撮像素子３を駆動制御する。

フローチャートの説明に入る。レンズ２及び撮像素子３により被写体像の撮像を行う（ステップＳ１）。撮像されたモニタ画像を表示部８に表示する（ステップＳ２）。撮影者は表示部８を見て撮影時の構図や撮影タイミングを決定する。続いてレリース操作の有無を判断し（ステップＳ３）、レリース操作を検出すると（ステップＳ３ＹＥＳ）と、撮影を開始する。まず、信号処理部５により画像データから被写体の明るさを検出する（ステップＳ４）。検出された明るさが、所定の明るさか以下かを判断する（ステップＳ５）。所定以下の明るさのときは、図９のステップＳ３１に進む。

所定以上の明るさのときは（ステップＳ５ＮＯ）、まず、顔検出部１４で顔検出を行わせ、あわせて逆光判定のために背景と顔の明るさの差も判定する（ステップＳ６）。次に逆光シーンか否かの判断を行う（ステップＳ７）。逆光シーンでないと判断すると（ステップＳ７ＮＯ）、次に輝度差の大きいシーンか否かの判断をする（ステップＳ８）。

輝度差が大きくないと判断するときは（ステップＳ８ＮＯ）、「通常シーン」としての撮影に入る（ステップＳ９）。まず、ピントを合わせる（ステップＳ１０）。ピント合わせは、ピント制御部１７により撮影レンズ２のピントレンズを所定位置に移動させて行う。そして、画素加算を行わない高画素の撮影を行う（ステップＳ１１）。

一方、輝度差が大きいときは（ステップＳ８ＹＥＳ）、逆光シーンではないので、背景の明るさを補うために画素加算による感度向上策をとる。まず、ステップＳ６で検出された顔の大きさを判断する（ステップＳ１２）。所定サイズ（（例えば画面面積の１/２５）より大きくないと判断すると（ステップＳ１２ＮＯ）、ステップＳ９に進み、前述の「通常シーン」として撮影を行う。

一方、所定サイズより大きいと判断すると（ステップＳ１２ＹＥＳ）、ピント合わせを行う（ステップＳ１３）。ここでのピント合わせは、単純に顔部分へのピントを合わせるだけでなく、図５（Ｂ）で示したような、画面各位置の距離分布を判定するプロセスを実行する。この結果で顔部分と背景の距離差を判断する（ステップＳ１４）。

顔部分と背景との距離差が大きいと判断すると（ステップＳ１４ＹＥＳ）、「輝度差シーン１」の撮影を行う（ステップＳ１５）。顔部分は高画素撮影を行う（ステップＳ１６）。つまり、撮像素子３から顔部分エリアの画像信号は画素加算しないでそのまま出力させる。暗くて距離の遠い所は低画素撮影を行う（ステップＳ１７）。また、暗くて距離の遠い所のエリアの画像信号は撮像素子３から画素加算させて出力させる。そして、２つの画像信号を合成して(ステップＳ１８）、適当なγ変換を施して、各部を表現した画像再生を可能として処理を行うようにする。これにより、暗くて距離の遠い所はピント位置によるぼけ効果もあり、画素が粗くなったとしても気にならないからである。そして感度が上がったことにより、暗い部分の描写もでき、ダイナミックレンジの広い画像信号を得ることができる。

また、ステップＳ１４で、顔部分と背景との距離差が大きくないと判断すると（ステップＳ１４ＮＯ）、「輝度差シーン２」の撮影を行う（ステップＳ１９）。顔部分は同じく高画素撮影を行う（ステップＳ２０）が、暗い所は中画素撮影を行う（ステップＳ２１）。中画素撮影は、例えば４画素加算でかつ中程度に感度アップした撮影である。撮影後、前述と同じ画像合成処理を行う（ステップＳ１８）。「輝度差シーン２」では、距離差がないために暗い部分のボケが少ないので、「輝度差シーン１」のような低画素撮影行うと、境界での分解能の差が目立つおそれがある。そこで、「輝度差シーン２」では中画素撮影を行うようにする。このように輝度差大のシーンにおいて明るすぎる所は、画素加算なしの制御によって感度アップをしないようにするので、飽和が防止され撮影シーンの雰囲気を再現できる。

一方、ステップＳ７で逆光シーンと判断すると、ステップＳ２２に進む。逆光では、全体として明るいシーンであっても顔が暗くなるので、「逆光シーン撮影」を行う（ステップＳ２２）。まずピント合わせを行う（ステップＳ２３）。補助光発光を伴う高画素処理の撮影を行う（ステップＳ２４）。この「逆光シーン撮影」では、顔の部分はなるべく細かい画素で描写したいので、画素加算なしの撮影が望ましいからである。また背景についても、光量が大きいため感度を高くする必要がないので画素加算なしの撮影で十分だからである。

ステップＳ５で、所定以下の明るさのときは、図９のステップＳ３１に進む。まず、顔検出を行う（ステップＳ３１）。顔検出は顔検出部１４によって行われる。顔検出可能かを判断する（ステップＳ３２）。顔検出可能ならば（ステップＳ３２ＹＥＳ）、その顔の部分にピント合わせを行う（ステップＳ３３）。
ここでのピント合わせでは、前述したステップＳ１４と同様に、図５（Ｂ）で示したような画面各位置の距離分布を判定するプロセスを実行する。

この結果顔部分と背景の距離差大かを判断する（ステップＳ３４）。距離差大と判断すると（ステップＳ３４ＹＥＳ）、「暗いシーン１（奥行き有）」の撮影に入る（ステップＳ３５）。そして、補助光を発光させ撮影を行う（ステップＳ３６）。ここで、前述のピント合わせで得られた情報から顔部より近距離のものがある場合には、露出オーバーにならないように注意する。また、顔部より近距離のものがある場合には（ステップＳ３７ＹＥＳ）、この部分については高画素撮影の処理を行う（ステップＳ３８）。つまり、撮像素子３より画素加算しないで画像信号を出力させる。顔より近距離のものなしと判断すると（ステップＳ３７ＮＯ）、ステップＳ３８をジャンプして、ステップＳ３９に進む。

ステップＳ３９では、顔部の処理を行う。ステップＳ５で暗いシーンと判断されているので、ステップＳ３９では中画素撮影処理を行う。例えば撮像素子３から４画素加算の信号を出力させる。続いて、背景の処理を行う。背景は遠く補助光の反射も十分ではないので、低画素撮影処理を行う（ステップＳ４０）。例えば撮像素子３から１６画素加算の信号を出力させる。そして、以上の、近いもの、顔、遠いものの３つの画像信号を合成処理する（ステップＳ４１）。合成時には、人物や背景や手前のものの陰影を生かしたようなγ変換を行って、表示部８またはプリント上でつぶれたり飛んだりしないような表現にする。

一方、ステップＳ３４で距離差大でないと判断されると、ステップＳ４２に進み、「暗いシーン２（奥行き無）」の撮影に入る。ここでは、補助光撮影で画像全部について高画素処理を行う（ステップＳ４３）。

以上により、「暗くて顔のあるシーン」においても、高ダイナミックレンジの撮影が可能になる。さらに顔の部分を考慮した撮影になっているので、重要な部分である顔の画像が粗くならない効果もある。

また、顔検出ができないとき、または人がいないときは（ステップＳ３２ＮＯ）、「暗いシーン３（顔無）」の撮影に入る（ステップＳ４５）。まず、撮影に先立ち補助光を発光させる、いわゆるプリ発光を行う（ステップＳ４６）。反射光量の検出により、被写体距離を検出する（ステップＳ４７）。これは、所定量の光量を照射したときに、遠い被写体からは光は返ってこず、近い被写体からはたくさんの光が返ってくるという単純な考えかたでピント合わせの距離を決定する方法である。

そして、以下でこの情報（反射光量）によりピント合わせの距離を決定すると共に、反射光量の大きい部分、中くらいの部分、少ない部分に分けた撮影処理を行う。距離により画素の加算の仕方を変えるわけである。つまり、「暗いシーン３（顔無）」では、補助光を発光させるとともに、光量の大きい所は画素を加算せず感度を上げない撮影処理をし、光量の小さい所は画素加算を多くした高感度の撮影処理を行う。

ステップＳ４７で得られた距離情報よりピント合わせを行う（ステップＳ４８）。続いて、補助光撮影を行う（ステップＳ４９）。光量大の部分については、高画素撮影処理を行う（ステップＳ５０）。つまり、撮像素子３から、光量大の部分については画素加算しない信号を出力させる。光量中の部分については、中画素撮影処理を行う（ステップＳ５１）。つまり撮像素子３から、光量中の部分については４画素の画素加算信号を出力させる。そして、光量小の部分については、低画素撮影処理を行う（ステップＳ５２）。つまり撮像素子３から、光量小の部分については１６画素の画素加算信号を出力させる。そして、３つの画像を合成処理する（ステップＳ５３）。

このように、「暗いシーン１，２，３」では、補助光撮影に、画素加算を併用して、ダイナミックレンジを改善した撮影ができるようになる。各領域で信号がノイズに埋もれたり飽和したりしないので、高い表現の画像撮影が可能になる。

以上説明したように、各撮影シーンとそのエリアに合わせて画素加算を適用するようにしたので、人物の顔の描写力を高くでき、暗い所やピントが合っていない所では、画素加算をすることによって感度アップして撮像ができるようになる。

なお、上記各実施形態で説明したＭＰＵ１０の処理に関しては、一部または全てをハードウェアで構成してもよい。特に加算エリア決定部１０ａは、ハードウェアで構成しても当然良い。具体的な構成は設計事項である。また、ＭＰＵ１０による各制御処理は、ＲＯＭ７に格納されたソフトウェアプログラムがＭＰＵ１０に供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１０の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても当然良い。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態において、本発明が適用されるデジタルカメラの全体ブロック図。 第１の実施形態において、画素加算による画素サイズの大きさを示す図。 第１の実施形態において、色を考慮して、高画素から中画素への画素加算の方式を説明する図。 第１の実施形態において、画素加算の効果を説明するための図。 第１の実施形態において、カメラ１のオートフォーカス機能を説明するための図。 第１の実施形態において、パターンマッチングによる顔検出の原理を示す図。 第１の実施形態において、具体的なシーンでの画素加算のプロセスを説明する図。 第１の実施形態において、画素加算撮影を説明するためのフローチャートその１。 第１の実施形態において、画素加算撮影を説明するためのフローチャートその２。

符号の説明

1…カメラ、２…レンズ、３…撮像素子、３ｃ…撮像面、３ｄ…コントラスト検出領域、
４…アナログフロントエンド（ＡＦＥ）部、５…信号処理部、５ａ…補助ブロック部、
５ｃ…コントラスト判定部、
６…ＲＡＭ、７…ＲＯＭ、８…表示部、９…メモリ、
１０…ＭＰＵ、１０ａ…加算エリア決定部、１１…無線送信、
１２…プリント信号出力部、１３…スピーカ、１４…顔検出部、
１５…輪郭検出部、１６、１６ａ、１６ｂ、１６ｃ…操作部、１７…ピント制御部、
１８…ズーム制御部、１９…補助光照射部、２０… 被写体、
ｄ…画面、ｄ１…人物の部分、ｄ２…背景、ｅ…パターン画像、

Claims (13)

1. 隣接した所定の数の画素間の信号を加算できる機能を有する撮像素子と、
   上記撮像素子の出力信号に従って上記画素加算を行うエリアを決定する画素加算エリア決定部を備える
   ことを特徴とするカメラ。
2. 上記画素加算エリア決定部は、画面内の領域のうち所定の輝度レベルより暗い領域を画素加算を行うエリアに決定する
   ことを特徴とする請求項１に記載のカメラ。
3. 被写体を照射する補助光照射部を備え、
   上記画素加算エリア決定部は、補助光照射部によって照射された被写体からの反射光に従って、上記画素加算を行うエリアを決定する
   ことを特徴とする請求項２に記載のカメラ。
4. 撮影される画像の中から顔の部分を検出する顔検出部を備え、
   上記画素加算エリア決定部は、顔検出部によって検出された顔以外の領域を画素加算を行うエリアに決定する
   ことを特徴とする請求項２に記載のカメラ。
5. 上記画素加算エリア決定部は、さらに、補助光照射部によって照射された被写体からの反射光に従って、上記画素加算を行わないエリアを決定する
   ことを特徴とする請求項３に記載のカメラ。
6. 撮影時にピントのぼけている領域を検出するピント検出部を備え、
   上記画素加算エリア決定部は、ピントのボケている領域の画素加算を行うエリアに決定する
   ことを特徴とする請求項１に記載のカメラ。
7. 被写体像を撮影する撮像素子と、
   上記撮像素子の出力信号に従って撮影シーンを検出し、検出された撮影シーンに応じて、画面内で画素加算を行わないエリアと画素加算を行わせるエリアを決定する画素加算エリア決定部と、を備える
   ことを特徴とするカメラ。
8. 画面内で複数個所のコントラスト値を求めるコントラスト判定部を備え、
   上記画素加算エリア決定部は、画面内のコントラスト値に応じて画素加算を行わせるエリアを決定する
   ことを特徴とする請求項７に記載のカメラ。
9. 被写体を照射する補助光照射部を備え、
   上記画素加算エリア決定部は、補助光照射部によって照射された被写体からの反射光に従って、上記画素加算を行うエリアを決定する
   ことを特徴とする請求項７に記載のカメラ。
10. 画素加算を行わせるよう決定されたエリアについて画素加算のされた画像信号を出力するように上記撮像素子を制御する制御部を備える、
    ことを特徴とする請求項７に記載のカメラ。
11. 撮影時に画素加算を行うカメラの画素加算エリア決定方法において、
    撮影画像から撮影シーンを検出し、撮影シーンに応じて、画面内で画素加算をしないエリアと画素加算を行わせるエリアを決定する
    ことを特徴とするカメラの画素加算エリア決定方法。
12. 撮影時に画素加算を行うカメラの画素加算エリア決定方法をコンピュータ実行させるプログラムにおいて、
    上記画素加算エリア決定方法は、
    撮影画像から撮影シーンを検出し、撮影シーンに応じて、画面内で画素加算をしないエリアと画素加算を行わせるエリアを決定する
    ことを特徴とするプログラム。
13. 撮影時に画素加算を行うカメラの画素加算エリア決定方法をコンピュータ実行させるプログラムを記録するコンピュータ読取可能な記録媒体において、
    上記画素加算エリア決定方法は、
    撮影画像から撮影シーンを検出し、撮影シーンに応じて、画面内で画素加算をしないエリアと画素加算を行わせるエリアを決定する
    ことを特徴とするコンピュータ読取可能な記録媒体。
    
    
    
    
    

Images