JP2005167697A - 赤目補正機能を有する電子カメラ - Google Patents

Abstract

【課題】 撮影によって得られた記録用画像データから、被写体の赤目を検出し、画像処理によってこの赤目を補正する技術がある。撮像装置の高解像度化が進み、記録用画像データ量が大きくなると、赤目の検出を行うための演算量が膨大なものとなってしまう。
【解決手段】 撮影の際に作成した低解像度の画像データ（表示用画像やサムネイル用画像）から赤目の検出を行い、この検出情報を基に、記録用画像データの赤目補正を行う。
【選択図】 図３

Description

本発明は、静止画像を撮像、記録、再生する電子カメラ、特に赤目補正機能を有する電子カメラに関する。

従来より、固体メモリ素子を有するメモリカードを記録媒体として、静止画像を記録再生する電子カメラ等の画像処理装置は既に市販されている。

また、従来の銀塩フィルムを使用するカメラにおいて、人物をストロボ使用で撮影した場合、目の色が赤く撮影されてしまう赤目現象が発生することが有り問題となっていた。この赤目現象は、暗所で開いている瞳孔に対して入射したストロボ光が網膜の血管を写し出してしまう現象であり、これに対して従来の銀塩カメラにおいても、撮影時に瞳孔を収縮させるためにランプやＬＥＤ、またはストロボのプリ発光等を用いて撮影前に光を被写体に照射し、撮影時に瞳孔を収縮させて赤目現象を緩和しようとしているが、被写体が撮影者側を注視していない場合は赤目緩和効果が少ないなど完全に赤目現象を無くすのは困難であった。

電子カメラにおいてもストロボ撮影時の赤目現象は同様に発生する。従来の電子カメラでは銀塩カメラと同様な撮影前に被写体に光を照射するという赤目緩和対策がとられているため、銀塩カメラと同様に撮影時の赤目現象は完全に回避できていない。そのため、発生した赤目現象を修正するために、撮影後の電子画像に対しに画像処理ソフトなどを使って、手作業で赤目の修正を行う必要が有った。

これに対して、人物の顔や目の位置の検出を自動的に行い、その情報を元に赤目現象が発生した場合に自動または半自動で赤目を修正するという画像処理装置の提案が行われている。本出願人よりは、肌色とみなされる領域を切り出すことでまず顔検出を行い、検出された顔領域内に対して赤目検出を行う技術がある（例えば、特許文献１参照）。

また、顔形状モデルと顔確率を比較するアルゴリズムとパターンマッチングを併用して顔検出を行うカメラが提案されている（例えば、特許文献２参照）。
特開平１０−０２３３９２９号公報 特開２００１−３０９２２５号公報

しかしながら、昨今では電子カメラの高解像度化が進み、画像データ量が非常に大きなものになってきている。また、将来的にもよりいっそうの高解像度化が進むと見られる。このため、撮影した原画像そのものに対して、顔検出、目検出等の処理を行おうとすると演算量が膨大になり、電子カメラに内蔵されるＣＰＵの能力では、処理時間が掛かりすぎてしまい、次の撮影が可能になるまでの待ち時間が長くなってしまうなど電子カメラの操作性が悪化するという問題が有った。また、処理能力の高いＣＰＵを使用した場合には、ＣＰＵの価格が高額であるため、電子カメラの価格上昇を招くという問題が有った。

そのため、前記特開平１０−０２３３９２９にて、荒い解像度の画像に対して赤目検出を行い高速に処理を行う旨の記載を行っているが、電子カメラ内では各種用途に低解像度画像を生成しており、新たに赤目検出専用に低解像度画像を生成するのは、記憶領域を圧迫し、対策として記憶領域増加でコスト高になるという問題が有った。また、低解像度画像を複数回生成することになり、効率が悪いという問題が有った。

本発明は上述の問題を解決するためのものであり、本発明の第一の目的は、赤目補正機能を有する電子カメラを安価に提供することである。

本発明の第二の目的は、効率の良い赤目補正機能を有する電子カメラを提供することである。

本発明に係る赤目補正機能を有する電子カメラにおいては、
第一に、撮像した静止画像を記録媒体に記録する電子カメラにおいて、低輝度撮影時に被写体を照明する閃光手段、撮像した静止画像データからより表示用低解像度画像を生成する低解像度画像生成手段、前記表示用低解像度画像に対し、赤目現象が発生した部分の座標を検出する赤目座標検出手段、前記赤目座標検出手段で検出された赤目座標に基づき、撮像した静止画像データの赤目発生部分を補正する赤目補正手段を有することを特徴とする。

第二に、上記の赤目補正機能を有する電子カメラにおいて、赤目補正が行われた場合に、赤目補正後の画像より表示用画像を再生成する手段を有することを特徴とする。

第三に、撮像した静止画像を記録媒体に記録する電子カメラにおいて、低輝度撮影時に被写体を照明する閃光手段、撮像した静止画像データからより低解像度なサムネイル用画像を生成する低解像度画像生成手段、前記サムネイル用低解像度画像に対し、赤目現象が発生した部分の座標を検出する赤目座標検出手段、前記赤目座標検出手段で検出された赤目座標に基づき、撮像した静止画像データの赤目発生部分を補正する赤目補正手段を有することを特徴とする。

第四に、上記の赤目補正機能を有する電子カメラにおいて、赤目補正が行われた場合に、赤目補正後の画像よりサムネイル用画像を再生成する手段を有することを特徴とする。

本発明によれば、赤目検出のための低解像度画像として、表示用画像やサムネイル用画像を使用するため、赤目検出専用の低解像度画像を生成する必要が無く、新たにメモリなど記憶領域を増加させずに済み、コストアップの無い赤目補正機能を持つ電子カメラを提供することが可能となる。

また、上記手段により低解像度画像の生成回数を減らせるので、効率の良い赤目補正機能を持つ電子カメラを提供することが可能となる。

以下、図面を参照して本発明の実施例について説明を行う。

図１は、本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置である。

１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２、リサイズ回路３４、赤目検出回路３６、赤目補正回路３８を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

３４は撮影した静止画像（原画像）から低解像度画像を生成するリサイズ回路である。

撮像素子１４の画素数と異なる画素数（サイズ）で記録媒体に画像データを記録したい場合や、画像データ記録時に添付されるインデックス用のサムネイル画像の生成などに利用される。また、画像表示部２８は、撮影素子１４よりも画素数はかなり小さいので、画像表示部２８に表示を行う場合の表示用画像を生成するためにも用いられる。リサイズ画像の解像度は用途により所定の複数の解像度から選択されるように構成される。リサイズ回路３４はメモリ３０に格納された画像を読み込んでリサイズ処理を行い、処理を終えたデータをメモリ３０に書き込む。

３６は画像データから赤目現象が発生している赤目の座標位置を検出する赤目検出回路であり、メモリ３０に格納された画像を読み込んで、公知の色相、彩度。明度などにより顔検知を行い、顔領域内で、局所的パターンマッチングなどの手法により、画像データ内の人間の目の位置を検出し、さらに検出された目部分の色相、彩度、明度などより目部分に赤目現象が発生しているか否かを検出する。このようにして、赤目現象の発生している箇所の座標位置が検出される。

３８は赤目補正回路で、赤目検出回路３６で検出された赤目座標位置を元にメモリ３０に格納されている原画像データの赤目部分に対して、自然な目の表現となるよう赤目部分の色を周囲虹彩部分の色と置換する、または特定の色で塗りつぶすの公知の補正方法により補正する処理を行う。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。

この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

図２乃至図６を参照して、実施例１の動作を説明する。

図２及び図３は本実施例の画像処理装置１００の主ルーチンのフローチャートを示す。

図２及び図３を用いて、画像処理装置１００の動作を説明する。

電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（Ｓ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ１０２）。

システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（Ｓ１０３）、各表示部の表示を終了状態に変更し、保護手段１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ１０５）、Ｓ１０３に戻る。

モードダイアル６０が撮影モードに設定されていたならば（Ｓ１０３）、Ｓ１０６に進む。

モードダイアル６０がその他のモードに設定されていたならば（Ｓ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ１０４）、処理を終えたならばＳ１０３に戻る。

システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断し（Ｓ１０６）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

電源８６に問題が無いならば（Ｓ１０６）、システム制御回路５０は記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断し（Ｓ１０７）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

記録媒体２００或いは２１０の動作状態に問題が無いならば（Ｓ１０７）、表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う（Ｓ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。

続いて、システム制御回路５０は、画像表示ＯＮ／ＯＦＦスイッチ６６の設定状態を調べ（Ｓ１１３）、画像表示ＯＮに設定されていたならば、画像表示フラグを設定すると共に（Ｓ１１４）、画像表示部２８の画像表示をＯＮ状態に設定し（Ｓ１１５）、さらに撮像した画像データを逐次表示するスルー表示状態に設定して（Ｓ１１６）、Ｓ１１９に進む。

スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示することにより、電子ファインダー機能を実現している。

画像表示ＯＮ／ＯＦＦスイッチ６６が画像表示ＯＦＦに設定されていたならば（Ｓ１１３）、画像表示フラグを解除すると共に（Ｓ１１７）、画像表示部２８の画像表示をＯＦＦ状態に設定して（Ｓ１１８）、Ｓ１１９に進む。

画像表示ＯＦＦの場合は、画像表示部２８による電子ファインダー機能を使用せず、光学ファインダー１０４を用いて撮影を行う。この場合、電力消費量の大きい画像表示部２８やＤ／Ａ変換器２６等の消費電力を削減することが可能となる。

なお、画像表示フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

シャッタースイッチＳＷ１が押されていないならば（Ｓ１１９）、Ｓ１０３に戻る。

シャッタースイッチＳＷ１が押されたならば（Ｓ１１９）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２０）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をフリーズ表示状態に設定して（Ｓ１２１）、Ｓ１２２に進む。

フリーズ表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介した画像表示メモリ２４の画像データ書き換えを禁止し、最後に書き込まれた画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により表示することにより、フリーズした映像を電子ファインダーに表示している。

画像表示フラグが解除されていたならば（Ｓ１２０）、Ｓ１２２に進む。

システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（Ｓ１２２）。測光処理に於いて、必要であればフラッシュの設定も行う。

この測距・測光処理Ｓ１２２の詳細は図４を用いて後述する。

測距・測光処理Ｓ１２２を終えたならば、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２３）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をスルー表示状態に設定して（Ｓ１２４）、Ｓ１２５に進む。なお、Ｓ１２４でのスルー表示状態は、Ｓ１１６でのスルー状態と同じ動作状態である。

シャッタースイッチＳＷ２が押されずに（Ｓ１２５）、さらにシャッタースイッチＳＷ１も解除されたならば（Ｓ１２６）、Ｓ１０３に戻る。

シャッタースイッチＳＷ２が押されたならば（Ｓ１２５）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２７）、画像表示フラグが設定されていたならば画像表示部２８の表示状態を固定色表示状態に設定して（Ｓ１２８）、Ｓ１２９に進む。

固定色表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して画像表示メモリ２４に書き込まれた撮影画像データの代わりに、差し替えた固定色の画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により表示することにより、固定色の映像を電子ファインダーに表示している。

画像表示フラグが解除されていたならば（Ｓ１２７）、Ｓ１２９に進む。

システム制御回路５０は、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（Ｓ１２９）。

この撮影処理Ｓ１２９の詳細は図５を用いて後述する。

撮影処理を終えたなら、システム制御回路５０は、メモリ３０に書き込まれた画像データに対し、リサイズ回路３４を用いて、撮影画像を画像表示部２８に表示するための表示用画像を生成する（Ｓ１３０）。撮影された画像データの画素数より画像表示部２８の画素数の方が一般的に小さいため、このような処理が必要となる。生成された表示用画像データは、撮影された画像データと別にメモリ３０に書き込まれて保存される。

次にシステム制御回路５０は、撮影がフラッシュを使用した撮影であったかどうかを判断し（Ｓ１３１）、フラッシュが使用されていれば次のステップＳ１３２に進む。フラッシュ撮影でない場合は、Ｓ１３２からの赤目検出、補正のステップは不要なので、Ｓ１３７の表示のステップに進む。

Ｓ１３２では、システム制御回路５０は、メモリ３０に保存されているＳ１３０で生成された表示用画像データに対して、赤目検出回路３６によって、撮影された画像データに赤目現象の発生しているか否かの検知を行う。

赤目現象が発生していれば（Ｓ１３３）、赤目検出回路３６はＳ１３２において赤目が発生している座標位置を表示用画像に対して求めているので、システム制御回路５０は、それを撮影画像のどの座標位置に相当するかを演算して求める（Ｓ１３４）。たとえば、撮影画像が２０４８×１５３６（約３００万画素）、表示用画像が６４０×４８０（ＶＧＡ約３０万画素）であれば、表示用画像で求められた赤目座標を縦方向、横方向それぞれ３．２倍することで、撮影画像上での赤目座標が求められる。

人物が写っていない風景写真などの撮影で赤目現象が検出されなければ、判断のステップ（Ｓ１３３）にてＳ１３７の画像表示のステップに進む。

撮影画像上の赤目座標が求められると、システム制御回路５０は、赤目補正回路３８を用いて、原画像データの赤目座標周辺の赤目現象を補正し、メモリ３０に保存する（Ｓ１３５）。

以上で原画像の赤目現象は補正されるが、表示画像との整合を取るために、次にシステム制御回路５０はメモリ３０に保存されている補正後の撮影画像データより、再度リサイズ回路３４を用いて、表示用画像を再生成してメモリ３０に保存する（Ｓ１３６）。

次にシステム回路５０は、メモリ３０上の表示用画像データをメモリ制御回路２２を用いて、画像表示メモリ２４に転送することで、画像表示部２８に撮影した画像の確認表示を行う（Ｓ１３７）。

システム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（Ｓ１３８）。

この記録処理Ｓ１３８の詳細は図６を用いて後述する。

このように、本発明によれば、低解像度画像データを用いて、赤目検出を行うため、原画像データをそのまま使って赤目検出を行うのに比べて、データ容量が少ないために高速に赤目座標の位置検出を行うことが出来る。たとえば、撮像素子として約３００万画素（２，０４８画素（Ｗ）×１，５３６画素（Ｈ））の電子カメラでも表示用の画像データは６４０画素×４８０画素（＝約３０万画素）程度で有り、検出を行うデータ量として１／１０で済むため、赤目検出に掛かる時間も非常に少なくすることが可能である。

記録処理Ｓ１３８が終了した際に、シャッタースイッチＳＷ２が押された状態であったならば（Ｓ１３９）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される連写フラグの状態を判断し（Ｓ１４０）、連写フラグが設定されていたならば、連続して撮影を行うためにＳ１２９に戻り、次の撮影を行う。

連写フラグが設定されていないならば（Ｓ１４０）、シャッタースイッチＳＷ２が放されるまで（Ｓ１３９）、現在の処理を繰り返す。

記録処理Ｓ１３８が終了した際にシャッタースイッチＳＷ２が放された状態であったならば（Ｓ１３９）、Ｓ１４１に進む。

シャッタースイッチＳＷ１が押された状態であったならば（Ｓ１４１）、システム制御回路５０は、Ｓ１２５に戻って次の撮影に備える。

シャッタースイッチＳＷ１が放された状態であったならば（Ｓ１４１）、システム制御回路５０は、一連の撮影動作を終えてＳ１０３に戻る。

図４は、図３のＳ１２２における測距・測光処理の詳細なフローチャートを示す。

システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（Ｓ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。

なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

画像処理回路２０での演算結果を用いて、システム制御回路５０は露出（ＡＥ）が適正と判断されるまで（Ｓ２０２）、露光制御手段４０を用いてＡＥ制御を行う（Ｓ２０３）。

ＡＥ制御で得られた測定データを用いて、システム制御回路５０はフラッシュが必要か否かを判断し（Ｓ２０４）、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４８を充電する（Ｓ２０５）。

露出（ＡＥ）が適正と判断したならば（Ｓ２０２）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランス（ＡＷＢ）が適正と判断されるまで（Ｓ２０６）、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（Ｓ２０７）。

ホワイトバランス（ＡＷＢ）が適正と判断したならば（Ｓ２０６）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は測距（ＡＦ）が合焦と判断されるまで（Ｓ２０８）、測距制御手段４２を用いてＡＦ制御を行う（Ｓ２０９）。

測距（ＡＦ）が合焦と判断したならば（Ｓ２０８）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理ルーチンＳ１２２を終了する。

図５は、図３のＳ１２９における撮影処理の詳細なフローチャートを示す。

システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御手段４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１０を露光する（Ｓ３０１、Ｓ３０２）。

フラッシュ・フラグによりフラッシュ４８が必要か否かを判断し（Ｓ３０３）、必要な場合はフラッシュを発光させる（Ｓ３０４）。

システム制御回路５０は、測光データに従って撮像素子１２の露光終了を待ち（Ｓ３０５）、シャッター１２を閉じて（Ｓ３０６）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影画像のデータを書き込む（Ｓ３０７）。

設定された撮影モードに応じて、フレーム処理を行う必要があるならば（Ｓ３０８）、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して垂直加算処理や（Ｓ３０９）、色処理（Ｓ３１０）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。

一連の処理を終えたならば、撮影処理ルーチンＳ１２９を終了する。

図６は、図３のＳ１３８における記録処理の詳細なフローチャートを示す。

システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた撮影画像データを読み出して撮像素子の縦横画素比率を１：１に補間する画素正方化処理を行った後（Ｓ４０１）、メモリ３０に処理を終えた画像データを書き込む。

そして、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行った後（Ｓ４０２）、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（Ｓ４０３）。

記録媒体への書き込みが終わったならば、記録処理ルーチンＳ１３８を終了する。

実施例１では表示用画像を用いて赤目検出を行う実施例について記載しているが、別に生成される低解像度画像を用いて赤目検出を行うよう構成してもかまわない。実施例２はそのような実施例である。

本実施例では、電子カメラで撮影した画像をコンピュータ等で取り込む際に一覧表示用の画像として使用されるサムネイル画像を用いて赤目検出を行う例である。

実施例２の構成は図１の構成と同じであるので、図、および動作が同一の構成要素に対しては説明を省略する。

サムネイル画像は、リサイズ回路３４にて生成される。リサイズ回路３４はメモリ３０に格納された画像を読み込んでリサイズ処理を行ってサムネイル画像を生成し、処理を終えたデータをメモリ３０に書き込む。

サムネイル画像は、撮影画像を記録媒体２００、２１０に記録する際、付加情報として撮影画像とともに記録される。

次に実施例２の動作について、図７、８を用いて説明する。図７は実施例１の説明に用いた図３に相当し、図８は同じく図６に相当する。実施例１と動作上同じステップは同一番号を振っており説明を省略する。また、実施例１で説明した図２、図４、図５についても実施例２でも動作は同一であるので、説明は省略する。

図７において、ステップ１５０（Ｓ１５０）では、撮影処理後、システム制御回路５０は、メモリ３０に書き込まれた画像データに対し、リサイズ回路３４を用いて、撮影画像からサムネイル画像を生成する。生成されたサムネイル用画像データは、撮影された画像データと別にメモリ３０に書き込まれて保存される。

Ｓ１３１は実施例１で説明したのと同様の撮影時にフラッシュを使用したかどうかの判断のステップである。フラッシュが使用されていれば次のステップＳ１５１に進む。

Ｓ１５１では、システム制御回路５０は、メモリ３０に保存されているＳ１５０で生成されたサムネイル用画像データに対して、赤目検出回路３６によって、撮影された画像データに赤目現象の発生しているか否かの検知を行う。

以下、Ｓ１３３からＳ１３５までのステップは実施例１と同一なので説明を略す。

原画像の赤目現象が補正された（Ｓ１３５）後、サムネイル画像と補正した撮影画像との整合を取るために、システム制御回路５０はメモリ３０に保存されている補正後の撮影画像データより、再度リサイズ回路３４を用いて、サムネイル用画像を再生成してメモリ３０に保存する（Ｓ１５２）。

図８は、実施例２の記録のステップを表すフローチャートである。

画像データを記録媒体に書き込む（Ｓ４０３）前に、ステップ４１０（Ｓ４１０）において、記録する画像データにサムネイル画像が付加情報として添付される。

以上説明したように赤目検出はサムネイル画像を用いて行うことも出来る。

本発明において、請求項１、３における閃光手段は、フラッシュ４８である。

請求項１、３における低解像度画像生成手段は、リサイズ回路３４である。

請求項１、３における赤目座標検出手段は、赤目位置検出回路３６である。

請求項１、３における赤目補正手段は、赤目補正回路３８である。

請求項２における表示用画像を再生成する手段は、リサイズ回路３４であり、再生成のステップは、ステップ１３６（Ｓ１３６）である。

請求項４におけるサムネイル用画像を再生成する手段は、リサイズ回路３４であり、再生成のステップは、ステップ１５２（Ｓ１５２）である。

以上、本発明の実施例の説明を行った。

なお、実施例の説明においては、レンズシャッタータイプの電子カメラとして説明したが、レンズ交換式の一眼レフタイプの電子カメラに対しても本発明は同様に適用可能である。また、フラッシュ４８は電子カメラに内蔵されていても良いし、外付け式ストロボで有ってもわずかな構成上の相違以外はまったく同様に応用可能であることはいうまでも無い。

また、赤目位置検出回路３６や赤目補正回路３８はハードウェアで構成されていても良いし、システム制御回路５０に内蔵されたソフトウェアによって構成しても良いことはいうまでもない。

また、本実施例の説明においては、低解像度画像として表示用画像およびサムネイル画像を取り上げたが、電子カメラ内にて他の用途に使用される低解像度画像の生成が行われる場合、その低解像度画像を使用して赤目位置検出を行って良いのはいうまでもない。

また、表示用画像やサムネイル画像が複数の解像度にて生成される場合、そのいずれの解像度の画像によって赤目位置検出を行っても良い。

また、本実施例は赤目補正は撮影した原画像データに対して行っているが、記録時に設定されている解像度に圧縮伸長される場合は、圧縮伸長後の画像に対して赤目補正を行うようにして良いことはいうまでも無い。

なお、記録媒体２００及び２１０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等だけでなく、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論問題無い。

また、記録媒体２００及び２１０がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。

そして、実施例の説明に於いては、記録媒体２００及び２１０は画像処理装置１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が画像処理装置１００に固定したままとなっていても勿論問題無い。

また、画像処理装置１００に記録媒体２００或いは２１０が、単数或いは複数の任意の個数接続可能な構成であっても構わない。

そして、画像処理装置１００に記録媒体２００及び２１０が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。

本発明の第一実施例の構成ブロック図である。 本発明の第一実施例の主ルーチンのフローチャートの一部である。 本発明の第一実施例の主ルーチンのフローチャートの一部である。 本発明の第一実施例の測距・測光ルーチンのフローチャートである。 本発明の第一実施例の撮影ルーチンのフローチャートである。 本発明の第一実施例の記録ルーチンのフローチャートである。 本発明の第二実施例の主ルーチンのフローチャートの一部である。 本発明の第二実施例の記録ルーチンのフローチャートである。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
３４ リサイズ回路
３６ 赤目位置検出回路
３８ 赤目補正回路
４０ 露光制御手段
４２ 測距制御手段
４４ ズーム制御手段
４６ バリア制御手段
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
６６ 画像表示ＯＮ／ＯＦＦスイッチ
７０ 操作部
８０ 電源制御手段
８２ コネクタ
８４ コネクタ
８６ 電源手段
９０ インタフェース
９２ コネクタ
９４ インタフェース
９６ コネクタ
９８ 記録媒体着脱検知手段
１００ 画像処理装置
１０２ 保護手段
１０４ 光学ファインダ
１１０ 通信手段
１１２ コネクタ（またはアンテナ）
２００ 記録媒体
２０２ 記録部
２０４ インタフェース
２０６ コネクタ
２１０ 記録媒体
２１２ 記録部
２１４ インタフェース
２１６ コネクタ

Claims (4)

1. 撮像した静止画像を記録媒体に記録する電子カメラであって、
   低輝度撮影時に被写体を照明する閃光手段、
   撮像した静止画像データからより表示用低解像度画像を生成する低解像度画像生成手段、
   前記表示用低解像度画像に対し、赤目現象が発生した部分の座標を検出する赤目座標検出手段、
   前記赤目座標検出手段で検出された赤目座標に基づき、撮像した静止画像データの赤目発生部分を補正する赤目補正手段を有することを特徴とする赤目補正機能を有する電子カメラ。
2. 赤目補正が行われた場合に、赤目補正後の画像より表示用画像を再生成する手段を有することを特徴とする請求項１記載の赤目補正機能を有する電子カメラ。
3. 撮像した静止画像を記録媒体に記録する電子カメラであって、
   低輝度撮影時に被写体を照明する閃光手段、
   撮像した静止画像データからより低解像度なサムネイル用画像を生成する低解像度画像生成手段、
   前記サムネイル用低解像度画像に対し、赤目現象が発生した部分の座標を検出する赤目座標検出手段、
   前記赤目座標検出手段で検出された赤目座標に基づき、撮像した静止画像データの赤目発生部分を補正する赤目補正手段を有することを特徴とする赤目補正機能を有する電子カメラ。
4. 赤目補正が行われた場合に、赤目補正後の画像よりサムネイル用画像を再生成する手段を有することを特徴とする請求項３記載の赤目補正機能を有する電子カメラ。
   
   

Images