本実施の形態では、赤目検出手段を用いる場合と前画像表示メモリを用いる場合とに分けて説明する。
(赤目検出手段を用いる場合)
(構成について)
以下、図面を参照して本発明の実施の形態を説明する。図1は、本発明の実施の形態構成を示す図である。
図1は、本発明を適用したカメラ100の構成を説明入する図である。
10は撮影レンズ、12は絞り機能を備えるシャッター、14は入射される光に応じて信号を出力する撮像手段としての撮像素子、16は撮像素子14のアナログ信号出力をディジタル信号に変換するA/D変換器である。
18は撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
20は画像処理回路であり、A/D変換器16からの信号或いはメモリ制御回路22からの信号に対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、撮像した画像信号を用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。
さらに、画像処理回路20においては、撮像した画像信号を用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。
A/D変換器16の信号が画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16の信号が直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
24は画像表示メモリ、26はD/A変換器、28は画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像信号はD/A変換器26を介して画像表示部28により表示される。
画像表示部28を用いて撮像した画像信号を逐次表示すれば、電子ファインダ機能を実現することが可能である。
また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することが出来る。
25は赤目検出手段としての赤目検出器で、画像表示メモリ24に記憶している画像信号をもとに輪郭や間隔や色を含めた要素をもとに目、鼻、口等の物体認識手段を含み、特定された目の位置情報をもとに、画像信号の色情報より画像中の赤目の有無、及びその程度を検出する。
30は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。
また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
32は適応離散コサイン変換(ADCT)等により画像信号を圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた信号をメモリ30に書き込む。
40は絞り機能を備えるシャッター12を制御する露光制御手段であり、フラッシュ48と連携することによりフラッシュ調光機能も有するものである。
42は撮影レンズ10のフォーカシングを制御する測距制御手段、44は撮影レンズ10のズーミングを制御するズーム制御手段、46はバリアである保護手段102の動作を制御するバリア制御手段である。
48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。
露光制御手段40、測距制御手段42はTTL方式を用いて制御されており、撮像した画像信号を画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う。
49はLED或いは、ランプの投光装置で、被写体輝度が所定の明るさより暗い場合に投光を行う。この投光装置は、撮影レンズ10に対してフラッシュ48より近い或いは同じ距離に位置し、投光することにより瞳孔を絞り赤目を緩和するとともに、画像に赤目現象が発生するように構成されている。
50は画像処理装置100全体を制御するシステム制御回路、52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。
また、表示部54は、その一部の機能が光学ファインダ104内に設置されている。
表示部54の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。
また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
60、62、64、65、66、68及び70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
(操作について)
ここで、これらの操作手段の具体的な説明を行う。
60はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定することが出来る。
62はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始を指示する。
64はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でONとなり、撮像素子12から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像信号を書き込む露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像信号を読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200或いは210に画像信号を書き込む記録処理という一連の処理の動作開始を指示する。
65はストロボモードSWで、強制発光モード/オートモード発光/赤目緩和オートモード発光/発光オフ等のストロボ発光モードを設定する。
66は画像表示ON/OFFスイッチで、画像表示部28のON/OFFを設定することが出来る。
この機能により、光学ファインダ104を用いて撮影を行う際に、画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
68はクイックレビューON/OFFスイッチで、撮影直後に撮影した画像信号を自動再生するクイックレビュー機能を設定する。なお、本実施例では特に、画像表示部28をOFFとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。
70は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、赤目緩和時の表示拡大設定を行う拡大ボタン、日付/時間設定ボタン等がある。
80は電源制御手段で、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
82はコネクタ、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源手段である。
90及び94はメモリカードやハードディスク等の記録媒体とのインターフェース、92及び96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、98はコネクタ92及び或いは96に記録媒体200或いは210が装着されているか否かを検知する記録媒体着脱検知手段である。
なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
インターフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(R))カード等の規格に準拠したものを用いて構成して構わない。
さらに、インターフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCF(コンパクトフラッシュ(R))カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像信号や画像信号に付属した管理情報を転送し合うことが出来る。
102は、画像処理装置100のレンズ10を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
104は光学ファインダであり、画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
110は通信手段で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。
112は通信手段110により画像処理装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
200はメモリカードやハードディスク等の記録媒体である。
記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインターフェース204、画像処理装置100と接続を行うコネクタ206を備えている。
210はメモリカードやハードディスク等の記録媒体である。
記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインターフェース214、画像処理装置100と接続を行うコネクタ216を備えている。
図10はカメラの外観を示し、図10(A)はカメラの正面より見た図で、301はカメラ本体、302は光学式ファインダ、303は撮影レンズを含むのズーム及びレンズピントを合わせる鏡筒、304はランプ或いは、LED等を投光することにより赤目位置の検出及び赤目の緩和を行う、赤目投光器、305はフラッシュの発光部である。
図10(B)、(C)はカメラの後面より見た図で、306は前述の画像表示ON/OFFスイッチ66をON/OFFする画像表示ボタン、307前述のクイックビューON/OFFスイッチ68をON/OFFするクイックビューボタン、308は前述のモードダイアルスイッチ60の設定を行うモードダイアルである。309は前述の画像表示部28で有る所の外部LCD、310はストロボモードSW65をON/OFFするストロボモードボタンである。
(動作について)
図2乃至図6を参照して、動作を説明する。
図2及び図3は本実施例の画像処理装置100の主ルーチンのフローチャートを示す。
図2及び図3を用いて、画像処理装置100の動作を説明する。
電池交換等の電源投入により、システム制御回路50はフラグや制御変数等を初期化し(ステップS101)、画像表示部28の画像表示をOFF状態に初期設定する(ステップS102)。
システム制御回路50は、モードダイアル60の設定位置を判断し、モードダイアル60が電源OFFに設定されていたならば(ステップS103)、各表示部の表示を終了状態に変更し、保護手段102のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御手段80により画像表示部28を含む画像処理装置100各部の不要な電源を遮断する等の所定の終了処理を行った後(ステップS105)、ステップS103に戻る。
モードダイアル60が撮影モードに設定されていたならば(ステップS103)、ステップS106に進む。
モードダイアル60がその他のモードに設定されていたならば(ステップS103)、システム制御回路50は選択されたモードに応じた処理を実行し(ステップS104)、処理を終えたならばステップS103に戻る。
システム制御回路50は、電源制御手段80により電池等により構成される電源86の残容量や動作情況が画像処理装置100の動作に問題があるか否かを判断し(ステップS106)、問題があるならば表示部54を用いて画像や音声により所定の警告表示を行った後に(ステップS108)、ステップS103に戻る。
電源86に問題が無いならば(ステップS106)、システム制御回路50は記録媒体200或いは210の動作状態が画像処理装置100の動作、特に記録媒体に対する画像信号の記録再生動作に問題があるか否かを判断し(ステップS107)、問題があるならば表示部54を用いて画像や音声により所定の警告表示を行った後に(ステップS108)、ステップS103に戻る。
記録媒体200或いは210の動作状態に問題が無いならば(ステップS107)、表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示を行う(ステップS109)。なお、画像表示部28の画像表示がONであったならば、画像表示部28も用いて画像や音声により画像処理装置100の各種設定状態の表示を行う。
システム制御回路50は、クイックレビューON/OFFスイッチ68の設定状態を調べ(ステップS110)、クイックレビューONに設定されていたならばクイックレビューフラグを設定し、(ステップS111)、クイックレビューOFFに設定されていたならばクイックレビューフラグを解除する(ステップS112)。
なお、クイックレビューフラグの状態は、システム制御回路50の内部メモリ或いはメモリ52に記憶する。
続いて、システム制御回路50は、画像表示ON/OFFスイッチ66の設定状態を調べ(ステップS113)、画像表示ONに設定されていたならば、画像表示フラグを設定すると共に(ステップS114)、画像表示部28の画像表示をON状態に設定し(ステップS115)、さらに撮像した画像信号を逐次表示するスルー表示状態に設定して(ステップS116)、ステップS119に進む。
スルー表示状態に於いては、撮像素子12、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、画像表示メモリ24に逐次書き込まれた信号を、メモリ制御回路22、D/A変換器26を介して画像表示部28により逐次表示することにより、電子ファインダ機能を実現している。
画像表示ON/OFFスイッチ66が画像表示OFFに設定されていたならば(ステップS113)、画像表示フラグを解除すると共に(ステップS117)、画像表示部28の画像表示をOFF状態に設定して(ステップS118)、ステップS119に進む。
画像表示OFFの場合は、画像表示部28による電子ファインダ機能を使用せず、光学ファインダ104を用いて撮影を行う。この場合、電力消費量の大きい画像表示部28やD/A変換器26等の消費電力を削減することが可能となる。
なお、画像表示フラグの状態は、システム制御回路50の内部メモリ或いはメモリ52に記憶する。
シャッタースイッチSW1が押されていないならば(ステップS119)、ステップS103に戻る。
シャッタースイッチSW1が押されたならば(ステップS119)、システム制御回路50はシステム制御回路50の内部メモリ或いはメモリ52に記憶される画像表示フラグの状態を判断し(ステップS120)、画像表示フラグが設定されていたならば画像表示部28の表示状態をフリーズ表示状態に設定して(ステップS121)、ステップS122に進む。
フリーズ表示状態に於いては、撮像素子12、A/D変換器16、画像処理回路20、メモリ制御回路22を介した画像表示メモリ24の画像信号書き換えを禁止し、最後に書き込まれた画像信号を、メモリ制御回路22、D/A変換器26を介して画像表示部28により表示することにより、フリーズした映像を電子ファインダに表示している。
画像表示フラグが解除されていたならば(ステップS120)、ステップS122に進む。
システム制御回路50は、測距処理を行って撮影レンズ10の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する(ステップS122)。測光処理に於いて、必要であればフラッシュの設定も行う。
この測距・測光処理ステップS122の詳細は図4を用いて後述する。
測光・測距処理が終えたならば、フラッシュモードの設定状態と上記測光の結果に応じて赤目処理(ステップS123)を行う。
この赤目処理はステップS123の詳細は図7を用いて詳しく後述する。
赤目処理ステップS123を終えたならば、システム制御回路50はシステム制御回路50の内部メモリ或いはメモリ52に記憶される画像表示フラグの状態を判断し(ステップS124)、画像表示フラグが設定されていたならば画像表示部28の表示状態をスルー表示状態に設定して(ステップS125)、ステップS126に進む。なお、ステップS125でのスルー表示状態は、ステップS116でのスルー状態と同じ動作状態である。
シャッタースイッチSW2が押されずに(ステップS126)、さらにシャッタースイッチSW1も解除されたならば(ステップS127)、ステップS103に戻る。
シャッタースイッチSW2が押されたならば(ステップS126)、詳細を後述する前述の赤目処理(ステップS123)で撮影条件に応じて開始した、投光装置49による投光を行っているか判断して(ステップS128)、投光を行っていたら投光を停止して(ステップS129)ステップS130に進む。また投光が行われていなかったらステップS128からステップS130に進む。
システム制御回路50はシステム制御回路50の内部メモリ或いはメモリ52に記憶される画像表示フラグの状態を判断し(ステップS130)、画像表示フラグが設定されていたならば画像表示部28の表示状態を固定色表示状態に設定して(ステップS131)、ステップS132に進む。
固定色表示状態に於いては、撮像素子12、A/D変換器16、画像処理回路20、メモリ制御回路22を介して画像表示メモリ24に書き込まれた撮影画像信号の代わりに、差し替えた固定色の画像信号を、メモリ制御回路22、D/A変換器26を介して画像表示部28により表示することにより、固定色の映像を電子ファインダに表示している。
画像表示フラグが解除されていたならば(ステップS130)、ステップS132に進む。
システム制御回路50は、撮像素子12、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器から直接メモリ制御回路22を介して、メモリ30に撮影した画像信号を書き込む露光処理、及び、メモリ制御回路22そして必要に応じて画像処理回路20を用いて、メモリ30に書き込まれた画像信号を読み出して各種処理を行う現像処理からなる撮影処理を実行する(ステップS132)。
この撮影処理ステップS129の詳細は図5を用いて後述する。
システム制御回路50は、システム制御回路50の内部メモリ或いはメモリ52に記憶される画像表示フラグの状態を判断し(ステップS133)、画像表示フラグが設定されていたならばクイックレビュー表示を行う(ステップS136)。この場合は、撮影中も画像表示部28が電子ファインダとして常に表示された状態であり、撮影直後のクイックレビュー表示も行われる。
画像表示フラグが解除されていたならば(ステップS133)、システム制御回路50の内部メモリ或いはメモリ52に記憶されるクイックレビューフラグの状態を判断し(ステップS135)、クイックレビューフラグが設定されていたならば、画像表示部28の画像表示をON状態に設定し(ステップS135)、クイックレビュー表示を行う(ステップS136)。
このように、本発明によれば、省電力のために或いは光学ファインダ104を用いて撮影を行うので電子ファインダ機能が不要であるために、画像表示部28の画像表示をOFFに設定していても、クイックレビュースイッチによりクイックレビュー機能が設定されていれば、撮影を行った直後に自動的に撮影画像を画像表示部28に再生することが可能となり、省電力かつ撮影画像の確認に便利な機能を提供することが可能となる。
画像表示フラグが解除され(ステップS133)、クイックレビューフラグも解除されていたならば(ステップS134)、画像表示部28がOFFの状態のままステップS137に進む。この場合は、撮影を行った後でも画像表示部28は消えたままであり、クイックレビュー表示も行われない。これは、光学ファインダ104を用いて撮影を続ける場合のように、撮影直後の撮影画像の確認が不要で、画像表示部28の電子ファインダ機能を使用せずに省電力を重視する使用方法である。
システム制御回路50は、メモリ30に書き込まれた撮影画像信号を読み出して、メモリ制御回路22そして必要に応じて画像処理回路20を用いて各種画像処理を、また、圧縮・伸長回路32を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体200或いは210へ画像信号の書き込みを行う記録処理を実行する(ステップS137)。
この記録処理ステップS137の詳細は図6を用いて後述する。
記録処理ステップS137が終了した際に、シャッタースイッチSW2が押された状態であったならば(ステップS138)、システム制御回路50はシステム制御回路50の内部メモリ或いはメモリ52に記憶される連写フラグの状態を判断し(ステップS139)、連写フラグが設定されていたならば、連続して撮影を行うためにステップS129に戻り、次の撮影を行う。
連写フラグが設定されていないならば(ステップS139)、シャッタースイッチSW2が放されるまで(ステップS138)、現在の処理を繰り返す。
記録処理ステップS137が終了した際にシャッタースイッチSW2が放された状態であった、或いは、シャッタースイッチSW2を押し続けてクイックレビュー表示を継続して撮影画像の確認を行った後にシャッタースイッチSW2を放した状態であったならば(ステップS138)、所定のミニマムレビュー時間が経過した後にステップS141に進む(ステップS140)。
システム制御回路50は、画像表示フラグが設定されていたならば(ステップS141)、画像表示部28の表示状態をスルー表示状態に設定して(ステップS142)、ステップS144に進む。
この場合、画像表示部28でのクイックレビュー表示によって撮影画像を確認した後に、次の撮影のために撮像した画像信号を逐次表示するスルー表示状態にすることが出来る。
画像表示フラグが解除されていたならば(ステップS141)、画像表示部28の画像表示をOFF状態に設定して(ステップS143)、ステップS144に進む。
この場合、画像表示部28でのクイックレビュー表示によって撮影画像を確認した後に、省電力のために画像表示部28の機能を停止して、電力消費量の大きい画像表示部28やD/A変換器26等の消費電力を削減することが可能となる。
シャッタースイッチSW1が押された状態であったならば(ステップS144)、システム制御回路50は、ステップS126に戻って次の撮影に備える。シャッタースイッチSW1が放された状態であったならば(ステップS144)、システム制御回路50は、一連の撮影動作を終えてステップS103に戻る。
(測距・測光処理フローについて)
図4は、図3のステップS122における測距・測光処理の詳細なフローチャートを示す。
システム制御回路50は、撮像素子14から電荷信号を読み出し、A/D変換器16を介して画像処理回路20に撮影画像信号を逐次読み込む(ステップS201)。この逐次読み込まれた画像信号を用いて、画像処理回路20はTTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュプリ発光)処理、AF(オートフォーカス)処理に用いる所定の演算を行っている。
なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、TTL方式のAE、EF、AWB、AFの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
画像処理回路20での演算結果を用いて、システム制御回路50は露出(AE)が適正と判断されるまで(ステップS202)、露光制御手段40を用いてAE制御を行う(ステップS203)。
AE制御で得られた測定信号を用いて、システム制御回路50はフラッシュが必要か否かを判断し(ステップS204)、フラッシュが必要ならばフラッシュ・フラグをセットし、フラッシュ48を充電する(ステップS205)。
露出(AE)が適正と判断したならば(ステップS202)、測定信号及び或いは設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶する。
画像処理回路20での演算結果及びAE制御で得られた測定信号を用いて、システム制御回路50はホワイトバランス(AWB)が適正と判断されるまで(ステップS206)、画像処理回路20を用いて色処理のパラメータを調節してAWB制御を行う(ステップS207)。
自動ホワイトバランス(AWB)が適正と判断したならば(ステップS206)、測定信号及び或いは設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶する。
AE制御及びAWB制御で得られた測定信号を用いて、システム制御回路50は測距(AF)が合焦と判断されるまで(ステップS208)、測距制御手段42を用いてAF制御を行う(ステップS209)。
測距(AF)が合焦と判断したならば(ステップS208)、測定信号及び或いは設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶し、測距・測光処理ルーチンS122を終了する。
(赤目処理フローについて)
図7は、図3のステップS123における赤目処理の詳細なフローチャートを示す。
システム制御回路50はストロボモードスイッチ65によるストロボの設定状態が赤目緩和モードか読み出す。(ステップS501)この読みだし結果が赤目モードでなかったら、赤目処理を終了し図3、ステップS124に進む。読み出し結果が、赤目緩和モードであったら図3のステップS122で行った測光結果をもとに赤目緩和が必要な所定輝度以下か否かの判定する(ステップS502)。
ここで所定輝度以上だったら、図3のステップS124に進む。所定輝度以下だったら、投光装置49による投光を開始する(ステップS503)。そして投光開始後画像取り込みを行い撮像素子12、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、画像表示メモリ24に画像信号を書き込む(ステップS504)。この画像表示メモリ24に記録した信号をもとに赤目検出器25により画像中に赤目が有るか否かの検出を行う(ステップS505)。
画像中に赤目が無かったら、図3のステップS124に進む。赤目を検出したら、画像取り込みステップS504に行った画像を画像表示58にフリーズ表示する(ステップS506)。そして所定時間の計時を開始する(ステップS507)。所定時間の経過したか否か判定し(ステップS508)所定時間が経過したら、再び画像取り込みを行う(ステップS509)。画像表示メモリ24に書き込む。そして、所定の画像表示を行う(ステップS510)。
この画像表示ステップS510の詳細は図9を用いて後述する。画像表示ステップS510を行ったら赤目の大きさ(量)が第1の所定の大きさより小さくなっているか、画像表示メモリ24の信号をもとに赤目検出器25にて判定する(ステップS511)。
ここでの赤目の量(赤目の程度)を判定する、第1の所定量は虹彩の1/2程度或いは、4mm程度で、前述の赤目検出器で、画像表示メモリ24に記憶している画像信号をもとに輪郭や間隔や色を含めた要素をもとに目、鼻、口等の物体認識手段で目の位置を特定して、特定された目の位置情報をもとに、画像信号の色情報より画像中の赤目の有無及び赤目の量を検出する。
ここで赤目の大きさ(量)が第1の所定の大きさより大きい場合は、画像取り込みステップS509を所定回数行ったか判定する。この所定回数は、赤目の緩和効果は、一般的に約1.2秒程度の時間があれば効果あるとされているので十分効果な効果が得られる時間、よってステップS614で設定されている時間を0.2秒程度として10回程度である。2秒以内とする(ステップS514)。
画像取り込み回数が所定回数となっていなかったらタイマー開始ステップS506に戻り、赤目の大きさ(量)が第1の所定の大きさより小さくなるまで前述のシーケンスを繰り返す。また画像取り込み回数が所定の回数となっていたら、赤目の画像補正を行うことを意味する、表示2を表示する(ステップS516)。この表示は、図12に示す瞳マークを画像表示28内に表示するもので、表示2ステップS516では、瞳マークを赤目画像補正有りとして黄色にして表示して、補正フラグ(ステップS517)を立て赤目シーケンスを終了する。
また赤目の大きさ(量)が第1の所定の大きさより小さくなったら、赤目の大きさ(量)が第1の所定の大きさより小さい、第2の所定の大きさより小さくなっているか、画像表示メモリ24の信号をもとに判定する(ステップS512)。ここでの第2の所定量を虹彩の1/4程度或いは、2mm程度である。ここで赤目の大きさ(量)が第2の所定の大きさより大きい場合は、SW2の状態の検出を行う(ステップS513)。
ここでSW2のONが検出されたら、表示2(ステップS516)に進む。またSW2がOFFだったら。所定回数の画像取り込み判定ステップS514に進み、赤目の大きさ(量)が第2の所定の大きさより小さくなるまで前述のシーケンスを繰り返す。また赤目の大きさ(量)が第2の所定の大きさより小さい場合は、撮影しても撮影画像に赤目が発生しない大きさなので、表示1(ステップS515)で瞳マークを赤目画像補正無しとして緑色にして表示して赤目シーケンスを終了する。
図13は、図7のステップS506及びステップS510における画像表示の詳細な説明である。
システム制御回路50は操作部70の拡大表示の設定状態を調べ(ステップS701)、拡大表示に設定されていたならば、拡大表示領域設定を行う(ステップS702)。この拡大表示領域は、前述の赤目検出手段より検出された赤目の発生部分である。拡大表示領域が設定されたら、設定された領域をフリーズ画像表示する(ステップS703)。また拡大表示の設定がされていなかった場合は、全体画像のフリーズ画像表示を行う(ステップS704)。
このように、本発明によれば、投光装置49による赤目緩和投光を行い、赤目検出手段25により赤目緩和効果が得られたことを検出してレリーズを許可するようにする。
また、赤目の状態を画像表示28に表示することにより赤目の状態を確認しながら撮影を可能にした。このように赤目処理を行うことで、撮影された画像の赤目の不満を少なくすることが出来る。
(撮影処理フローについて)
図5は、図3のステップS132における撮影処理の詳細なフローチャートを示す。
システム制御回路50は、システム制御回路50の内部メモリ或いはメモリ52に記憶される測光信号に従い、露光制御手段40によって、絞り機能を有するシャッター12を絞り値に応じて開放して撮像素子10を露光する(ステップS301、ステップS302)。
フラッシュ・フラグによりフラッシュ48が必要か否かを判断し(ステップS303)、必要な場合はフラッシュを発光させる(ステップS304)。
システム制御回路50は、測光信号に従って撮像素子12の露光終了を待ち(ステップS305)、シャッター12を閉じて(ステップS306)、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16から直接メモリ制御回路22を介して、メモリ30に撮影画像の信号を書き込む(ステップS307)。
設定された撮影モードに応じて、フレーム処理を行う必要があるならば(ステップS308)、システム制御回路50は、メモリ制御回路22そして必要に応じて画像処理回路20を用いて、メモリ30に書き込まれた画像信号を読み出して垂直加算処理や(ステップS309)、色処理(ステップS310)を順次行い前述の赤目処理で補正フラグステップS517の確認を行う。(ステップS311)赤目補正フラグが立っていなかったら、メモリ30に処理を終えた画像信号を書き込む。赤目補正フラグが立っていたら所定の赤目補正(ステップS312)を行いメモリ30に処理を終えた画像信号を書き込む。ここで赤目補正は、赤目の発生している瞳孔部の画像信号の赤の明度を下げる補正である。
システム制御回路50は、メモリ30から画像信号を読み出し、メモリ制御回路22を介して画像表示メモリ24に表示画像信号の転送を行う(ステップS313)。
一連の処理を終えたならば、撮影処理ルーチンステップS129を終了する。
(記録処理フローについて)
図6は、図3のステップS137における記録処理の詳細なフローチャートを示す。
システム制御回路50は、メモリ制御回路22そして必要に応じて画像処理回路20を用いて、メモリ30に書き込まれた撮影画像信号を読み出して撮像素子の縦横画素比率を1:1に補間する画素正方化処理を行った後(ステップS401)、メモリ30に処理を終えた画像信号を書き込む。
そして、メモリ30に書き込まれた画像信号を読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路32により行った後(ステップS402)、インターフェース90或いは94、コネクタ92或いは96を介して、メモリカードやコンパクトフラッシュ(R)カード等の記録媒体200或いは210へ圧縮した画像信号の書き込みを行う(ステップS403)。
記録媒体への書き込みが終わったならば、記録処理ルーチンステップS134を終了する。
(前画像表示メモリを用いる場合)
以下、図面を参照して前画像表示メモリを用いる場合を説明する。
(構成について)
図9は、構成を示す図である。
図9の構成は、前述の赤目検出手段を用いる場合にて説明した図1の構成に準じており異なる構成のみ説明する。図9に於いて、図1に対して赤目検出25が除かれている。それに対して、前画像表示メモリ27が加えられている。前画像表示メモリ27は画像表示に際して記憶している、画像表示メモリ24で表示が終わった後の画像信号を記憶しておくメモリである。
(動作フローについて)
前画像表示メモリを用いる場合には、赤目検出手段を用いる場合にて説明した図3のステップS125の赤目処理の詳細なフローチャート図7とシーケンスが異なる。前画像表示メモリを用いる場合の図3のステップS125の赤目処理の詳細なフローチャートを図8に示す。
システム制御回路50はストロボモードスイッチ65によるストロボの設定状態が赤目緩和モードか読み出す。(ステップS601)この読みだし結果が赤目モードでなかったら、赤目シーケンスを終了して図3のステップS124に進む。読み出し結果が、赤目緩和モードであったら図3のステップS122で行った測光結果をもとに赤目緩和が必要な所定輝度以下か否かの判定する。(ステップS602)ここで所定輝度以上だったら、赤目シーケンスを終了して図3のステップS124に進む。
所定輝度以下だったら、投光装置49による投光を開始する。(ステップS603)そして投光開始後画像取り込みを行い撮像素子12、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、画像表示メモリ24に書き込む。(ステップS604)そしてフリーズした画像表示を行う。(ステップS605)そして、画像表示メモリ24に記録した信号を前画像表示メモリ25にコピーする。(ステップS606)そして所定時間の計時を開始する(ステップS607)。
所定時間の経過したか否か判定し(ステップS608)所定時間が経過したら、再び画像取り込みを行うとともに画像表示メモリ24に書き込む。(ステップS609)そして画像表示メモリ24の画像信号と前画像表示メモリ25の画像信号を比較して赤目の発生の有り無しを判定する。(ステップS610)この画像信号の比較は、前画像表示メモリ25に記憶している画像信号で赤目緩和投光の開始直後の最も瞳孔径の大きい状態と、赤目緩和投光の開始して所定時間経過してからの画像表示メモリ24の画像信号を比較するものである。
赤目緩和投光の開始して所定時間経過してからの瞳孔径は、赤目緩和投光により赤目緩和投光の開始直後の瞳孔径より縮小する。即ち、画像表示メモリ24の画像信号と前画像表示メモリ25の画像信号では、瞳孔径に差が生じているため画像信号に差が生じる。よって、その差が生じている画素が赤目の発生している部分と特定が出来る。
具体的には、本実施の形態では赤目と赤目で無い場合では、瞳孔部の画像のRGB信号のR成分の明度に差を生ずる。
よって画像信号の中のR成分の信号を比較することで赤目の発生を検出できる。またR成分のみの比較とすることにより、全画像成分(RGB信号)で比較検出行うより高速に検出結果を出すことができる。
以上赤目検出ステップS610で行った検出結果をもとに、赤目が検出されなかったら赤目シーケンスを終了して図3ステップS124に進む。また赤目が検出されたら、画像表示メモリ24に記録した信号を前画像表示メモリ25に書き換えを行う(ステップS611)。そして画像取り込みステップS609で取り込み画像メモリ25に記憶している画像信号をもとに所定の画像表示を行う(ステップS612)。そして再度所定時間の計時を開始する(ステップS613)。所定時間の経過したか否か判定し(ステップS614)、所定時間が経過したら、再び画像取り込みを行う。画像表示メモリ24に書き込む(ステップS615)。そして赤目が第1の所定の大きさより縮小したか否かの判定を行う。
この判定基準としては、このまま撮影しても赤目の発生した写真の違和感が無い赤目の状態で、補正することにより更に好ましい瞳となる大きさである。
例えば、虹彩に対して1/2程度の直径、或いは、赤目の直径4mm以下程度で、図11に示す(b)の大きさ程度である。虹彩の検出は、前述した赤目領域の検出結果から赤目の周囲の画像の特徴、白目部(明):虹彩部(暗)から検出できる。
また赤目の直径は、焦点距離と測距結果から予測できる。この判定で、赤目が第1の所定の大きさより縮小していたら、赤目が第2の所定の大きさより縮小したか否かの判定を行う(ステップS617)。
また、赤目が第1の所定の大きさより大きい場合は、所定の回数画像取り込みを行ったかの判定を行う(ステップS619)。この所定回数は、赤目の緩和効果は、一般的に約1.2秒程度の時間があれば効果あるとされているので十分効果な効果が得られる時間、よってステップS614で設定されている時間を0.2秒程度として10回程度である。2秒以内とする。この画像取り込みの所定回数判定で所定回数取り込んでいなかったらステップS611で画像表示メモリ24に記録した信号を前画像表示メモリ25に転送して、赤目の大きさ(量)が第1の所定の大きさより小さくなるまで前述のシーケンスを繰り返す。そして画像取り込みを所定の回数終了したら、赤目の画像補正を行うことを意味する、表示2を表示する。(ステップS621)この表示は、図12に示す瞳マークを画像表示28内に表示するもので、表示2ステップS621では、瞳マークを赤目画像補正有りとして黄色にして表示して、補正フラグ(ステップS621)を立て赤目シーケンスを終了する。
また、赤目の大きさ(量)が第1の所定の大きさより小さくなったら、赤目の大きさ(量)が第1の所定の大きさより小さい、第2の所定の大きさより小さくなっているか、画像表示メモリ24の信号をもとに判定する(ステップS617)。ここで赤目の大きさ(量)が第2の所定の大きさより大きい場合は、ステップSW2の状態の検出を行う(ステップS618)。ここでSW2のONが検出されたらレリーズを優先させる。よって表示2(ステップS621)に進み補正フラグステップS622を立てて赤目シーケンスを終了する。またSW2がOFFだったら。所定回数の画像取り込み判定ステップS619に進み、赤目の大きさ(量)が第2の所定の大きさより小さくなるまで前述のシーケンスを繰り返す。
また赤目の大きさ(量)が第2の所定の大きさより小さい場合は、撮影しても撮影画像に赤目が発生しない大きさなので、表示1(ステップS620)で瞳マークを赤目画像補正無しとして緑色にして表示して赤目シーケンスを終了する。
このように、本発明によれば、投光装置49による赤目緩和投光を行い、赤目緩和投光開始直後の画像と所定時間経過後の画像を比較することにより簡単な構成で赤目発生の検出が可能になる。
なお、実施例の説明に於いては、赤目検出及び赤目緩和を行う投光は、投光装置49はLED或いはランプであるが、フラッシュ48による所定時間間隔での発光により行うことも可能なことは言うまでも無い。また、投光装置49がLED或いはランプであっても、連続点灯による投光に限るものでは無く、間欠点灯でも良い。また間欠点灯により赤目検出を行う際の画像の取り込みは、前記フラッシュの発光のタイミング或いは、投光装置49の点灯タイミングに合わせれば良い。
また、赤目の量を判定する、第1の所定量、第2の所定量は、実施例中に第1の所定量は虹彩の1/2程度或いは、4mm程度、第2の所定量を虹彩の1/4程度或いは、2mm程度としたが、この判定レベルは、固定的な量でなく焦点距離或いは、被写体までの距離(測距距離)に応じて変更しても良い。
また、赤目の緩和状態に応じて、赤目緩和効果が充分得られるように、投光装置の投光光の明るさを、明るく変化させても良い。
また、所定時間を0.2秒程度、即ち画像の取り込みを0.2秒間隔としたが、この所定時間は0.2秒に限るものではなく、例えば発光可能なストロボの発光間隔や、画像信号の処理速度に応じて任意に設定すればよい。
また、所定時間0.2秒として、所定回数10回で、投光時間を2秒程度となるが、投光を行う光源の強度により赤目緩和効果も変化する。よってこの時間(所定回数)も2秒程度と限るものではない。
以上の説明から容易に理解できるように、撮像素子と前記撮像素子の画像信号を記憶する記憶手段と、光を投光する投光手段と、前記投光手段によって発生する赤目量を前記画像信号をもとに検出する赤目量検出手段を有し前記、赤目量検出手段の赤目量が所定量以上ではレリーズを禁止し、所定量以下であったらレリーズを許可するようにしたことにより、赤目緩和効果が十分に得られた撮影を可能とする電子スチルカメラ提供することができる。
また、撮像手段と、前記撮像素子からの画像信号を記憶する記憶手段と前記記憶されている画像信号を表示する表示手段と、光を投光する投光手段と、前記投光手段によって発生する赤目の位置を検出する赤目位置検出手段と、前記赤目位置検出手段の検出位置の所定領域の画像信号を拡大表示するようにしたことにより、赤目緩和効果を確認を行いながらの撮影を可能とする電子スチルカメラ提供することができる。
また、赤目量がレリーズを許可する所定量以下で、第2の所定量以上の場合撮影された画像対して赤目補正を行うことにより、自然な赤目補正効果が得られる。
また、連続点灯或いは、所定時間間隔発光する光源で行うことにより、直流点灯光源及びストロボの閃光光源光源で構成できる。
また、投光手段が所定間隔で発光時、発光毎に画像取り込みを行うようにしたことにより、ストロボ閃光による間欠点灯で赤目検出を可能にした。
また、投光手段を、撮影レンズ光軸からストロボ発光部の距離に対して同一距離或いは、短い距離に配置することにより、赤目の発生状態をストロボ発光時の発生状態より確実に発生させることができ、赤目検出確立が向上する。
また、赤目量に応じて投光手段の明るさを経時的に変化させるようにしたことにより、効果的な赤目緩和効果が得られる。