JP2006166359A - 赤目補正方法 - Google Patents

赤目補正方法 Download PDF

Info

Publication number
JP2006166359A
JP2006166359A JP2004358561A JP2004358561A JP2006166359A JP 2006166359 A JP2006166359 A JP 2006166359A JP 2004358561 A JP2004358561 A JP 2004358561A JP 2004358561 A JP2004358561 A JP 2004358561A JP 2006166359 A JP2006166359 A JP 2006166359A
Authority
JP
Japan
Prior art keywords
red
eye
eye correction
correction method
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004358561A
Other languages
English (en)
Inventor
Koichi Washisu
晃一 鷲巣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004358561A priority Critical patent/JP2006166359A/ja
Publication of JP2006166359A publication Critical patent/JP2006166359A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】 眼球情報を正確に求める。赤目抽出の精度アップ、高速化(負荷軽減)を実現する赤目補正方法を提供することを目的とする。
【解決手段】 ストロボプリ発光や赤目緩和ランプが照射されているときに眼球情報を取得し補正に利用する。ストロボ条件の異なる2枚の輝度から人物領域を抜き出し、その領域の色相/パターン認識より赤目抽出し、連写画像から赤目抽出、赤目補正を行う時に、連写間の手ぶれを補正することで赤目抽出精度アップし、撮影に先立って赤目補正できるかを判定して表示し、ストロボ条件の異なる2画像の赤目部分を所定の比率で混合して赤目補正し、連写画像から赤目抽出、補正するときにストロボの届かない領域は2画像を合成して露出補完する。
【選択図】 図1

Description

本発明は電子カメラに関し、より詳細には赤目現象のようなストロボ光に起因する異常な反射光の画像の発生個所を補正した画像が得ることが出来る様にした電子カメラに関し、赤目補正方法に関するものである。
ストロボを使用する写真撮影において、被写体にむけて照明光を直接照射する場合は、被写体の目が赤く写るいわゆる赤目現象が発生することがある。
この赤目現象は瞳の絞りが大きくなっているときに生じ易い傾向があり、銀塩カメラにおいては赤目現象を緩和する方法としては撮影に先立って被写体人物に照明を照射して瞳の絞りを小さくする方法がとられていた。
更にプリントされた写真に対してペンなどで赤目部分をレタッチして目立たなくする手法がとられていた。
デジタルカメラにおいては上記方法とは別に撮影画像をカメラ内で信号処理して赤目を目立たせなくする提案が行われており、そのポイントは以下の2点である。
1.どうやって赤目領域を抽出するか。
2.どうやって補正を行うか。
赤目領域の抽出に関しては例えば先行技術において特許文献1に記載されているようにパターン認識を行い、その結果から被写体の目の位置を特定している。
別の方法としては特許文献2に記載されているようにストロボ発光有無の両画像の比較から赤目領域を検出する方法が提案されている。
一方、補正の方法としては簡単には赤目領域を黒く塗ってしまう方法や特許文献3にあるように瞳の特性に応じて補正する瞳の色を求める方法、そして特許文献4にあるように参照写真の瞳をはめ込む方法が提案されている。
特許第3078166号公報 特開平4−192681号公報 特開平10−341352号公報 特開2002−288681号公報
上述した赤目領域の抽出や補正に関する問題点を以下に説明する。
1.赤目領域の抽出
パターン認識を行う場合にはデジタルカメラに画像データの高速処理が可能な信号処理手段が必要であり、カメラが大型化してしまう。
ストロボ発光有無の連続撮影した両画像の比較から赤目領域を検出する方法では信号処理の負荷は小さく出来るメリットはあるが、毎回連続撮影を行う為に電池の消耗が大きくなる。
2.赤目の補正
赤目領域を黒く塗ってしまう方法では実際の瞳の色との違いに違和感が生ずる。
瞳の特性に応じて補正する瞳の色を求める方法においては、赤目状態から実際の瞳の色彩を正確に求めることが難しく、誤った補正をしてしまう可能性がある。
参照写真の瞳をはめ込む方法では参照写真の目の状態により撮影時の画像とのバランスが悪くなる問題がある。
以上の様に赤目領域の抽出やその補正に関してどの方法においても問題があった。
そこで本発明では簡単な方法で、且つ精度の高い赤目領域抽出及び補正を行う赤目補正方法を提供することを目的としている。
本発明においてはカメラの撮影時にしばしば行われている被写体特性取得の為や赤目現象緩和の為のプリ照明を赤目情報抽出に利用できることに着目しており、
適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像に基づいて赤目修正を行う構成である。
補助光の条件としては、
光学装置は本撮影に先立って低照度の補助光を被写体に照射する事で本撮影において適正な補助光を照射するプリ発光機能を有し、プリ発光時に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正する。
或いは光学装置は本撮影に先立って低照度の補助光を被写体に照射する事で被写体眼球の絞りを小さくする赤目緩和機能を有し、赤目緩和機能作動時に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正する。
赤目領域の抽出方法としては、
光学装置は適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像を比較して赤目補正領域を特定する赤目領域特定手段を有し、得られた赤目補正領域に対して赤目補正を行う。
赤目の補正方法としては、
光学装置は適正光量補助光下の撮影画像における赤目発生領域に適正光量以下の補助光下での撮影画像情報を差し替える事で赤目補正を行う赤目補正方法であり特に適正光量以下の補助光下での撮影画像情報を適正光量と適正光量以下の補助光の光量の比較に基づいてゲイン調整して差し替える。
或いは光学装置は適正光量以下の補助光下での撮影画像における眼球情報に基づいて赤目補正情報を演算し適正光量補助光下での撮影画像の赤目補正を行う。
更に情報量を少なくして軽快な作動を行う為に、
適正光量補助光の撮影画像より画像サイズを小さくした適正光量以下補助光での撮影における眼球情報に基づいて赤目修正を行う。
操作性に着目すると、
被写体の赤目発生領域を特定し、補正を行う赤目補正方法において、
撮影に先立って赤目発生領域を特定する構成にしている。
具体的には、
被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、赤目発生領域の特定が出来ない時には表示を行う。
更なる情報付加として、
被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、特定した赤目発生領域を表示する。
赤目領域の特定方法としては上記構成において、
被写体を捕らえている撮影準備状態における照明状態が異なる複数画像情報に基づいて被写体の赤目発生領域を特定する。
カメラの使い勝手に着目して、
撮影被写体までの距離と被写界の明るさの組み合わせ条件に応じて赤目発生を判定し、赤目発生が予想される場合には複数枚の画像を取り込んで得られた画像に基づいて赤目補正を行う構成にしている。
詳細には、
撮影被写体までの距離が所定より遠く、且つ被写界が所定より暗い時に赤目発生を予想する。
画像保存量をふやすためには
本撮影画像と比較撮影画像を記憶し、記憶した両画像の比較より赤目補正を行う赤目補正方法において、赤目補正後は記憶されている比較画像情報を破棄する構成にしている。
赤目補正以外の露出補完も出来ることに着目して、
複数枚の撮影を実行し、比較することで赤目補正を行うと共に撮影された複数枚の画像を合成することで露出を補完する構成にしている。
更に手ぶれを考慮して、
複数枚の画像を合成するときには各画像における同一特徴点が揃う様に座標変換した後に合成する。
手ブレによる赤目検出精度の劣化を補う為に、
撮影条件の異なる2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、ブレによる2枚の画像の構図ズレ情報と2枚の画像の色相情報に基づいて赤目領域の特定を行い赤目修正を行う構成にしている。
赤目領域検出を早く行う為に、
補助光条件の様に撮影条件の異なる2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、2枚の画像を輝度信号で比較する第1の判定手段により主要被写体人物等の赤目発生予想領域を特定し、特定された赤目発生予想領域内において2枚の画像を色相信号で比較するか、或いは2枚の画像のいずれかをパターン認識する第2の判定手段により赤目領域を求めて赤目修正を行う構成にしている。
赤目補正を自然に行う為に、
撮影条件の異なる2枚の画像を連続して取得し、2枚の画像における赤目領域の情報を所定の比率で混合することでいずれか1枚の赤目領域にける赤目修正を行う構成にしている。
以上の方法により赤目領域の検出精度及び赤目補正精度を高くすることが出来るばかりではなく、カメラの操作性も向上し、手ブレも少なくすることができる。
本発明においてはカメラの撮影時にしばしば行われている被写体特性取得の為や赤目現象緩和の為のプリ照明を赤目情報抽出に利用できることに着目しており、適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像に基づいて赤目修正を行う構成である。
補助光の条件としては、
光学装置は本撮影に先立って低照度の補助光を被写体に照射する事で本撮影において適正な補助光を照射するプリ発光機能を有し、プリ発光時に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正する。
或いは光学装置は本撮影に先立って低照度の補助光を被写体に照射する事で被写体眼球の絞りを小さくする赤目緩和機能を有し、赤目緩和機能作動時に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正する。
赤目領域の抽出方法としては、
光学装置は適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像を比較して赤目補正領域を特定する赤目領域特定手段を有し、得られた赤目補正領域に対して赤目補正を行う。
赤目の補正方法としては、
光学装置は適正光量補助光下の撮影画像における赤目発生領域に適正光量以下の補助光下での撮影画像情報を差し替える事で赤目補正を行う赤目補正方法であり特に適正光量以下の補助光下での撮影画像情報を適正光量と適正光量以下の補助光の光量の比較に基づいてゲイン調整して差し替える。
或いは光学装置は適正光量以下の補助光下での撮影画像における眼球情報に基づいて赤目補正情報を演算し適正光量補助光下での撮影画像の赤目補正を行う。
更に情報量を少なくして軽快な作動を行う為に、
適正光量補助光の撮影画像より画像サイズを小さくした適正光量以下補助光での撮影における眼球情報に基づいて赤目修正を行う。
操作性に着目すると、
被写体の赤目発生領域を特定し、補正を行う赤目補正方法において、
撮影に先立って赤目発生領域を特定する構成にしている。
具体的には、
被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、赤目発生領域の特定が出来ない時には表示を行う。
更なる情報付加として、
被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、特定した赤目発生領域を表示する。
赤目領域の特定方法としては上記構成において、
被写体を捕らえている撮影準備状態における照明状態が異なる複数画像情報に基づいて被写体の赤目発生領域を特定する。
カメラの使い勝手に着目して、
撮影被写体までの距離と被写界の明るさの組み合わせ条件に応じて赤目発生を判定し、赤目発生が予想される場合には複数枚の画像を取り込んで得られた画像に基づいて赤目補正を行う構成にしている。
詳細には、
撮影被写体までの距離が所定より遠く、且つ被写界が所定より暗い時に赤目発生を予想する。
画像保存量をふやすためには、
本撮影画像と比較撮影画像を記憶し、記憶した両画像の比較より赤目補正を行う赤目補正方法において、赤目補正後は記憶されている比較画像情報を破棄する構成にしている。
赤目補正以外の露出補完も出来ることに着目して、
複数枚の撮影を実行し、比較することで赤目補正を行うと共に撮影された複数枚の画像を合成することで露出を補完する構成にしている。
更に手ぶれを考慮して、
複数枚の画像を合成するときには各画像における同一特徴点が揃う様に座標変換した後に合成する。
手ブレによる赤目検出精度の劣化を補う為に、
撮影条件の異なる2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、ブレによる2枚の画像の構図ズレ情報と2枚の画像の色相情報に基づいて赤目領域の特定を行い赤目修正を行う構成にしている。
赤目領域検出を早く行う為に、
補助光条件の様に撮影条件の異なる2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、2枚の画像を輝度信号で比較する第1の判定手段により主要被写体人物等の赤目発生予想領域を特定し、特定された赤目発生予想領域内において2枚の画像を色相信号で比較するか、或いは2枚の画像のいずれかをパターン認識する第2の判定手段により赤目領域を求めて赤目修正を行う構成にしている。
赤目補正を自然に行う為に、
撮影条件の異なる2枚の画像を連続して取得し、2枚の画像における赤目領域の情報を所定の比率で混合することでいずれか1枚の赤目領域にける赤目修正を行う構成にしている。
以上の方法により赤目領域の検出精度及び赤目補正精度を高くすることが出来るばかりではなく、カメラの操作性も向上し、手ブレも少なくすることができる。
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
[第1の実施例]
図1は本発明の要旨をまとめた概念図である。
第1に赤目領域の抽出を正確に、且つ早く行う為に以下の構成としている。
ストロボを弱く発光した画像とストロボを本発光した画像の相関を取ることで赤目領域を抽出する。
但しそのような動作を通常の撮影時に毎回行うと無駄が多く、撮影レスポンスを低下させてしまう。
そこで被写体距離が遠く、且つ撮影画面が暗い場合(赤目が発生する条件)のみ上記構成で赤目領域の特定を行う。
尚、ストロボを弱く発光した画像と本発光した画像を連続して取り込む為にストロボプリ発光画像は画像サイズを小さくして読み出し速度を速くしている。
2枚の画像は時間的なズレがあるので手ブレにより構図の微妙なずれがある。
そこで手ブレの情報に基づいて構図のズレを補正してから2枚の画像の相関を取るようにしている。
第2に被写体の目の情報を得て正確に赤目補正する為にストロボプリ発光時の瞳画像をストロボ本発光画像の同じ位置にはめ込み合成する。
このとき両画像取得時の手ブレによる瞳座標のズレを補正しながらはめ込むことで合成精度を高めている。
図1において画面1は本撮影に先立って取得した予備撮影画像を示している。
一般にストロボを使用する撮影の場合には撮影に先立ってストロボを弱い光量でプリ発光させて被写体の反射状況を検出し、それに基づいて本発光時のストロボ光量を決定している。
ここで画面1はプリ発光に同期して取得した予備撮影画像であり、被写体2はプリ発光により弱く照射されており、被写体2の瞳3はストロボの照射により明るく写っている。
但しストロボはプリ発光で発光量が少ないので赤目の影響は殆どない。
呼び撮影の画像サイズは撮影に先立って被写体をカメラ背面の液晶モニターに表示する為のサイズ程度であり、読み出し速度は極めて速く、本発光のレリーズタイムラグに影響しない。
画面4は本撮影画像であり画面1に続いて取得される。
本撮影ではユーザーの指定する画面サイズで撮像され、ストロボもプリ発光で求めた適正光量で発光している。
そして被写体が遠くに位置し、暗い条件での撮影の場合には被写体5の瞳6は赤目が発生している。
そしてプリ発光で求めた瞳3を矢印7の様に本撮影の画面4の瞳6にはめ込み合成することで本撮影における赤目の補正を行っている。
尚、ここで予備撮影画像は本撮影画像に比べて画像サイズが小さいため瞳の大きさが異なる。
そこで合成時に画素補完を行い予備撮影時の瞳の大きさを本撮影時の瞳の大きさにそろえている。
瞳の大きさは画面全体の中で小さい為に画素補完した画像を用いても撮影品位を低下させることは無い。
図2は、本発明の第1実施形態であるカメラ(撮影装置)の構成を示した図である。撮影レンズ8から入射した光束(撮影光)は、絞り9で光量制限された後に、シャッタ10を通り撮像手段11に結像する。撮像手段11は、MOSやCCDなどの半導体撮像素子からなり撮像駆動手段12により駆動される。
撮影レンズ8は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がAF駆動モータ13からの駆動力を受けて光軸14上を移動し、所定の合焦位置に停止することで焦点調節を行う。AF駆動モータ13は焦点駆動手段15からの駆動信号を受けることで駆動する。
また、撮影レンズ8のうち一部の光学レンズ群は、ズーム駆動モータ16からの駆動力を受けて光軸14上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ16は、ズーム駆動手段17からの駆動信号を受けることで駆動する。
絞り9は、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動手段18からの駆動力を受けることで作動して光通過口となる開口面積(絞り口径)を変化させる。シャッタ10は、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動手段19からの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像手段11に入射する光束を制御する。
また、撮影時の条件(被写体輝度等)などに応じてストロボ20は閃光駆動手段21からの駆動信号を受けて駆動(発光)する。
さらに、撮影動作を撮影者に知らせるためにスピーカー22が発音駆動手段23からの駆動信号を受けて駆動(発音)する。
撮像駆動手段12、焦点駆動手段15、ズーム駆動手段17、絞り駆動手段18、シャッタ駆動手段19、閃光駆動手段21、発音駆動手段23の駆動は、撮影制御手段24により制御されている。
撮影制御手段24には、レリーズ操作手段25、絞り操作手段26、ズーム操作手段27、閃光操作手段28からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動手段15、ズーム駆動手段17、絞り駆動手段18、シャッタ駆動手段19、閃光駆動手段21に与えて撮影条件を設定し、撮影を行うようにしている。
なお、絞り9の開口径やストロボ20の発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作手段26および閃光操作手段28は不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。
撮影制御手段24は、後述する信号処理手段29に取り込まれた画像信号に基づいて被写体輝度の測定(測光)を行い、この測光結果に基づいて絞り9の絞り口径とシャッタ10の閉じタイミング(露光時間)を定めている。また、撮影制御手段24は、焦点駆動手段15を駆動させながら、信号処理手段29の出力に基づいて撮影レンズ8の合焦位置を求めている。
撮像手段11から出力される映像信号は、A/D変換手段30によりディジタル信号に変換されて信号処理手段29に入力される。信号処理手段29は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
そして、信号処理手段29で信号処理された映像信号は画像補正手段31に入力される。
画像補正手段31では、入力された信号のガンマ補正や圧縮処理を行う。
画像補正手段31の信号は、表示手段32と記憶手段33に入力され、撮影された画像が表示手段32に表示されるとともに記憶手段33に記憶される。
記憶手段33に記憶された画像を元に赤目抽出手段34が赤目領域を抽出する。
この赤目抽出手段34の動作を説明する。
撮像手段11の信号を信号処理手段29で処理することで撮影時の明るさや主要被写体までの距離を求め(実際にはAF駆動モータ13による鏡筒の繰り出し量で主要被写体距離を求めているが、AF駆動モータ13を動かすためには信号処理手段29の被写体情報が必要)それに応じて赤目領域の検出及び赤目補正を行うか否かを判定する。
ストロボを発光させる撮影条件では本撮影の直前に撮影制御手段24は閃光駆動手段21を制御してストロボ20を弱い光量でプリ発光させる。
このときに赤目領域抽出及び補正が必要と判断されていた場合には同時にプリ発光時の予備撮影画像を記憶手段33に記憶しておく。
本撮影時の画像も記憶手段33に記憶しておき、赤目抽出手段34は両画像を比較することで赤目領域を特定している。
動き検出手段35は予備撮影画像と本撮影画像の特徴点を比較して画像間の動き(手ぶれや被写体ブレ)データを求め赤目抽出手段34に入力している。
赤目抽出手段34は記憶手段33に記憶してある予備撮影画像と本撮影画像の輝度を比較して相関の無い領域(即ちストロボ照射により明るさが異なっている領域)を被写体領域とする。
これは一般に人物はストロボが届く領域に位置する為に人物領域を荒く取り出す為に行われる。
その後、その領域の中で両画像の対応する画素同士の色相を比較する。
この様に予め全画像の中から人物領域を荒く取り出し、その領域の中でのみ赤目抽出を行わせるので赤目抽出の為の演算時間を短縮することが出来ている。
又、両画像の各画素同士の色相を比較するときに動き検出手段35の動き情報を元に両画像の構図のズレを補正している。
これにより手ブレの影響による赤目領域の抽出精度劣化,或いは抽出不能を防いでいる。
赤目補正手段36は赤目抽出手段34で抽出された赤目領域(瞳)において予備撮影時の瞳領域を切り取り、本撮影のサイズに変更する為に画素補完してから本撮影画像の瞳部と入れ替える。
前述した様に動き検出手段35により両画像間のブレが検出できているので予備撮影画像の赤目領域を本撮影画像にはめ込む時にはブレによる座標のズレを補正してはめ込むことで精度の高い画像合成が行われる。
赤目補正手段36で補正された画像は表示手段32に表示されると共に記録手段37(半導体メモリーなどの記録媒体)に記録される。
尚、図2において39は赤目緩和ランプであり、撮影者が希望したストロボ撮影時にランプを撮影人物に照射して撮影人物の瞳を絞り込んで赤目を出にくくする為にある。
38は赤目緩和ランプの駆動手段であり撮影制御手段24により制御されている。
図3は本発明の第1実施例のフローチャートであり、カメラ動作において本発明にかかわる主要部のみを書き出したフローチャートである。
このフローチャートはカメラのメインスイッチを投入したときにスタートする。
ステップ#1001ではシャッタボタンの半押し(sw1)があるまで待機する。
このフローチャートでは省略しているが実際にはこの待機期間中も撮像手段11は被写体を撮像し表示手段22に撮影画像を表示している。
又、ピント調節や明るさ調節、ホワイトバランスの調節なども行っている。
ステップ#1002ではシャッタボタンを半押しした時の撮影者の意図する構図に基づいて撮影する為のピント合わせ(AFとレンズ駆動)や測光を行う。
ステップ#1003ではその時の条件に基づいた撮像手段11による撮像結果を表示手段22表示する。
ステップ#1004ではシャッタボタンの押し切り(sw2)による撮影指示があるまでステップ#1002、#1003を循環して待機する。
撮影指示があるとステップ#1005に進む。
ステップ#1005ではステップ#1002で求めたピント合わせ情報より求めた撮影被写体距離と撮影時の明るさ情報に基づいて赤目が発生する条件か否かを判定する。
一般にデジタルカメラにおけるピント合わせは撮像手段11が取得した画像のコントラストに基づいてピントが合っているか否かの判定を繰り返して行われ、例えばレンズ8を光軸14方向に繰り出しながら画像のコントラスト情報を読み出し、最もコントラストの大きいところでレンズ8の駆動を止めて合焦点とする。
このときのレンズ8の繰り出し量に基づいて被写体の距離を掴むことが出来る。
赤目の発生する条件はカメラに対して被写体が遠く、且つ暗い場合である。
人物の瞳は暗いときほど大きくなり、その状態でストロボが照射されると著しい赤目が発生する。
逆に明るい撮影条件である場合は瞳は絞られているのでストロボが発光しても赤目は生じない。
又、主被写体である人物が遠い場合にはストロボ20の位置と瞳を結ぶ線と撮影レンズ8と瞳を結ぶ線のなす角度が狭くなる為に赤目が生じ訳すなり、人物がカメラに近いときには上記角度が大きくなり、赤目は発生しない。
そこでステップ#1005では撮影条件が赤目発生条件であるか否かを判定し、赤目が発生する条件のときにのみ以降に説明する赤目領域の抽出と赤目の補正を行うようにしており、赤目の発生しない条件において赤目抽出などの動作を行わないようにしている。
ストロボを発光する撮影条件(逆光条件を除く)であり、カメラから被写体までの距離が2.5mから10mの範囲である場合に赤目発生の条件と判定してステップ#1006に進み、そうでないときはステップ#1018に進む。
ステップ#1006ではストロボをプリ発光する。
これは本撮影時にストロボ20を適正光量で発光させるための測定であるが、ストロボプリ発光と同期して予備撮影を行い画像を取得する。
このとき取得する画像サイズは通常カメラの背面モニターに表示するときの画像程度の大きさでありデータを軽くして本撮影に直ぐに移行できる様にしている。
このときストロボ20はプリ発光の為に被写体に照射する光量は少なく、赤目が発生してもさほど目立たない。
ステップ#1007では予備撮影画像を記憶手段33に記憶する。
ステップ#1008ではストロボ20を適正光量で発光させて本撮影を行う。
本撮影は撮影者の設定する画像サイズにあわせて実行される。
ステップ#1009では本撮影画像を記憶手段33に記憶する。
ステップ#1010以降では赤目抽出の為に記憶してある予備撮影画像と本撮影画像を比較する。
尚、予備撮影と本撮影を比較する場合には互いの画像サイズが異なる為予備撮影画像を本撮影画像サイズと同じにする為の拡散補完を行う。
ステップ#1010では人物領域が特定できたか否かを判定している。
予備撮影画像と本撮影画像の明るさの差がある位置を人物領域と判定しており人物領域が特定できた場合にはステップ#1011に進み、特定できないときはステップ#1019に進む。
ステップ#1011では特定された人物領域に関してのみ赤目検出を行うように設定する。
尚、人物領域が特定できなかったときはステップ#1019で画面全部に渡って赤目検出の為の走査を各画素ごとに予備撮影と本撮影の画像を比較する為に赤目検出処理に時間がかかる。
ステップ#1012では両画像から画像の動きベクトルの大きさを判定している。
動きベクトルが手ブレの範囲内である場合には両画像の間に手ぶれによる構図ズレが生じている場合であり赤目補正時に予備画像と本画像のズレを考慮して予備画像の瞳を本画像にはめ込む様に設定する。
動きベクトルが大きい場合にはパンニングなどの激しい撮影条件や或いは被写体が大きく動いている撮影条件であり、そのような場合には赤目の検出と補正は出来ないのでステップ#1015に進む。
ステップ#1013では予備撮影画像と本撮影画像をステップ#1011で設定した人物領域における各画素やステップ#1019で設定した全画素単位で色相比較して赤目領域を判定し、赤目領域が特定できたときにはステップ#1014に進み、特定できなかったときはステップ#1015に進む。
ステップ#1014では赤目の補正を行う。
これは赤目の検出領域における予備撮影画像の瞳を切り取り本画像の同じ座標位置に貼り付ける。
尚、同じ座標位置と表現したが、実際には両画像間で動きが検出された場合には、その量と方向だけ座標変換した位置に瞳を貼り付けることで手ブレによる合成劣化を防いでいる。
又、貼り付けられる予備撮影画像の瞳はストロボ光量が足りない為に暗くなっている。
そこでストロボプリ発光の量と本発光の量基づいて貼り付ける瞳をゲインアップさせて違和感を無くしている。
ステップ#1015では赤目補正した画像を表示手段22に表示する。
ここでステップ#1012、#1013で赤目領域抽出や赤目補正が出来ないと判定された場合には本撮影時の画像を表示すると共に赤目補正が出来なかった事を表示する。
ステップ#1016では赤目補正画像と本撮影画像を記録媒体に記録する。
これは撮影者に選択可能にしておく為であり、勿論ステップ#1012、#1013で赤目領域抽出や赤目補正が出来ないと判定された場合には本撮影時の画像のみを記録する。
ステップ#1017では記憶手段33に記憶されている画像データを削除する。
以上の様に本発明においてはカメラの撮影時にしばしば行われている被写体特性取得の為のプリ照明を利用することに着目しており、
適正光量の補助光下(ストロボ20の本発光)での撮影と適正光量以下(ストロボ20のプリ発光)の補助光下での撮影の2画像に基づいて赤目修正を行う構成である。
赤目領域の抽出方法としては、
光学装置は適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像を比較して(ステップ#1010〜#1013)赤目補正領域を特定する赤目領域特定手段(赤目抽出手段34)を有し、得られた赤目補正領域に対して赤目補正(ステップ#1014)(赤目補正手段36)を行う。
赤目の補正方法としては、
適正光量補助光下の撮影画像における赤目発生領域に適正光量以下の補助光下での撮影画像情報を差し替える事(ステップ#1014)で赤目補正を行う赤目補正方法であり特に適正光量以下の補助光下での撮影画像情報を適正光量と適正光量以下の補助光の光量の比較に基づいてゲイン調整して差し替える。
更に情報量を少なくして軽快な作動を行う為に、
適正光量補助光の撮影画像より画像サイズを小さくした適正光量以下補助光での撮影における眼球情報に基づいて赤目修正を行う。
カメラの使い勝手に着目して、
撮影被写体までの距離と被写界の明るさの組み合わせ条件(ステップ#1005)に応じて赤目発生を判定し、赤目発生が予想される場合には複数枚の画像を取り込んで得られた画像に基づいて赤目補正を行う構成にしている。
詳細には、
撮影被写体までの距離が所定より遠く、且つ被写界が所定より暗いときに赤目発生を予想する。
画像保存量をふやすためには、
本撮影画像と比較撮影画像を記憶し、記憶した両画像の比較より赤目補正を行う赤目補正方法において、赤目補正後は記憶されている比較画像情報を破棄する構成にしている(ステップ#1017)。
手ブレによる赤目検出精度の劣化を補う為に、
撮影条件の異なる2枚の画像(予備撮影と本撮影)を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、ブレによる2枚の画像の構図ズレ情報(ステップ#1012)と2枚の画像の色相情報(ステップ#1013)に基づいて赤目領域の特定を行い赤目修正を行う構成にしている。
赤目領域検出を早く行う為に、
撮影条件の異なる(ストロボ20のプリ発光と本発光、ステップ#1006と#1008)2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、2枚の画像を輝度信号で比較する第1の判定手段(ステップ#1011)により赤目発生予想領域(人物などの主要被写体領域)を特定し、特定された赤目発生予想領域内において2枚の画像を色相信号で比較する第2の判定手段(ステップ#1013)により赤目領域を早期に求めて赤目修正を行う構成にしている。
以上の方法により赤目領域の検出精度及び赤目補正精度を高くすることが出来るばかりではなく、カメラの操作性も向上できた。
[第2の実施例]
図4は本発明の第2の実施例フローチャートであり、図3と異なるのは予備撮影時の照明方法(ステップ#1020)と赤目領域の判定方法(ステップ#1021)、赤目補正の方法(ステップ#1022)である。
第1の実施例ではステップ#1006でストロボ20をプリ発光させ、それと同期して撮影を行っていた。
第2の実施例ではストロボのプリ発光とは異なり赤目緩和ランプ39が被写体を照射している時の画像情報を取得し(ステップ#1020)その時の情と本撮影時の画像情報に基づいて赤目領域の抽出を行っている。
又、第1の実施例では予備撮影画像の瞳部分を本撮影画像に当てはめていたが、第2の実施例では予備撮影画像における瞳の色彩情報に基づいて本撮影における瞳の色を補正している。
詳しくは予備撮影画像および本撮影画像の各赤目領域における各画素から瞳の色相彩度を検出し、その検出情報が互いに異なっている画素において予備撮影画像の色相色彩情報で本撮影画像の赤目領域の信号を補正する。
このとき本撮影画像の情報を予備撮影画像の情報とまったく同じにするのではなく、本撮影画像の情報と予備撮影画像の画像を所定の比率(例えば1:1)で混合して補正する事で若干赤目が残るものの自然な補正が行われる。
ステップ#1020では赤目緩和ランプを被写体に向けて照射する。
このとき赤目緩和の効果をあげる為に約1秒程度ランプを点灯させているが、このときランプを消灯する直前の画像を取り込んで記憶手段33に記憶しておく。
消灯直前の画像にする理由は人物の瞳が絞り込まれ始めて赤目緩和ランプによる赤目の影響が少なくなっていることと、本撮影までの間隔を短くしたい事による。
ステップ#1021ではステップ#1010で求めた人物領域(赤目発生予想領域)内におけるストロボ本発光画像をパターン認識し、顔及び瞳領域を認識する。
ステップ#1022では予備画像における瞳情報の色相色彩情報を取得して、その情報に基づいて上述したように本撮影における赤目領域の色相色彩に予備撮影時の情報を所定の比率で混合する。
このとき予備撮影画像は赤目緩和ランプ39であり、本撮影時はストロボ20を用いている為に両者の色温度の違いが現れるが、その違いはあらかじめ分かっている為に本撮影画像の赤目補正を行う時に同時に補正される。
この様に適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像に基づいて赤目修正を行う構成であって、
本撮影に先立って低照度の補助光を被写体に照射する事で被写体眼球の絞りを小さくする赤目緩和機能(赤目緩和ランプ39、ランプ駆動手段38)を有し、赤目緩和機能作動時(ステップ#1020)に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正する。
赤目の補正方法としては、
適正光量以下の補助光下(赤目緩和ランプ39照射時)での撮影画像における眼球情報に基づいて赤目補正情報を演算し適正光量補助光下(ストロボ20発光時)での撮影画像の赤目補正を行う。
赤目領域検出を早く行う為に、
撮影条件の異なる(赤目緩和ランプ発光時、ステップ#1020とストロボ20の本発光、ステップ#1008)2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置において、2枚の画像を輝度信号で比較する第1の判定手段(ステップ#1011)により赤目発生予想領域(人物などの主要被写体領域)を特定し、特定された赤目発生予想領域内において2枚の画像のうちのいずれか(ストロボ本発光時の画像)においてパターン認識を行う第2の判定手段(ステップ#1021)により赤目領域を早期に求めて赤目修正を行う構成にしている。
赤目補正を自然に行う為に、
撮影条件の異なる(赤目緩和ランプ発光時、ステップ#1020とストロボ20の本発光、ステップ#1008)2枚の画像を連続して取得し、2枚の画像における赤目領域の情報を所定の比率で混合することでいずれか1枚の赤目領域にける赤目修正(ステップ#1022)を行う構成にしている。
以上により精度の高い赤目補正が可能になった。
[第3の実施例]
図5は本発明の第3実施例のフローチャートであり、カメラ動作において本発明にかかわる主要部のみを書き出したフローチャートである。
このフローチャートは基本的には第1、第2の実施例(図3、図4)と同じであるが赤目領域の特定が本撮影前に終了し、その結果が表示され利点が異なっている。
このフローチャートはカメラのメインスイッチを投入したときにスタートする。
ステップ#1001ではシャッタボタンの半押し(sw1)があるまで待機する。
このフローチャートでは省略しているが実際にはこの待機期間中も撮像手段11は被写体を撮像し表示手段22に撮影画像を表示している。
又、ピント調節や明るさ調節、ホワイトバランスの調節なども行っている。
ステップ#1002ではシャッタボタンを半押しした時の撮影者の意図する構図に基づいて撮影する為のピント合わせ(AFとレンズ駆動)や測光を行う。
ステップ#1003ではその時の条件に基づいた撮像手段11による撮像結果を表示手段22表示する。
ステップ#1005ではステップ#1002で求めたピント合わせ情報より求めた撮影被写体距離と撮影時の明るさ情報に基づいて赤目が発生する条件か否かを判定する。
一般にデジタルカメラにおけるピント合わせは撮像手段11が取得した画像のコントラストに基づいてピントが合っているか否かの判定を繰り返して行われ、例えばレンズ8を光軸14方向に繰り出しながら画像のコントラスト情報を読み出し、最もコントラストの大きいところでレンズ8の駆動を止めて合焦点とする。
このときのレンズ8の繰り出し量に基づいて被写体の距離を掴むことが出来る。
赤目の発生する条件はカメラに対して被写体が遠く、且つ暗い場合である。
人物の瞳は暗いときほど大きくなり、その状態でストロボが照射されると著しい赤目が発生する。
逆に明るい撮影条件である場合は瞳は絞られているのでストロボが発光しても赤目は生じない。
又、主被写体である人物が遠い場合にはストロボ20の位置と瞳を結ぶ線と撮影レンズ8と瞳を結ぶ線のなす角度が狭くなる為に赤目が生じ訳すなり、人物がカメラに近いときには上記角度が大きくなり、赤目は発生しない。
そこでステップ#1005では撮影条件が赤目発生条件であるか否かを判定し、赤目が発生する条件のときにのみ以降に説明する赤目領域の抽出と赤目の補正を行うようにしており、赤目の発生しない条件において赤目抽出などの動作を行わないようにしている。
ストロボを発光する撮影条件(逆光条件を除く)であり、カメラから被写体までの距離が2.5mから10mの範囲である場合に赤目発生の条件と判定してステップ#1006に進み、そうでないときはステップ#1030に進む。
ステップ#1023ではストロボをプリ発光し、プリ発光と同期して赤目確認撮影を行い画像を取得する。
このとき取得する画像サイズは通常カメラの背面モニターに表示するときの画像程度の大きさでありデータを軽くして本撮影に直ぐに移行できる様にしている。
ステップ#1024ではストロボプリ発光時赤目確認画像を記憶手段33に記憶する。
ステップ#1025ではストロボ20を発光させないで赤目確認撮影を行う。
このとき取得する画像サイズも通常カメラの背面モニターに表示するときの画像程度の大きさでありデータを軽くして本撮影に直ぐに移行できる様にしている。
ステップ#1026ではストロボ非発光時赤目確認画像を記憶手段33に記憶する。
ステップ#1027では撮影した赤目確認の為の2画像を元に赤目領域の抽出が可能か判定する。
この方法は2画像における輝度の比較により人物等の主要被写体領域を求め、その領域内において2画像における色相の相関を求めることが出来たときに赤目抽出可能と判定しており、赤目抽出が可能なときにはステップ#1028に進み、そうでないときはステップ#1029に進む。
ステップ#1028では表示手段に赤目抽出領域を表示する。
この表示は例えば図6の様に人物の赤目発生予想領域を赤く囲む、或いは赤く塗りつぶす事で行い、撮影者は赤目の抽出が正しく行われることを確認できる。
例えば図6においては表示手段32に表示される表示画像40にある人物41、42の瞳43,44,45,46に対して赤く塗りつぶし、且つ小面積の表示手段32でも確認できる様に瞳43、44,45,46のまわりを赤く囲んで(47,48,49,50)マーキングするとともに赤目補正可能表示51を行っている。
ステップ#1004ではシャッタボタンの押し切りsw2が行われるまでこのステップで待機し、シャッタボタンの押し切りが行われるとステップ#1006に進む。
ステップ#1006ではストロボをプリ発光する。
これは本撮影時にストロボ20を適正光量で発光させるための測定であるが、ストロボプリ発光と同期して予備撮影を行い画像を取得する。
このとき取得する画像サイズは通常カメラの背面モニターに表示するときの画像程度の大きさでありデータを軽くして本撮影に直ぐに移行できる様にしている。
このときストロボ20はプリ発光の為に被写体に照射する光量は少なく、赤目が発生してもさほど目立たない。
ステップ#1007では予備撮影画像を記憶手段33に記憶する。
ステップ#1008ではストロボ20を適正光量で発光させて本撮影を行う。
本撮影は撮影者の設定する画像サイズにあわせて実行される。
ステップ#1009では本撮影画像を記憶手段33に記憶する。
ステップ#1010以降では赤目抽出の為に記憶してある予備撮影画像と本撮影画像を比較する。
尚、予備撮影と本撮影を比較する場合には互いの画像サイズが異なる為予備撮影画像を本撮影画像サイズと同じにする為の拡散補完を行う。
ステップ#1010では人物領域が特定できたか否かを判定している。
予備撮影画像と本撮影画像の明るさの差がある位置を人物領域と判定しており人物領域が特定できた場合にはステップ#1011に進み、特定できないときはステップ#1019に進む。
ステップ#1011では特定された人物領域に関してのみ赤目検出を行うように設定する。
尚、人物領域が特定できなかったときはステップ#1019で画面全部に渡って赤目検出の為の走査を各画素ごとに予備撮影と本撮影の画像を比較する為に赤目検出処理に時間がかかる。
ステップ#1012では両画像から画像の動きベクトルの大きさを判定している。
動きベクトルが手ブレの範囲内である場合には両画像の間に手ぶれによる構図ズレが生じている場合であり赤目補正時に予備画像と本画像のズレを考慮して予備画像の瞳を本画像にはめ込む様に設定する。
動きベクトルが大きい場合にはパンニングなどの激しい撮影条件や或いは被写体が大きく動いている撮影条件であり、そのような場合には赤目の検出と補正は出来ないのでステップ#1015に進む
ステップ#1013では予備撮影画像と本撮影画像をステップ#1011で設定した人物領域における各画素やステップ#1019で設定した全画素単位で色相比較して赤目領域を判定し、赤目領域が特定できたときにはステップ#1014に進み、特定できなかったときはステップ#1015に進む。
ステップ#1014では赤目の補正を行う。
これは赤目の検出領域における予備撮影画像の瞳を切り取り本画像の同じ座標位置に貼り付ける。
尚、同じ座標位置と表現したが、実際には両画像間で動きが検出された場合には、その量と方向だけ座標変換した位置に瞳を貼り付けることで手ブレによる合成劣化を防いでいる。
又、貼り付けられる予備撮影画像の瞳はストロボ光量が足りない為に暗くなっている。
そこでストロボプリ発光の量と本発光の量基づいて貼り付ける瞳をゲインアップさせて違和感を無くしている。
ステップ#1015では赤目補正した画像を表示手段22に表示する。
ここでステップ#1012、#1013で赤目領域抽出や赤目補正が出来ないと判定された場合には本撮影時の画像を表示すると共に赤目補正が出来なかった事を表示する。
ステップ#1016では赤目補正画像と本撮影画像を記録媒体に記録する。
これは撮影者に選択可能にしておく為であり、勿論ステップ#1012、#1013で赤目領域抽出や赤目補正が出来ないと判定された場合には本撮影時の画像のみを記録する。
ステップ#1017では記憶手段33に記憶されている画像データを削除すると共にステップ#1001に戻る。
ステップ#1005で赤目撮影条件ではないと判定された場合にはステップ#1030に進む。
ステップ#1030ではシャッタボタンの押し切りsw2までこのステップで待機し、シャッタボタンの押し切りでステップ#1018に進む。
ステップ#1018では本撮影を行いステップ#1015でその結果を表示する。
又、ステップ#1027で赤目領域の抽出が出来なかった場合にはステップ#1029に進む。
ステップ#1029ではスピーカー22に赤目補正が不能である発音を行わ、又、表示手段32に赤目補正不能表示を行うとともにステップ#1030に進み赤目領域抽出を行わない撮影に移行する。
この様に撮影に先立って赤目領域の抽出可能性を判定しているので失敗撮影をしてしまう事を防ぐことが出来る。
以上の様に被写体の赤目発生領域を特定し、補正を行う赤目補正方法において、
本撮影に先立って赤目発生領域を特定する(ステップ#1023から#1027)構成にしており、具体的には被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し(ステップ#1027)、赤目発生領域の特定が出来ない時には表示を行う(ステップ#1029)。
更に被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、特定した赤目発生領域を表示する(ステップ#1028)。
赤目領域の特定方法としては上記構成において、被写体を捕らえている撮影準備状態における照明状態(ストロボプリ発光とストロボ非発光、ステップ#1023〜#1026)が異なる複数画像情報に基づいて被写体の赤目発生領域を特定する。
以上の方法によりユーザーインターフェイスに優れたカメラを提供でき、カメラの操作性も向上する。
[第4の実施例]
第1から第3の実施例においてステップ#1012で2画像のズレを検出することで手ぶれによる構図ズレを求め赤目補正位置の精度を上げている。
ここで2画像のズレが検出できると赤目ばかりではなく、背景における露出不足の領域も2画像を合成(コンポジット)が正確に出来る為に、露出補完が可能になり背景を明るくできる。
図7は第2の実施例において上記構成を加えたフローチャートを示しており、図4に比べてステップ#1031の背景画像合成とステップ#1032の拡散補完が設けられている。
ステップ#1031はステップ#1010で求められた人物領域(ストロボの光が届いている領域)以外の領域において予備撮影時の背景画像と本撮影時の背景画像を合成して露出の補完を行っている。
このときステップ#1012で求められた予備撮影と本撮影の構図のズレ(手ブレによる構図ズレ)に基づいて各画像における同一特徴点が揃う様に座標変換した後に互いの背景を合成するので背景位置を正確に合成できる。
但し2画像の間に構図のズレがあると画面の端部においては2画像いずれかの情報が欠落している領域が生ずる。
ステップ#1032はこの領域を切りすて、残った画像範囲が所定の大きさになる様に拡散補完を行う。
勿論ステップ#1012で動き検出が行えない場合にはステップ#1031、#1032はスキップすることで合成により背景が不鮮明になる(互いの構図ズレが原因)事を防ぐことが出来る。
以上の様に複数枚の撮影を実行し(ステップ#1020、#1008)比較することで赤目補正を行う(ステップ#1022)と共に撮影された複数枚の画像を合成する(ステップ#1031)ことで露出を補完する構成にしている。
更に手ぶれを考慮して、複数枚の画像を合成するときには各画像における同一特徴点が揃う様に座標変換した(ステップ#1031)後に合成する。
これにより赤目の補正ばかりではなく、背景も明るい画像を得ることが出来る。
本発明の第1実施例の効果説明図 本発明の第1実施例のブロック図 本発明の第1実施例のフローチャート 本発明の第2実施例のフローチャート 本発明の第3実施例のフローチャート 本発明の第3実施例における赤目位置表示方法例を示す図 本発明の第4実施例のフローチャート
符号の説明
1 プリ発光時画像(予備撮影画像)
2 被写体
3 被写体の瞳
4 本発光画像(本撮影画像)
5 被写体
6 被写体の瞳
7 はめ込み合成方向
8 撮影レンズ
9 絞り
11 撮像素子
12 撮像駆動手段
13 AF駆動モータ
14 光軸
15 焦点駆動手段
16 ズーム駆動モータ
17 ズーム駆動手段
18 絞り駆動手段
19 シャッタ駆動手段
20 ストロボ
21 閃光駆動手段
22 スピーカー
23 発音駆動手段
24 撮影制御手段
25 レリーズ操作手段
26 絞り操作手段
27 ズーム操作手段
28 閃光操作手段
29 信号処理手段
30 A/D変換手段
31 画像補正手段
32 表示手段
33 記憶手段
34 赤目抽出手段
35 動き検出手段
36 赤目補正手段
37 記録手段
38 赤目緩和ランプ駆動手段
39 赤目緩和ランプ
40 表示画像
41 人物
42 人物
43 瞳
44 瞳
45 瞳
46 瞳
47 マーキング
48 マーキング
49 マーキング
50 マーキング
51 赤目補正可能表示

Claims (22)

  1. 適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像に基づいて赤目修正を行うことを特徴とする光学装置の赤目補正方法。
  2. 請求項1に記載の赤目補正方法において、
    前記光学装置は本撮影に先立って低照度の補助光を被写体に照射する事で本撮影において適正な補助光を照射するプリ発光機能を有し、
    プリ発光時に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正することを特徴とする赤目補正方法。
  3. 請求項1に記載の赤目補正方法において、
    前記光学装置は本撮影に先立って低照度の補助光を被写体に照射する事で被写体眼球の絞りを小さくする赤目緩和機能を有し、
    赤目緩和機能作動時に被写体の眼球情報を取得し、得られた眼球情報に基づいて本撮影時に生ずる赤目現象を補正することを特徴とする赤目補正方法。
  4. 請求項1に記載の赤目補正方法において、
    前記光学装置は適正光量の補助光下での撮影と適正光量以下の補助光下での撮影の2画像を比較して赤目補正領域を特定する赤目領域特定手段を有し、得られた赤目補正領域に対して赤目補正を行うことを特徴とする赤目補正方法。
  5. 請求項1に記載の赤目補正方法において、
    前記光学装置は前記適正光量補助光下の撮影画像における赤目発生領域に前記適正光量以下の補助光下での撮影画像情報を差し替える事で赤目補正を行うことを特徴とする赤目補正方法。
  6. 請求項5に記載の赤目補正方法において、
    前記適正光量以下の補助光下での撮影画像情報を前記適正光量と適正光量以下の補助光の光量の比較に基づいてゲイン調整することを特徴とする赤目補正方法。
  7. 請求項1に記載の赤目補正方法において、
    前記光学装置は前記適正光量以下の補助光下での撮影画像における眼球情報に基づいて赤目補正情報を演算し前記適正光量補助光下での撮影画像の赤目補正を行うことを特徴とする赤目補正方法。
  8. 請求項1に記載の赤目補正方法において、
    前記適正光量補助光の撮影画像より画像サイズを小さくした前記適正光量以下補助光での撮影における眼球情報に基づいて赤目修正を行うことを特徴とする赤目補正方法。
  9. 被写体の赤目発生領域を特定し、補正を行う赤目補正方法において、
    撮影に先立って赤目発生領域を特定することを特徴とする光学装置の赤目補正方法。
  10. 請求項9に記載の赤目補正方法において、
    被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、赤目発生領域の特定が出来ない時には表示を行うことを特徴とする赤目補正方法。
  11. 請求項9に記載の赤目補正方法において、
    被写体を捕らえている撮影準備状態における画像情報に基づいて被写体の赤目発生領域を特定し、特定した赤目発生領域を表示することを特徴とする赤目補正方法。
  12. 請求項10または11に記載の赤目補正方法において、
    被写体を捕らえている撮影準備状態における照明状態が異なる複数画像情報に基づいて被写体の赤目発生領域を特定することを特徴とする赤目補正方法。
  13. 撮影被写体までの距離と被写界の明るさの組み合わせ条件に応じて赤目発生を判定し、赤目発生が予想される場合には複数枚の画像を取り込んで得られた画像に基づいて赤目補正を行うことを特徴とする赤目補正方法。
  14. 請求項13に記載の赤目補正方法において、
    前記撮影被写体までの距離が所定より遠く、且つ被写界が所定より暗いときに赤目発生を予想することを特徴とする赤目補正方法。
  15. 本撮影画像と比較撮影画像を記憶し、記憶した両画像の比較より赤目補正を行う赤目補正方法において、赤目補正後は記憶されている比較画像情報を破棄することを特徴とする赤目補正方法。
  16. 複数枚の撮影を実行し、比較することで赤目補正を行うと共に撮影された複数枚の画像を合成することで露出を補完することを特徴とする赤目補正方法。
  17. 請求項16に記載の赤目補正方法において、
    前記複数枚の画像を合成するときには各画像における同一特徴点が揃う様に座標変換した後に合成することを特徴とする赤目補正方法。
  18. 撮影条件の異なる2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置の赤目補正方法において、
    ブレによる2枚の画像の構図ズレ情報と2枚の画像の色相情報に基づいて赤目領域の特定を行い赤目修正を行うことを特徴とする光学装置の赤目補正方法。
  19. 撮影条件の異なる2枚の画像を連続して取得し、比較することで赤目の抽出領域を特定する光学装置の赤目補正方法において、
    第1の判定手段により赤目発生予想領域を特定し、特定された赤目発生予想領域内において第2の判定手段により赤目領域を求めて赤目修正を行うことを特徴とする光学装置の赤目補正方法。
  20. 請求項19に記載の赤目補正方法において、
    補助光条件の異なる前記2枚の画像を連続して取得し、2枚の画像を輝度信号で比較する前記第1の判定手段により主要被写体領域を前記赤目発生予想領域として特定し、特定された赤目発生予想領域内において2枚の画像を色相信号で比較する前記第2の判定手段により赤目領域を求めて赤目修正を行うことを特徴とする光学装置の赤目補正方法。
  21. 補助光条件の異なる前記2枚の画像を連続して取得し、2枚の画像を輝度信号で比較する前記第1の判定手段により主要被写体領域を前記赤目発生予想領域として特定し、特定された赤目発生予想領域内において2枚の画像のいずれかをパターン認識する前記第2の判定手段により赤目領域を求めて赤目修正を行うことを特徴とする光学装置の赤目補正方法。
  22. 撮影条件の異なる2枚の画像を連続して取得し、2枚の画像における赤目領域の情報を所定の比率で混合することでいずれか1枚の赤目領域にける赤目修正を行うことを特徴とする光学装置の赤目補正方法。
JP2004358561A 2004-12-10 2004-12-10 赤目補正方法 Withdrawn JP2006166359A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004358561A JP2006166359A (ja) 2004-12-10 2004-12-10 赤目補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004358561A JP2006166359A (ja) 2004-12-10 2004-12-10 赤目補正方法

Publications (1)

Publication Number Publication Date
JP2006166359A true JP2006166359A (ja) 2006-06-22

Family

ID=36667811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004358561A Withdrawn JP2006166359A (ja) 2004-12-10 2004-12-10 赤目補正方法

Country Status (1)

Country Link
JP (1) JP2006166359A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017184A (ja) * 2007-07-04 2009-01-22 Fujifilm Corp デジタルカメラ、撮影方法及び撮影プログラム
JP2010021739A (ja) * 2008-07-09 2010-01-28 Olympus Imaging Corp 撮像装置および撮像装置における画像合成方法
JP2010511340A (ja) * 2006-12-22 2010-04-08 ノキア コーポレイション フラッシュを用いて撮影された画像のアーチファクト除去
JP2010239514A (ja) * 2009-03-31 2010-10-21 Olympus Corp 撮像システム及び画像処理方法並びにプログラム
JP2015176301A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置および画像処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511340A (ja) * 2006-12-22 2010-04-08 ノキア コーポレイション フラッシュを用いて撮影された画像のアーチファクト除去
US8442349B2 (en) 2006-12-22 2013-05-14 Nokia Corporation Removal of artifacts in flash images
JP2009017184A (ja) * 2007-07-04 2009-01-22 Fujifilm Corp デジタルカメラ、撮影方法及び撮影プログラム
JP2010021739A (ja) * 2008-07-09 2010-01-28 Olympus Imaging Corp 撮像装置および撮像装置における画像合成方法
JP2010239514A (ja) * 2009-03-31 2010-10-21 Olympus Corp 撮像システム及び画像処理方法並びにプログラム
JP2015176301A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置および画像処理方法

Similar Documents

Publication Publication Date Title
JP4136793B2 (ja) 撮像装置および撮像装置の制御方法
US7430369B2 (en) Image capture apparatus and control method therefor
US7817186B2 (en) Camera and image processing method for synthesizing plural images forming one image group to generate a synthesized image
US7944500B2 (en) Image processing system, image capturing apparatus, and system and method for detecting backlight status
US7486884B2 (en) Imaging device and imaging method
JP2011128536A (ja) 撮像装置及びその制御方法
JP2008242226A (ja) 撮影装置、及び撮影レンズの合焦制御方法
JP2007135140A (ja) 撮像装置
JP5246590B2 (ja) 撮像装置、画像生成方法及びプログラム
US8035730B2 (en) Digital camera and flash emission control method based on face detection
JP5346557B2 (ja) カメラシステム
JP4717840B2 (ja) 撮像装置およびその制御方法
JP2006166359A (ja) 赤目補正方法
JP2010026039A (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP2009200924A (ja) 撮像装置
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
JP2008197144A (ja) 撮影装置、撮影レンズの合焦制御方法及び制御装置
JP2004159211A (ja) デジタルカメラおよび画像生成方法
JP4789776B2 (ja) 撮像装置及び撮像方法
JP2008271227A (ja) 撮像装置
JP4378237B2 (ja) 撮影装置
JP5239687B2 (ja) 撮像装置
JP2004112487A (ja) 撮影条件判断装置
JP2009267791A (ja) 撮影装置
JP2006115172A (ja) 撮影装置およびプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080304