JP2000013680A

JP2000013680A - 赤目防止方法および画像処理装置

Info

Publication number: JP2000013680A
Application number: JP10188233A
Authority: JP
Inventors: Haruo Ono; 晴夫小野; Atsushi Shibuya; 敦渋谷
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1998-06-18
Filing date: 1998-06-18
Publication date: 2000-01-14
Anticipated expiration: 2018-06-18
Also published as: JP4045652B2

Abstract

(57)【要約】【課題】ストロボ撮影の結果に赤目が生ている場合に
それを修正して赤目画像の撮影を防止する赤目防止方法
および画像処理装置の提供。【解決手段】被写体１をストロボ撮影した直後、撮影
結果を記録する前に画像２を表示し、使用者による確認
を行ない、赤目３，３’が生じていた場合にはその部分
４を使用者が指定すると、色、位置および大きさ等によ
り赤目３，３’を自動認識して黒目５，５’に修正し、
記録する。また、記録画像を再生した場合に赤目がある
ことを発見した場合にも、赤目部分を使用者が指定する
ことにより、色、位置および大きさ等により赤目３，
３’を自動認識して黒目５，５’に修正して記録するこ
とができる。また、赤目の指定後、認識時に赤目部分を
拡大して認識しやすいようにしてもよい。また、被写体
の目の色が黒色でない場合や目の色を実際の色に近づけ
たい場合には、赤目指定時に修正後の目の色を指定でき
るようにしてもよい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタルカメラ等の
画像処理装置に関し、特にストロボ撮影された画像に生
じることのある赤目の記録防止技術に関する。

【０００２】

【従来の技術】デジタルカメラ等でストロボ撮影を行な
った場合に、人や動物の瞳孔部分が赤く撮影される赤目
現象が生じる場合がある。従来の赤目防止技術として、
ストロボ本発光の前に、ストロボを予備発光（プリ発
光）可能に構成しプリ発光によって瞳孔を狭くさせて赤
目の発生を起こりにくくする方法がある。

【０００３】

【発明が解決しようとする課題】しかし上記プリ発光で
赤目現象の発生を抑制する方法は、プリ発光可能にスト
ロボ発光部を構成する必要があるので、ストロボ発光部
が機構的に大型化するという問題点があった。また、ス
トロボ撮影の都度プリ発光を行なう必要上、消費電力が
増加し電池寿命を縮めるといった問題点もあった。ま
た、更に、プリ発光を行なっても赤目が生じる場合があ
るという不具合があった。

【０００４】本発明は上記問題点や不具合等に鑑みてな
されたものであり、ストロボ撮影の結果に赤目が生てい
る場合にそれを修正して赤目画像の撮影を防止する赤目
防止方法および画像処理装置の提供を目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明の赤目防止方法は、画像中に含まれる
所定の色を検知することにより赤目部分を認識する工程
と、前記工程で赤目と認識された部分を所定の色に修正
する工程と、を有することを特徴とする。

【０００６】第２の発明の画像処理装置は、画像を処理
する画像処理装置において、画像中に含まれる所定の色
を検知することにより赤目部分を認識する赤目認識手段
と、前記認識された赤目部分を所定の色に修正する赤目
修正手段と、を有することを特徴とする。

【０００７】第３の発明の画像処理装置は、第２の発明
において、画像中の赤目を含む部分を指定して赤目認識
領域を特定する赤目認識領域特定手段を有することを特
徴とする。

【０００８】第４の発明の画像処理装置は、第２又は第
３の発明において、赤目認識手段は、更に、大きさおよ
び又は位置を検知することにより赤目部分を認識するこ
とを特徴とする。

【０００９】第５の発明は、上記第４の発明の画像処理
装置において、赤目認識手段は、更に、撮像時に得た被
写体までの距離に応じて赤目と認識する大きさおよび又
は位置を変更することを特徴とする。

【００１０】

【発明の実施の形態】＜赤目防止方法＞図１は本発明の
赤目防止方法の説明図であり、（ａ）は被写体（人
物）、（ｂ）はストロボ撮影の結果、赤目が生じた画
像、（ｃ）は画像上の赤目領域（赤目認識対象領域）、
（ｄ）は修正結果、（ｅ）は赤目が修正された画像を示
す。被写体１をストロボ撮影した直後、撮影結果を記録
する前に画像２を表示し、使用者による確認を行ない、
赤目３，３’が生じていた場合にはその部分４を使用者
が指定すると、色、位置および大きさ等により赤目３，
３’を自動認識して黒目５，５’に修正し、赤目３，
３’を修正した画像を得て、記録する。また、記録画像
を再生して表示した場合に赤目があることを発見したと
きにも、赤目部分を使用者が指定することにより、赤目
の位置および大きさを自動認識して黒目に修正して記録
することができる。また、赤目の指定後、認識時に赤目
部分を拡大して認識しやすいようにしてもよい。また、
被写体の目の色が黒色でない場合や目の色を実際の色に
近づけたい場合には、赤目指定時に修正後の目の色を指
定できるようにしてもよい。

【００１１】なお、実施例のフローチャート（図６）で
はＲＥＣモードで赤目防止ボタン３６を押して赤目防止
モードに設定した場合にシャッターを押すとストロボ撮
影が行なわれ撮影結果を表示するようにし、再生モード
では赤目を発見した場合に赤目防止ボタン３６を押すと
赤目部分をチェック可能としたが、これに限定されな
い。

【００１２】＜回路構成例＞図２は、本発明を適用した
画像処理装置の一実施例としてのデジタルカメラ（電子
スチルカメラ）の回路構成例を示すブロック図であり、
デジタルカメラ１００は、ストロボ発光部１０、光学系
１１、信号変換部１２、信号処理部１３、ＤＲＡＭ１
４、ＯＳＤ用ＲＯＭ１５、制御部２０、操作部３０、表
示部４０、記録部５０および電源９０を有している。

【００１３】ストロボ発光部１０は、制御部２０からの
発光制御信号を受取ると極めて短い時間内に所定光量を
放出（発光）して被写体周辺の光量を補う。光学系１１
は、撮像レンズ１１１と自動絞り機構１１２およびオー
トフォーカス機構１１３等を含み、撮像レンズ１１１を
介して集光された被写体像の光束を後段のＣＣＤ上に結
像させる。

【００１４】信号変換部１２は、ＣＣＤ，ＣＣＤ駆動用
タイミング信号生成回路，ＣＣＤ駆動用垂直ドライバ，
自動利得制御回路およびＡ／Ｄ変換器を含み、前段の光
学系１１を介してＣＣＤに結像した画像を電気信号に変
換し、デジタルデータ（以下、画像データ）に変換して
一定の周期で出力する。

【００１５】信号処理部１３は、カラープロセス回路お
よびＤＭＡコントローラを有し、信号変換部１２からの
出力をカラープロセス処理して、デジタルの輝度、色差
マルチプレクス信号（ＹＵＶデータ）とし、ＹＵＶデー
タをＤＲＡＭ１４の指定領域にＤＭＡ転送し、展開す
る。また、信号処理部１３は記録保存の際にＤＲＡＭ１
４に書込まれているＹＵＶデータを読み出してＪＰＥＧ
圧縮処理を施す。また、記録部５０を介して取り込まれ
た記録媒体（メモリーカード）５１に保存記録されてい
た画像データに伸張処理を施してＹＵＶデータを再生す
る。

【００１６】ＯＳＤ用ＲＯＭ１５は画面に表示して各種
処理用の指定等に用いるアイコンを格納する。

【００１７】制御部２０は、ＣＰＵ，プログラム格納用
ＲＯＭおよびタイマ（時計）を有しており、上述の各回
路および図示しない電源切換えスイッチ等にバスライン
を介して接続し、プログラム格納用ＲＯＭに格納されて
いる制御プログラムによりデジタルカメラ１００全体の
制御を行なうと共に、操作部３０からの状態信号に対応
してデジタルカメラの各機能の実行制御、例えば、プロ
グラム格納用ＲＯＭに格納された各処理手段の実行によ
る各機能の実現のための実行制御を行なう。

【００１８】操作部３０は、処理モード切換えスイッ
チ、機能選択用ボタン（複数個）、メインスイッチ、赤
目防止モード設定ボタン３６、シャッターボタン３７、
およびＲＥＣ／再生モード切換えスイッチ等のスイッチ
やボタンを構成部分とし、これらのスイッチ或いはボタ
ンが操作されると状態信号が制御部２０に送出される。

【００１９】表示部４０は液晶ディスプレイ装置等の表
示装置から構成されており、ＲＥＣモードには被写体画
像（スルー画像）が表示され、再生モード時には再生画
像を表示できる。なお、表示部４０の画面上に感圧素子
等を配列した透明な板からなるタッチパネルを設けて、
指や入力ペン等で図形入力や範囲の指定或いはアイコン
等の指定が可能なように構成してもよい。

【００２０】記録部５０はメモリーカード５１を収容し
ＣＰＵの制御によりメモリーカード５１上に信号処理部
１３からの画像データを記録する。また、メモリーカー
ド５１に代えてフラッシュメモリや固定ディスク等の等
の書換え可能（リムーバブル）な記録媒体を用いること
もできる。

【００２１】＜赤目防止手段＞図３は、赤目防止手段２
１０の構成例を示すブロック図であり、赤目防止手段２
１０はプログラムで構成され、プログラム格納用ＲＯＭ
に格納されており、ＣＰＵの制御により順次実行され
る。

【００２２】図３で、赤目防止手段２１０は、赤目領域
切出し手段２１１，赤目領域表示手段２１２，赤目認識
手段２１３，赤目修正手段２１４および画像合成手段２
１５を有している。

【００２３】赤目領域切出し手段２１１は、ストロボ撮
影した画像を記録するとき或いは画像を再生したときに
表示部４０に表示される画像に赤目がある場合に、使用
者が指定した赤目領域を切出してＤＲＡＭ１４の作業領
域に一時記憶する。赤目領域の指定方法は使用者がカー
ソル移動ボタンを操作して赤目を指定したり赤目を含む
範囲を指定する。また、画面上に入力用タッチパネルを
設けた場合には指や入力ペンで赤目部分の指定や赤目を
含む範囲の指定を行なうことができる。

【００２４】図４は指定された赤目部分と切出される領
域の関係を示す説明図であり、（ａ）は赤目３，３’を
ピンポイント（点指定）した場合を示し、（ｂ）は点指
定によって画像から切出される赤目領域８を示す。ま
た、（ａ）’は赤目３，３’を含む部分（ゾーン）９を
指定した場合を示し、（ｂ）’はゾーン指定によって画
像から切出される赤目領域８’を示す（図４では説明
上、赤目の部分のみを示したが、実際には切出される領
域には鼻稜の一部や睫、眉、場合によっては眼鏡等の像
や皺が含まれる）。

【００２５】点指定は赤目をそれぞれ入力ペン等のポイ
ンティングデバイスでポイントする方法であり、本実施
例では切出される領域の大きさは２つの赤目の間の距離
ｒを基に算出している（図の例では、高さ＝ｒ／２、幅
＝ｒ／３＋ｒ＋ｒ／３＝５ｒ／３として計算）が、これ
に限定されない。ゾーン指定は、カーソル或いは入力ペ
ンや指で赤目を囲うようにしてその部分を指定する方法
であり、この場合は赤目が１個の場合でも指定すること
ができる。なお、本実施例では切出される赤目領域の大
きさを指定したゾーンの最大高さｈと最大幅ｗで決定し
ているがこれに限定されない。

【００２６】赤目領域表示手段２１２は、切り出された
赤目領域８（８’）を認識しやすいように拡大して表示
部４０に表示する。この場合、また、人種や個人によっ
て異なる瞳の色に近づけるために、赤目領域指定の後に
赤目修正後の瞳の色を指定できるよう赤目領域表示手段
２１２を構成してもよい。

【００２７】赤目認識手段２１３は、切出された赤目領
域８（８’）に認識処理を施し、色、位置（右目と左目
間の距離等）および大きさ等により赤目を認識する。即
ち、赤目の認識は色、大きさ、位置が所定の条件と一致
した場合に、赤目と認識するのであって、まず赤目領域
内での赤画素（Ｒ）の分布を抽出する。この場合、図５
のような分布を得て、顔の赤みや、暖色を構成する赤画
素等を赤目部分のものと誤認識しないように分布値があ
る一定値α（閾値）未満の赤画素分布を切捨てた上で、
赤画素の密集したグループを赤目部分を特定している
が、赤目を認識できる方法であればよく、この方法に限
定されない。

【００２８】図５は赤目領域内での赤画素の分布例（赤
画素値＞α（αは閾値））を示す図であり、（ａ）は赤
目が２つの場合（＝通常は１人物）の赤画素の分布例、
（ｂ）は赤目が１つの場合（被写体が横や斜方向を向い
ていた場合（ゾーン指定による））の赤画素の分布例で
ある。図５で、記号Ｉｗ，Ｉｗ’は左右の赤目の幅（サ
イズ）である。図５ではｘ方向の分布のみを示したが、
ｙ方向の分布を得ることにより赤目の形状を知ることが
できる。

【００２９】なお、幅Ｉｗ，Ｉｗ’は左右の赤目３，
３’の距離ｒとの比で表わすことができるが、距離ｒお
よび幅Ｉｗ，Ｉｗ’は相対距離であり画像の上で表現す
べき実際の大きさを意味しないので、赤目認識手段２１
３は被写体１との距離Ｒを基に画面上で表わす距離およ
び幅を求める（同じ倍率の場合、画角内では、同じ大き
さの被写体が遠くにあれば、目（瞳）の大きさは小さく
（左目と右目間の距離は狭く）、近くにあれば大きくな
る（幅は広くなる）。

【００３０】また、被写体１との距離Ｒはオートフォー
カス機構１１３に制御部２０から与えられる制御信号
（レンズ移動距離信号）を基に、合焦時の距離を得て、
算出することができる。

【００３１】また、図５のような赤目の分布を求めて幅
Ｉｗ，Ｉｗ’等を求める代りに、被写体１との距離と瞳
の大きさを対応づけたデータか関係式（Ｉｗ＝ｆ（Ｒ）
＋ｃ（ｃは定数）をメモリーカード５１またはＲＯＭに
登録しておくか、或いは赤目認識手段２１３に定数（ま
たは式）として組込んでおいて、オートフォーカス機構
或いは手動設定により距離が決定されたときに瞳の大き
さを算出するようにしてもよい。

【００３２】赤目修正手段２１４は、赤目認識手段２１
３により認識され切出された赤目領域８（８’）の赤目
を所定の色（本実施例では黒色）に変換する。赤目の変
換後の色は、例えば、黒色のみとしてもよいが、赤目領
域表示手段２１２を赤目領域指定時に赤目修正後の瞳の
色を指定できるように構成した場合には、赤目を指定さ
れた色に変換するように赤目修正手段２１４を構成する
こともできる。

【００３３】画像合成手段２１５は、元の画像に修正後
の瞳領域部分（旧赤目領域部分８，８’）を貼込み合成
（修正された瞳領域部分で’でＤＲＡＭ１４の画像バッ
ファ上にある元の画像の赤目領域部分８，８’を書換
え）して、元の画像２（図１（ｂ））の赤目を修正した
画像を得る（図１（ｅ））。

【００３４】なお、上記実施例では、赤目防止手段２１
０は赤目認識精度を高めるために赤目領域切出し手段２
１１によって画像の顔の部分の一部（赤目を含むゾー
ン）を切出し、そのゾーン内で赤目を自動認識したが、
画像全体から赤目部分を自動認識するように構成するこ
ともできる。この場合には、赤目防止手段２１０には赤
目領域切出し手段２１１を備えず、被写体全体を認識対
象として赤目部分を特定し、使用者による確認後、赤目
修正手段２１４に遷移するようにする。

【００３５】図６は、ストロボ撮影時または画像再生時
の赤目デジタルカメラの赤目防止動作例を示すフローチ
ャートである。図６で、赤目防止モード設定ボタン３６
が操作されると赤目防止モードになり、ストロボ撮影さ
れた画像を記録するとき、または画像再生したときに赤
目防止処理を行なうことができる（Ｓ０）。再生モード
の場合にはＳ４に遷移し（Ｓ１）、そうでない場合（ス
トロボ撮影モード）の場合には使用者によるシャッター
ボタン３７の押し下げを待つ（Ｓ２）。上記ステップＳ
２でシャッターボタン３７が押されるとストロボ撮影が
行なわれ（Ｓ３）、取込まれた画像が表示部４０に表示
される（Ｓ４）。使用者が表示部４０の画面上に表示さ
れたストロボ撮影画像（または再生画像）を見て切出し
用アイコン（図示せず）をポイントすると生じた赤目を
修正するものとしてＳ６に遷移し、赤目が生じていない
か、生じていても処理を後回しにしようとする場合には
画面に表示される確認用（記録ＯＫ）アイコン（図示せ
ず）をポイントするとＳ１４に遷移する（Ｓ５）。上記
Ｓ５で切出し用アイコン（図示せず）をポイントした
後、画面に指または入力ペンでタッチして赤目を直接ポ
イントするか、赤目部分を囲うように線を描くと赤目領
域の切出しが行なわれ（Ｓ６）、表示部４０に赤目領域
が拡大表示される（Ｓ７）。使用者が拡大表示された赤
目領域８（８’）を見て画面上の確認アイコン（図示せ
ず）をポイントするとＳ９に遷移し、やり直し確認アイ
コン（図示せず）をポイントするとＳ４に戻って再度画
像（ストロボ撮影画像または再生画像）を表示する（Ｓ
８）。赤目領域８（８’）の色、位置および大きさ（相
対値）から赤目を認識すると共に、オートフォーカス機
構から得た合焦時のレンズ移動距離をもとにした被写体
との距離から画像上での赤目の大きさを算出する（Ｓ
９）。赤目認識処理Ｓ９は、例えば、ステップＳ９１〜
Ｓ９３から成る。Ｓ９１では領域８（８）’に赤い部分
が含まれているかを判定し、含まれていればＳ９２に至
る。被写体との距離に応じて赤目と認識する大きさは変
更されるので、Ｓ９２では赤い部分の大きさが一致した
かを判定し、一致すると、Ｓ９３に至る。Ｓ９３では大
きさが一致した赤い部分が２つあり、その間の距離が一
致したかを判定し、一致すると赤目と判断する。これは
被写体との距離に応じて赤目と認識する距離が変更され
るからである。

【００３６】次に、赤目を所定の色（本実施例では黒
色）に変換し、変換後の瞳領域（旧赤目領域８
（８’））を表示する（Ｓ１０）。使用者が変換後の瞳
領域を見て修正結果で良いとして画面に表示された確認
アイコンをポイントするとＳ１２に遷移し、修正結果が
不自然であったり位置がずれているとしてやり直しアイ
コンを指定するとＳ４に戻る（Ｓ１１）。

【００３７】次に、変換後の瞳領域（＝旧赤目領域８
（８’））を元の画像１の赤目領域８（８’）に貼込み
合成し（Ｓ１２）、その結果を表示して使用者による確
認アイコンのポイントがあった場合にはＳ１４に遷移
し、やり直しアイコンがポイントされた場合にはＳ４に
戻る（Ｓ１３）。上記ステップＳ５で赤目が生じていな
いか、生じていても処理を後回しにしようとする場合
か、上記ステップＳ１３で修正結果がＯＫの場合には画
像を記録する（Ｓ１４）。

【００３８】上記説明では、画像や赤目処理の確認とし
て画面に画像と共に確認用アイコンややり直し用アイコ
ンを表示し、それらアイコンがポイント（指定）される
と対応のステップに分岐する例について説明したが、カ
ーソル移動による指定でもよく、また、操作部３０の機
能ボタンの操作によってもよく、また、操作部３０にキ
ーボードを設けた場合にはキーボードから指定するよう
にしてもよい。

【００３９】なお、上記実施の形態では、ユーザーが画
像を見て赤目修正を行なうか否かを判断するようにした
が、自動的に撮影画像中に赤目が含まれているかを判断
し、修正するようにしてもよい。

【００４０】以上本発明の一実施例について説明した
が、本発明は上記実施例に限定されるものではなく、種
々の変形実施が可能であることはいうまでもない。

【００４１】

【発明の効果】第１の発明の赤目防止方法および第２の
発明の画像処理装置によれば、記録時の画像または再生
画像に赤目があるか否かを、画像１枚で調べて赤目のあ
る場合にその部分を所定の色に修正できる。従って、従
来のようにプレ発光を行なったり、ストロボ撮影なしの
撮影を行なう必要がないので、その分電池の寿命が延長
される。また、プレ発光を行なう場合に比べ赤目を確実
に修正できる。

【００４２】また、第３および第４の発明の画像処理装
置によれば、赤目または赤目を含む部分を指定して赤目
領域を特定し、特定された赤目領域での赤目の位置およ
び形状を認識するので、赤目の認識が簡単になり、ま
た、確実に赤目を認識できる。

【００４３】第５の発明の画像処理装置は、撮像時に得
た被写体までの距離に応じて赤目と認識する大きさおよ
び又は位置を変更できるので、１フレームの画像サイズ
での被写体像の遠近に伴う瞳部分の大きさを実際のみか
けに適合するので、認識率が向上する。

【図面の簡単な説明】

【図１】本発明の赤目防止方法の説明図である。

【図２】本発明を適用した画像処理装置の一実施例とし
てのデジタルカメラの回路構成例を示すブロック図であ
る。

【図３】赤目防止手段の構成例を示すブロック図であ
る。

【図４】指定された赤目部分と切出される領域の関係を
示す説明図である。

【図５】赤目領域内での赤画素の分布例を示す図であ
る。

【図６】ストロボ撮影時または画像再生時のデジタルカ
メラの赤目防止動作例を示すフローチャートである。

【符号の説明】

１被写体２画像３，３’ 赤目１００デジタルカメラ（画像処理装置）２１１赤目領域切出し手段（赤目認識領域特定手段）２１２赤目領域表示手段（赤目認識領域特定手段）２１３赤目認識手段２１４赤目修正手段２１５画像合成手段

フロントページの続きＦターム(参考） 5B057 BA24 CA01 CB01 CE17 DA07 DC04 DC25 5C022 AC00 AC69 5C023 AA06 AA37 BA01 BA11 CA02

Claims

【特許請求の範囲】

【請求項１】画像中に含まれる所定の色を検知するこ
とにより、赤目部分を認識する工程と、前記工程で赤目と認識された部分を所定の色に修正する
工程と、を有することを特徴とする赤目防止方法。
【請求項２】画像を処理する画像処理装置において、
画像中に含まれる所定の色を検知することにより、赤目
部分を認識する赤目認識手段と、前記認識された赤目部分を所定の色に修正する赤目修正
手段と、を有することを特徴とする画像処理装置。
【請求項３】画像中の赤目を含む部分を指定して赤目
認識領域を特定する赤目認識領域特定手段を有すること
を特徴とする請求項２記載の画像処理装置。
【請求項４】前記赤目認識手段は、更に、大きさおよ
び又は位置を検知することにより、赤目部分を認識する
ことを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】前記赤目認識手段は、更に、撮像時に得
た被写体までの距離に応じて赤目と認識する大きさおよ
び又は位置を変更することを特徴とする請求項４記載の
画像処理装置。