JP2005223858A - 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム - Google Patents

赤目画像補正装置、電子カメラおよび赤目画像補正プログラム Download PDF

Info

Publication number
JP2005223858A
JP2005223858A JP2004032452A JP2004032452A JP2005223858A JP 2005223858 A JP2005223858 A JP 2005223858A JP 2004032452 A JP2004032452 A JP 2004032452A JP 2004032452 A JP2004032452 A JP 2004032452A JP 2005223858 A JP2005223858 A JP 2005223858A
Authority
JP
Japan
Prior art keywords
red
image
eye
data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004032452A
Other languages
English (en)
Other versions
JP4306482B2 (ja
Inventor
Motoyuki Kuboi
基之 久保井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004032452A priority Critical patent/JP4306482B2/ja
Priority to US11/049,731 priority patent/US20050174448A1/en
Priority to CNB2005100079245A priority patent/CN100492154C/zh
Publication of JP2005223858A publication Critical patent/JP2005223858A/ja
Priority to US12/149,433 priority patent/US7812864B2/en
Application granted granted Critical
Publication of JP4306482B2 publication Critical patent/JP4306482B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】2つの撮影画像を用いることなく、短時間で赤目部分の検出および赤目補正処理を行う赤目画像補正装置を得る。
【解決手段】撮影モード時において、電子カメラは、閃光装置112を閃光発光させる撮影を行うと当該画像のデータファイルを記録媒体124へ記録する前に赤目補正処理を行う。赤目補正処理は、本画像よりデータサイズが小さい副画像を用いて「赤目」部分を検索し、検索によって取得した位置情報から本画像上の「赤目」に対応する位置情報を算出し、本画像データのうち算出した位置情報に対応するデータについて補正処理を行う。赤目補正処理(赤目部分の検索を含む)に要する時間が所定時間より長い場合は当該処理を中断し、赤目補正処理が未処理であることを示す情報を当該画像のデータファイルに含める。再生モード時において、電子カメラは、赤目補正処理が未処理であることを示す情報が記録されているデータファイルの画像に赤目補正処理を行う。
【選択図】図1


Description

本発明は、閃光装置を用いて撮影された画像に含まれる赤目画像を補正する装置に関する。
画像に含まれる「赤目現象」を補正する技術が知られている(特許文献1参照)。「赤目現象」は、閃光装置を用いた撮影時に人などの瞳が赤く光って写る現象で、閃光装置からの照明光が眼球内で反射することに起因する。特許文献1には、フィルム原稿から読み取ったディジタル画像データから赤目部分を抽出し、抽出した赤目部分について正常な瞳の色に補正する技術が開示されている。画像データ全体から赤目部分を抽出する方式では、画像データを構成するデータサイズが大きくなると赤目部分の抽出処理に時間がかかるという問題が生じる。特許文献2には、閃光装置を用いた撮影と閃光装置を用いない撮影とを行い、それぞれの撮影で得られる画像間の相関を演算して画像の赤目部分を抽出し、抽出した赤目部分について赤目補正処理を行う電子カメラが開示されている。
特開平6−350914号公報 特開2000−299812号公報
特許文献2に記載の技術によれば、1つの撮影画像に赤目補正処理を行うために2つの撮影画像を用意する必要が生じる。
請求項1に記載の発明による赤目画像補正装置は、画像が有する色成分の情報を保持するように画像を縮小処理して画像よりデータサイズが小さい副画像を生成するデータサイズ変換手段と、副画像のデータから赤目部分に対応するデータを検出する赤目検出手段と、副画像のデータにおける検出されたデータの位置を示す第1の位置情報を用いて、画像のデータにおいて赤目部分に対応するデータの位置を示す第2の位置情報を算出する位置情報算出手段と、第2の位置情報で示される画像のデータに対して赤目補正処理を施す赤目補正手段とを備えることを特徴とする。
画像のデータサイズが所定値以上の場合に副画像を生成するようにデータサイズ変換手段を構成してもよい。
上記赤目画像補正装置はさらに、赤目検出手段による検出処理、位置情報算出手段による算出処理、および赤目補正手段による赤目補正処理のいずれかによる処理時間が所定時間を超える場合、当該処理を中止させて検出処理、算出処理、および赤目補正処理を除く他の処理へ進行させる処理進行手段を備えてもよい。この場合の赤目画像補正装置は、処理進行手段が処理を中止させた場合、画像のデータに関連づけて赤目補正未処理を示すデータを記録するデータ記録手段をさらに備えるとよい。そして、データサイズ変換手段は、赤目補正未処理を示すデータと関連づけられている画像について副画像を生成することもできる。
請求項6に記載の発明による電子カメラは、請求項1〜請求項5のいずれか一項に記載の赤目画像補正装置と、被写体像を撮像して色成分を有する画像のデータを生成する撮像手段と、撮影時に被写体を照明する閃光装置に発光指示信号を送出する発光指示手段と、画像のデータを記録媒体に記録する記録手段とを備えることを特徴とする。
請求項7に記載の発明による赤目画像補正プログラムは、画像が有する色成分の情報を保持するように画像を縮小処理して画像よりデータサイズが小さい副画像を生成する処理と、副画像のデータから赤目部分に対応するデータを検出する処理と、副画像のデータにおける検出したデータの位置を示す第1の位置情報を用いて、画像のデータにおいて赤目部分に対応するデータの位置を示す第2の位置情報を算出する処理と、第2の位置情報で示される画像のデータに対する赤目補正処理とをコンピュータ装置に実行させることを特徴とする。
本発明によれば、画像を縮小生成した副画像から赤目部分を検出するので、2つの撮影画像を用いることなく、短時間で赤目部分の検出および赤目補正処理を行うことができる。
以下、図面を参照して本発明を実施するための最良の形態について説明する。図1は、本発明の一実施の形態による電子カメラ10の要部構成を説明するブロック図である。図1において、CPU101はマイクロコンピュータなどによって構成される。CPU101は、後述する各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。
撮像素子121は、CCDイメージセンサなどによって構成される。撮像素子121は、撮影レンズ20を通過した被写体光束による像を撮像し、撮像信号をA/D変換回路122へ出力する。A/D変換回路122は、アナログ撮像信号をディジタル信号に変換する。
バッファメモリ123は、ディジタル変換後の画像データを一旦格納する。CPU101は、ディジタル変換後の画像データにホワイトバランス処理などの画像処理を行う他、画像処理後の画像データを所定の形式で圧縮する圧縮処理、圧縮されている画像データを伸長する伸長処理なども行う。バッファメモリ123は、画像処理前、画像処理中、および画像処理後のデータを一時的に格納する場合に使用される。
記録媒体124は、電子カメラ本体10に対して着脱可能なメモリカードなどによって構成される。記録媒体124には、保存用の画像データが記録される。
メモリ102は、CPU101のワークエリアとして使用される。画像再生回路103はフレームメモリを含み、表示装置104に表示する表示用データを生成する。表示装置104は、たとえば、液晶表示モニタなどによって構成される。表示装置104は、画像再生回路103によってフレームメモリに格納されている表示用データによる画像や、メニューなどのテキスト情報を再生表示する。
測距装置110は、撮影レンズ20による焦点位置の調節状態を検出し、検出信号をCPU101へ出力する。レンズ駆動装置111は、CPU101の指令により撮影レンズ20内のフォーカスレンズ(不図示)を光軸方向に進退駆動し、撮影レンズ20の焦点位置を調節する。焦点調節状態の検出信号は、主要被写体までの距離情報となる。
操作部材105は、不図示のモード切り換えスイッチや閃光装置オン/オフスイッチを含み、設定操作に応じた操作信号をCPU101へ出力する。CPU101は、操作部材105から入力される操作信号に基づいて設定変更処理を行う。モード切り換えスイッチは、たとえば、電子カメラを撮影モード、再生モードおよびセットアップモードのいずれかに切り換えるための操作信号を出力する。撮影モードはレリーズボタン(不図示)の押下操作に応じて撮影を行う動作モード、再生モードは記録媒体124に記録されている画像データによる画像を表示装置104に再生表示する動作モード、セットアップモードはメニュー操作などを行うための動作モードである。
閃光装置オン/オフスイッチは、閃光装置112に対する発光許可および発光禁止を設定するための操作信号を出力する。
閃光装置112は、発光が許可されている状態でCPU101から発光指示を受けると、撮影補助光を発して主要被写体を照明する。具体的には、CPU101からの発光指示に応じてメインコンデンサ(不図示)に充電されている電荷をキセノン管などで構成される放電管112aに放出し、キセノン管112aを閃光発光させる。
本発明は、上記電子カメラによる撮影画像に生じた「赤目現象」の補正に関する。本実施形態による電子カメラは、撮影画像に対する赤目現象の補正を以下の2つの場合に実行する。
1.撮影モードにおいて、記録媒体124へ記録する前の撮影画像に対して行う。
2.再生モードにおいて、記録媒体124から読み出した画像に対して行う。
−撮影モード−
上記1の撮影モードにおける赤目補正処理について、電子カメラのCPU101で行われる処理の流れを説明するフローチャート(図2)を参照して説明する。図2の処理を行うプログラムは、赤目補正処理を行うように設定されている電子カメラが閃光装置112を閃光発光させる撮影を行った場合に、ディジタル変換後の画像データがバッファメモリ123に格納されると起動する。なお、電子カメラに対する赤目補正処理を行う設定は、上述したセットアップーモードのメニュー操作によってあらかじめ行われている。
図2のステップS11において、CPU101は、バッファメモリ123に格納されている画像のデータを読み出し、ワークメモリ102内に展開してステップS12へ進む。ここで、メモリ102に展開される画像は撮影時に電子カメラに設定されているデータサイズ(たとえば、2592ドット×1944ドット)を有し、これを本画像と呼ぶことにする。
ステップS12において、CPU101は、本画像よりデータサイズが小さい縮小画像(たとえば、1024ドット×768ドット)を生成してメモリ102内に格納し、ステップS13へ進む。格納した縮小画像を副画像と呼ぶことにする。副画像の生成は、縮小処理によって本画像の「赤目」部分を示す色成分の情報が省略されることがないように、いわゆる単純間引きではなく補間処理をともなう間引き処理によって行う。なお、本画像のデータサイズが1024ドット×768ドットより小さい場合は、本画像をそのまま副画像として使用する。
ステップS13において、CPU101は、副画像(間引き画像)を用いて補正位置(副画像上で「赤目」部分が存在する位置)の検索を開始してステップS14へ進む。補正位置の検索は、副画像に含まれる「赤目」部分を抽出するものであり、たとえば、特許文献1に開示されている技術を用いて行う。
ステップS14において、CPU101は、検索終了か否かを判定する。CPU101は、「赤目」位置の検索が終了した場合にステップS14を肯定判定してステップS16へ進み、「赤目」位置の検索が終了していない場合にはステップS14を否定判定し、ステップS15へ進む。
ステップS15において、CPU101は、タイムアウトか否かを判定する。CPU101は、検索開始から所定時間(たとえば、3秒)が経過している場合にステップS15を肯定判定するとともに、検索処理を中断してステップS22へ進む。CPU101は、検索開始から3秒が経過していない場合にはステップS15を否定判定し、ステップS13へ戻る。この場合には、「赤目」位置の検索処理が継続される。
ステップS16において、CPU101は、「赤目」位置の検索処理によって抽出された副画像上における「赤目」部分の位置情報(補正位置情報)を、本画像上の位置情報に変換してステップS17へ進む。具体的には、副画像上の「赤目」に対応する座標情報から、本画像上の「赤目」に対応する座標情報を算出する。つまり、本画像が展開されているメモリ102のアドレス空間の中で「赤目」に対応するデータが格納されているアドレス情報を得る。
ステップS17において、CPU101は、本画像に対する赤目補正処理を開始してステップS18へ進む。赤目補正処理は、メモリ102に展開されている本画像のうち、上述したように取得したアドレスに対応するデータについて行う。赤目補正は抽出した「赤目」の色を正常な瞳の色に変換するものであり、たとえば、特許文献1に開示されている技術を用いて行う。
ステップS18において、CPU101は、補正終了か否かを判定する。CPU101は、赤目補正が終了した場合にステップS18を肯定判定してステップS20へ進み、赤目補正が終了していない場合にはステップS18を否定判定し、ステップS19へ進む。
ステップS19において、CPU101は、タイムアウトか否かを判定する。CPU101は、補正開始から所定時間(たとえば、3秒)が経過している場合にステップS19を肯定判定するとともに、赤目補正処理を中断してステップS22へ進む。CPU101は、補正開始から3秒が経過していない場合にはステップS19を否定判定し、ステップS13へ戻る。この場合には、赤目補正処理が継続される。
ステップS22において、CPU101は、赤目補正未処理フラグをたててステップS20へ進む。赤目補正未処理フラグは、「赤目」位置の検索処理もしくは赤目補正処理が終了していないことを示すものである。
ステップS20において、CPU101は、本画像のデータをJPEG形式のデータに圧縮する処理を施してステップS21へ進む。ステップS21において、CPU101は、圧縮処理後の本画像データを含むデータファイルを生成して記録媒体124に記録し、図2による処理を終了する。なお、CPU101は、赤目補正処理が終了している場合には、赤目補正処理後の本画像を赤目補正処理前の本画像に戻すために必要な情報(たとえば、本画像上の補正位置情報および赤目補正処理における補正内容)をデータファイルに含めて記録媒体124に記録する。また、CPU101は、赤目補正未処理フラグが立っている場合には、赤目補正未処理フラグの存在を示す情報をデータファイルに含めて記録媒体124に記録する。
−再生モード−
上記2の再生モードにおける赤目補正処理について、電子カメラのCPU101で行われる処理の流れを説明するフローチャート(図3)を参照して説明する。図3の処理を行うプログラムは、赤目補正処理を行うように設定されている電子カメラが再生モードに切り換えられると起動する。なお、電子カメラに対する赤目補正処理を行う設定は、上述したセットアップーモードのメニュー操作においてあらかじめ行われている。
図3のステップS51において、CPU101は、記録媒体124に記録されているデータファイルを1つ読み出してステップS52へ進む。ファイルの読み出し順は、たとえば、データファイルが生成された日時が古いものから順番に読み出すものとする。ステップS52において、CPU101は、当該データファイルに赤目補正未処理フラグが存在するかを確認してステップS53へ進む。ステップS53において、CPU101は、赤目補正処理が未処理か否かを判定する。CPU101は、赤目補正未処理フラグが確認された場合にはステップS53を肯定判定してステップS54へ進む。ステップS54へ進む場合は赤目補正処理を行う場合である。一方、CPU101は、赤目補正未処理フラグが確認されない場合にはステップS53を否定判定し、ステップS61へ進む。ステップS61へ進む場合は、次のデータファイルの読み出しへ進む場合である。
ステップS54において、CPU101は、当該データファイル内に記録されている画像のデータを読み出し、ワークメモリ102内に展開してステップS52へ進む。画像データが圧縮されている場合は伸長処理を施した上で展開し、画像データが非圧縮の場合はそのまま展開する。メモリ102に展開した画像は、当該画像の撮影時に電子カメラに設定されていた画像データサイズ(たとえば、2592ドット×1944ドット)を有し、これを本画像と呼ぶ。
ステップS55において、CPU101は、本画像よりデータサイズが小さい縮小画像(たとえば、1024ドット×768ドット)を生成してメモリ102内に格納し、ステップS56へ進む。格納した縮小画像は副画像と呼ぶ。副画像の生成は、撮影モード時と同様に補間処理をともなう間引き処理によって行う。本画像のデータサイズが1024ドット×768ドットより小さい場合は、本画像をそのまま副画像として使用する点も撮影モード時と同様である。
ステップS56において、CPU101は、副画像(間引き画像)を用いて補正位置(副画像上で「赤目」部分が存在する位置)の検索を行い、ステップS57へ進む。なお、再生モード時はタイムアウト処理を行わない。
ステップS57において、CPU101は、「赤目」位置の検索処理によって抽出された副画像上における「赤目」部分の位置情報(補正位置情報)を、本画像上の位置情報に変換してステップS58へ進む。撮影モード時と同様に、副画像上で検出した「赤目」に対応する座標情報を本画像に適用するための処理である。
ステップS58において、CPU101は、本画像に対する赤目補正処理を行い、ステップS59へ進む。なお、再生モード時はタイムアウト処理を行わない。
ステップS59において、CPU101は、赤目補正処理後の本画像のデータをJPEG形式のデータに圧縮する処理を施してステップS60へ進む。なお、赤目補正処理前の本画像データが圧縮されていなかった場合には圧縮処理を省略する。ステップS60において、CPU101は、本画像データを含むデータファイルを生成して記録媒体124に上書き記録し、ステップS61へ進む。CPU101は、赤目補正処理後の本画像を赤目補正処理前の本画像に戻すために必要な情報(たとえば、本画像上の補正位置情報および赤目補正処理における補正内容)をデータファイルに含めるとともに、赤目補正未処理フラグの存在を示す情報を削除して記録媒体124に記録する。
ステップS61において、CPU101は、画像ファイルが終了か否かを判定する。CPU101は、記録媒体124に他の画像データファイルが記録されていない場合にはステップS61を肯定判定して図3による処理を終了する。CPU101は、記録媒体124に他の画像データファイルが記録されてる場合はステップS61を否定判定し、ステップS51へ戻る。これにより、他の画像データファイルに対しても同様の処理を繰り返す。
以上説明した実施形態の電子カメラについてまとめる。
(1)撮影モード時において、赤目補正処理を行うように設定されている電子カメラは、閃光装置112を閃光発光させる撮影を行うと、当該画像のデータファイルを記録媒体124へ記録する前に赤目補正処理を行う。したがって、赤目補正処理前のデータファイルと赤目補正処理後のデータファイルとの両方のファイルを記録媒体124へ記録しないので、両ファイルを記録する場合に比べて多数の画像を記録媒体124に記録することができ、記録媒体124への記録に費やす時間を短縮することもできる。さらに、撮影で得られた画像に対して赤目補正を行うので、赤目現象の軽減のため撮影時に閃光装置112をプリ発光させる必要がない。この結果、プリ発光させる場合に比べて撮影に要する時間を短縮し、プリ発光にともなう消費電力の増加を抑えることもできる。
(2)赤目補正処理は、本画像よりデータサイズが小さい副画像を用いて「赤目」部分を検索し(ステップS13)、検索によって取得した位置情報から本画像上の「赤目」に対応する位置情報を算出し(ステップS16)、本画像データのうち算出した位置情報に対応するデータについて補正処理を行う(ステップS17)ようにした。したがって、本画像データを用いて「赤目」部分を検索する場合に比べて、検索時間を大幅に短縮することができる。たとえば、本画像が2592ドット×1944ドットで副画像が1024ドット×768ドットの場合は、検索すべきドット数が少ないため検索時間を約1/6に短縮できる。また、従来の技術(特許文献2)のように2画像を撮影しなくてよいので、CPUが演算に使用するメモリ容量が抑えられる上に、撮影に要する時間も短縮できる。
(3)タイムアウト判定を行い(ステップS15、ステップS19)、赤目補正処理(赤目部分の検索を含む)に要する時間が所定時間より長い場合は当該処理を中断するようにした。この結果、いつまでも赤目補正処理を継続することによって次コマの撮影に進めないということが生じないので、シャッターチャンスを逸することが防止される。
(4)赤目補正処理を中断した場合は、赤目補正処理が未処理であることを示す情報を当該画像のデータファイルに含めるようにしたので、どのデータファイルに赤目補正が未処理の画像が記録されているかを容易に検索することができる。
(5)再生モード時において、赤目補正処理を行うように設定されている電子カメラは、赤目補正処理が未処理であることを示す情報が記録されているデータファイルについて順番に赤目補正処理を行う。したがって、使用者が各データファイルごとに赤目補正処理の要否を電子カメラに指示する必要がない。電子カメラは記録媒体124に記録されているデータファイルのうち赤目補正が必要な画像に対して自動的に赤目補正処理を行うので、使い勝手のよい電子カメラが得られる。
(6)再生モード時はタイムアウト判定を行わないようにしたので、赤目補正処理(赤目部分の検索を含む)を確実に行うことができる。
以上の説明では、バッファメモリ123に格納されている画像データをワークメモリ102内に展開するようにしたが、バッファメモリ123およびワークメモリ102を共通のメモリで構成するようにしてもよい。
「赤目」部分の検出に用いる副画像は、ホワイトバランス調整処理前の本画像、およびホワイトバランス調整処理後の本画像のいずれから生成してもよい。
赤目補正処理(赤目部分の検索を含む)中、すなわち、ステップS11の処理を開始してからステップS20の処理を開始する前は、赤目補正処理中であることを示す表示を表示装置104に表示させるとよい。赤目補正処理中を示す表示は、たとえば、フリーズ画像に重ねて「目」を象ったアイコンなどを表示する。
図3の処理は、赤目補正処理を行うように設定されている電子カメラが再生モードに切り換えられると起動するようにしたが、以下の場合に起動させてもよい。再生モードに設定されている状態で電子カメラのメインスイッチがオンされた場合、および、再生モードに設定されている状態で電子カメラに記録媒体124が装着された場合。
副画像のデータサイズは、1024ドット×768ドットに限らず、CPU101の処理速度や本画像のデータサイズに応じて適宜設定してよい。
副画像のデータサイズを撮影条件に応じて変化させてもよい。たとえば、主要被写体までの距離に応じて副画像のデータサイズを変える。被写体距離が遠い場合は主要被写体の顔(とくに、目)が小さく写るのでデータサイズを大きくし、被写体距離が近い場合は主要被写体の顔が大きく写るのでデータサイズを小さくする。主要被写体までの距離情報は、測距装置110による検出信号を用いる。
また、撮影レンズ20の焦点距離に応じて副画像のデータサイズを変えてもよい。焦点距離が短い場合は主要被写体の顔(とくに、目)が小さく写るのでデータサイズを大きくし、焦点距離が長い場合は主要被写体の顔が大きく写るのでデータサイズを小さくする。焦点距離情報は、レンズ駆動装置111などで検出されるレンズ位置検出信号を用いる。
また、カメラの撮影モード(たとえば、シーンアシストモード)によって副画像のデータサイズを変えてもよい。ポートレート撮影の場合は、1人の被写体の顔が大きく写るのでデータサイズを小さくする。団体撮影の場合は、1人当たりの顔が小さく写るのでデータサイズを大きくする。
タイムアウト処理は、赤目部分の検索処理(ステップS13)を開始した後、および赤目補正処理(ステップS17)を開始した後にそれぞれ挿入するようにしたが、位置情報変換処理(ステップS16)を開始した後にも挿入するようにしてもよい。それぞれにタイムアウト処理を挿入することにより、赤目部分の検索、副画像から本画像への位置情報変換、赤目補正処理のいずれかで処理時間が所定時間を超えた場合に各処理を中止させることができる。なお、タイムアウト判定する時間は、上記例に限らず適宜設定してよい。
上述した図3の処理を行う赤目補正処理プログラムを用意し、このプログラムをパーソナルコンピュータなどに取込んで赤目画像補正装置として使用することができる。この場合には、パーソナルコンピュータのデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、赤目画像補正装置として使用する。プログラムのローディングは、プログラムを格納した記録媒体をパーソナルコンピュータにセットして行ってもよいし、ネットワークを経由する方法でパーソナルコンピュータなどにローディングしてもよい。
特許請求の範囲における各構成要素と、発明を実施するための最良の形態における各構成要素との対応について説明する。データサイズ変換手段、赤目検出手段、位置情報算出手段、赤目補正手段、処理進行手段、データ記録手段、記録手段、および発光指示手段は、たとえば、CPU101によって構成される。第1の位置情報および第2の位置情報は、たとえば、座標情報が対応する。撮像手段は、たとえば、撮像素子121およびA/D変換回路122によって構成される。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 撮影モードにおける赤目補正処理時にCPUで行われる処理の流れを説明するフローチャートである。 再生モードにおける赤目補正処理時にCPUで行われる処理の流れを説明するフローチャートである。
符号の説明
10…電子カメラ
20…撮影レンズ
101…CPU
102…メモリ
104…表示装置
105…操作部材
110…測距装置
112…閃光装置
121…撮像素子
122…A/D変換回路
123…バッファメモリ
124…記録媒体

Claims (7)

  1. 画像が有する色成分の情報を保持するように前記画像を縮小処理して前記画像よりデータサイズが小さい副画像を生成するデータサイズ変換手段と、
    前記副画像のデータから赤目部分に対応するデータを検出する赤目検出手段と、
    前記副画像のデータにおける前記検出されたデータの位置を示す第1の位置情報を用いて、前記画像のデータにおいて赤目部分に対応するデータの位置を示す第2の位置情報を算出する位置情報算出手段と、
    前記第2の位置情報で示される前記画像のデータに対して赤目補正処理を施す赤目補正手段とを備えることを特徴とする赤目画像補正装置。
  2. 請求項1に記載の赤目画像補正装置において、
    前記データサイズ変換手段は、前記画像のデータサイズが所定値以上の場合に前記副画像を生成することを特徴とする赤目画像補正装置。
  3. 請求項1または2に記載の赤目画像補正装置において、
    前記赤目検出手段による検出処理、前記位置情報算出手段による算出処理、および前記赤目補正手段による赤目補正処理のいずれかによる処理時間が所定時間を超える場合、当該処理を中止させて前記検出処理、前記算出処理、および前記赤目補正処理を除く他の処理へ進行させる処理進行手段をさらに備えることを特徴とする赤目画像補正装置。
  4. 請求項3に記載の赤目画像補正装置において、
    前記処理進行手段が前記処理を中止させた場合、前記画像のデータに関連づけて赤目補正未処理を示すデータを記録するデータ記録手段をさらに備えることを特徴とする赤目画像補正装置。
  5. 請求項4に記載の赤目画像補正装置において、
    前記データサイズ変換手段は、前記赤目補正未処理を示すデータと関連づけられている画像について前記副画像を生成することを特徴とする赤目画像補正装置。
  6. 請求項1〜請求項5のいずれか一項に記載の赤目画像補正装置と、
    被写体像を撮像して色成分を有する画像のデータを生成する撮像手段と、
    撮影時に被写体を照明する閃光装置に発光指示信号を送出する発光指示手段と、
    前記画像のデータを記録媒体に記録する記録手段とを備えることを特徴とする電子カメラ。
  7. 画像が有する色成分の情報を保持するように前記画像を縮小処理して前記画像よりデータサイズが小さい副画像を生成する処理と、
    前記副画像のデータから赤目部分に対応するデータを検出する処理と、
    前記副画像のデータにおける前記検出したデータの位置を示す第1の位置情報を用いて、前記画像のデータにおいて赤目部分に対応するデータの位置を示す第2の位置情報を算出する処理と、
    前記第2の位置情報で示される前記画像のデータに対する赤目補正処理とをコンピュータ装置に実行させることを特徴とする赤目画像補正プログラム。
JP2004032452A 2004-02-09 2004-02-09 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム Expired - Fee Related JP4306482B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004032452A JP4306482B2 (ja) 2004-02-09 2004-02-09 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム
US11/049,731 US20050174448A1 (en) 2004-02-09 2005-02-04 Red eye image correction device, electronic camera and red eye image correction program product
CNB2005100079245A CN100492154C (zh) 2004-02-09 2005-02-05 红眼图像校正装置及具有该装置的电子照相机
US12/149,433 US7812864B2 (en) 2004-02-09 2008-05-01 Red eye image correction device, electronic camera and red eye image correction program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004032452A JP4306482B2 (ja) 2004-02-09 2004-02-09 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム

Publications (2)

Publication Number Publication Date
JP2005223858A true JP2005223858A (ja) 2005-08-18
JP4306482B2 JP4306482B2 (ja) 2009-08-05

Family

ID=34824208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004032452A Expired - Fee Related JP4306482B2 (ja) 2004-02-09 2004-02-09 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム

Country Status (3)

Country Link
US (2) US20050174448A1 (ja)
JP (1) JP4306482B2 (ja)
CN (1) CN100492154C (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251927A (ja) * 2006-02-16 2007-09-27 Nikon Corp 赤目補正機能を有するカメラ
JP2008109315A (ja) * 2006-10-24 2008-05-08 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008109395A (ja) * 2006-10-25 2008-05-08 Canon Inc 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP2008311922A (ja) * 2007-06-14 2008-12-25 Fujifilm Corp 撮像装置
JP2008311921A (ja) * 2007-06-14 2008-12-25 Fujifilm Corp 撮像装置
JP2009124576A (ja) * 2007-11-16 2009-06-04 Seiko Epson Corp 画像処理装置及びその制御方法
JP2012182813A (ja) * 2012-04-24 2012-09-20 Fujifilm Corp 画像処理装置、方法及びプログラム
US8594454B2 (en) 2009-10-06 2013-11-26 Panasonic Corporation Image production device, reproduction device, reproduction system, image production method, and reproduction method
US9065998B2 (en) 2007-06-14 2015-06-23 Fujifilm Corporation Photographing apparatus provided with an object detection function

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4324116B2 (ja) * 2005-02-17 2009-09-02 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US7450756B2 (en) * 2005-04-28 2008-11-11 Hewlett-Packard Development Company, L.P. Method and apparatus for incorporating iris color in red-eye correction
KR100727935B1 (ko) * 2005-05-24 2007-06-14 삼성전자주식회사 이미지 보정 방법 및 장치
KR100791372B1 (ko) * 2005-10-14 2008-01-07 삼성전자주식회사 인물 이미지 보정 장치 및 방법
KR100894420B1 (ko) * 2007-01-25 2009-04-24 삼성전자주식회사 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법
JP5999013B2 (ja) * 2013-04-12 2016-09-28 株式会社デンソー 開眼状態判定装置
EP3398515B1 (de) * 2017-05-03 2020-06-24 Siemens Healthcare GmbH Adaptives verfahren zum erzeugen von artefaktreduzierten ct-bilddaten, sowie bilddatenrekonstruktionseinheit und entsprechendes computerprogrammprodukt.

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350914A (ja) 1993-06-04 1994-12-22 Olympus Optical Co Ltd 赤目修正システム
JP2000299812A (ja) 1999-04-13 2000-10-24 Olympus Optical Co Ltd 電子撮像装置
JP2000305141A (ja) 1999-04-21 2000-11-02 Olympus Optical Co Ltd 電子カメラ
JP2001148780A (ja) 1999-09-07 2001-05-29 Fuji Photo Film Co Ltd 赤目修正対象領域の設定方法および赤目修正方法
EP1293933A1 (de) 2001-09-03 2003-03-19 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
JP2003179807A (ja) 2001-12-13 2003-06-27 Fuji Photo Film Co Ltd 撮像装置
US7289664B2 (en) 2002-01-17 2007-10-30 Fujifilm Corporation Method of detecting and correcting the red eye
US20040196503A1 (en) * 2003-04-07 2004-10-07 Eastman Kodak Company Index print having a correction indicator thereon and a method of making the index print
JP2004350130A (ja) * 2003-05-23 2004-12-09 Fuji Photo Film Co Ltd デジタルカメラ
US20040257456A1 (en) * 2003-06-17 2004-12-23 Goris Andrew C. Digital camera having nonvolatile memory for storing intermediate data associated with image processing
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
JP2005094571A (ja) * 2003-09-19 2005-04-07 Fuji Photo Film Co Ltd 赤目補正機能を有するカメラ
JP2005167697A (ja) 2003-12-03 2005-06-23 Canon Inc 赤目補正機能を有する電子カメラ

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251927A (ja) * 2006-02-16 2007-09-27 Nikon Corp 赤目補正機能を有するカメラ
JP2008109315A (ja) * 2006-10-24 2008-05-08 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008109395A (ja) * 2006-10-25 2008-05-08 Canon Inc 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP2008311922A (ja) * 2007-06-14 2008-12-25 Fujifilm Corp 撮像装置
JP2008311921A (ja) * 2007-06-14 2008-12-25 Fujifilm Corp 撮像装置
US9065998B2 (en) 2007-06-14 2015-06-23 Fujifilm Corporation Photographing apparatus provided with an object detection function
US9131138B2 (en) 2007-06-14 2015-09-08 Fujifilm Corporation Photographing apparatus
JP2009124576A (ja) * 2007-11-16 2009-06-04 Seiko Epson Corp 画像処理装置及びその制御方法
US8125680B2 (en) 2007-11-16 2012-02-28 Seiko Epson Corporation Image processing apparatus and control method thereof
US8594454B2 (en) 2009-10-06 2013-11-26 Panasonic Corporation Image production device, reproduction device, reproduction system, image production method, and reproduction method
JP2012182813A (ja) * 2012-04-24 2012-09-20 Fujifilm Corp 画像処理装置、方法及びプログラム

Also Published As

Publication number Publication date
US20050174448A1 (en) 2005-08-11
CN1655045A (zh) 2005-08-17
JP4306482B2 (ja) 2009-08-05
US7812864B2 (en) 2010-10-12
CN100492154C (zh) 2009-05-27
US20080211938A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
US7812864B2 (en) Red eye image correction device, electronic camera and red eye image correction program product
JP4200574B2 (ja) 電子スチルカメラ
JP2003189165A (ja) デジタルカメラ
TW200808044A (en) Imaging apparatus and computer readable recording medium
US7692715B2 (en) Digital camera
JP2002152582A (ja) 電子カメラ、および画像表示用記録媒体
JP2015053741A (ja) 画像再生装置
JPH104530A (ja) 情報記録装置
JP5310076B2 (ja) 画像処理装置、および画像処理プログラム
JP2005057361A (ja) 撮像装置
JP2011151614A (ja) 電子カメラ
JP2009207100A (ja) 撮像装置及びそのプログラム
JP2007208355A (ja) 撮影装置および方法並びにプログラム
JP2007013472A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4404200B2 (ja) 撮像装置、および、画像ファイル生成プログラム
JP2009225212A (ja) 撮影装置及び画像記憶方法
JP2005328224A (ja) デジタルカメラ
JP2010239532A (ja) 撮像装置及び撮影方法
JP3913046B2 (ja) 撮像装置
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2007013586A (ja) 撮像装置
JP2006191234A (ja) 撮像装置、動作状態提示方法、および動作状態提示プログラム
JP5055573B2 (ja) 電子カメラ
JP2006033752A (ja) デジタルカメラ
JP2003189160A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

R150 Certificate of patent or registration of utility model

Ref document number: 4306482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees