JP2003344021A - 画像中の人の顔の寸法を計算する方法及び顔を検出する方法 - Google Patents
画像中の人の顔の寸法を計算する方法及び顔を検出する方法Info
- Publication number
- JP2003344021A JP2003344021A JP2003047171A JP2003047171A JP2003344021A JP 2003344021 A JP2003344021 A JP 2003344021A JP 2003047171 A JP2003047171 A JP 2003047171A JP 2003047171 A JP2003047171 A JP 2003047171A JP 2003344021 A JP2003344021 A JP 2003344021A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- metadata
- digital
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像中の顔をより高速かつ良好に分類するこ
とができる手段を提供する。 【解決手段】 デジタル画像中の人の顔の寸法を計算す
る方法は、次の各ステップを含んでいる。主距離と焦点
距離と焦点面解像度とを含んでいる、人の顔の画像を含
むデジタル画像に関連する画像捕獲用のメタデータを準
備するステップ。標準的な顔の寸法を準備するステッ
プ。メタデータと標準的な顔の寸法とを用いて、焦点面
での人の顔の寸法を計算するステップ。
とができる手段を提供する。 【解決手段】 デジタル画像中の人の顔の寸法を計算す
る方法は、次の各ステップを含んでいる。主距離と焦点
距離と焦点面解像度とを含んでいる、人の顔の画像を含
むデジタル画像に関連する画像捕獲用のメタデータを準
備するステップ。標準的な顔の寸法を準備するステッ
プ。メタデータと標準的な顔の寸法とを用いて、焦点面
での人の顔の寸法を計算するステップ。
Description
【０００１】
【発明の属する技術分野】本発明は、一般的にはデジタ
ル画像処理の技術分野に関するものであり、とくにデジ
タル画像中の顔を検出してレッドアイの結果を修正する
方法に関するものである。
ル画像処理の技術分野に関するものであり、とくにデジ
タル画像中の顔を検出してレッドアイの結果を修正する
方法に関するものである。
【０００２】
【従来の技術】画像の獲得にフラッシュ照明が用いられ
る場合、ときには画像中の人の瞳が赤くうつる。これ
は、フラッシュユニットからの光が瞳に入り、網膜で反
射し、そして最終的には瞳を経由して外に出ることによ
り惹起される。光は網膜内の光（light）によって部分
的に吸収されるので、瞳は画像中で赤くなる。この現象
は「レッドアイ（redeye：赤目）」と呼ばれている。フ
ラッシュユニットとレンズの光軸との間の距離が短くな
るほど、レッドアイが生じる可能性は高くなる。それゆ
え、一体型のフラッシュユニットを備えた小型カメラで
獲得された画像には、たいていレッドアイが生じる。
る場合、ときには画像中の人の瞳が赤くうつる。これ
は、フラッシュユニットからの光が瞳に入り、網膜で反
射し、そして最終的には瞳を経由して外に出ることによ
り惹起される。光は網膜内の光（light）によって部分
的に吸収されるので、瞳は画像中で赤くなる。この現象
は「レッドアイ（redeye：赤目）」と呼ばれている。フ
ラッシュユニットとレンズの光軸との間の距離が短くな
るほど、レッドアイが生じる可能性は高くなる。それゆ
え、一体型のフラッシュユニットを備えた小型カメラで
獲得された画像には、たいていレッドアイが生じる。
【０００３】２００１年６月２６日に発行されたシルド
クロートら（Schildkraut et al.）にかかる特許文献１
には、画像中の目の色の欠陥を自動的に修正する方法が
開示されている。
クロートら（Schildkraut et al.）にかかる特許文献１
には、画像中の目の色の欠陥を自動的に修正する方法が
開示されている。
【０００４】
【特許文献１】米国特許第６,２５２,９７６号明細書
【０００５】
【発明が解決しようとする課題】しかし、特許文献１に
開示された方法には、目が存在する可能性をみるため
に、人の顔の特徴を有する肌色の全ての領域を吟味（な
いし検査）することが必要であるといった欠点がある。
これは、必然的に計算負荷（コンピュータへの負荷）を
課し、獲得された画像の最適な描写及び再生・複写に要
する時間を増加させる。それゆえ、画像中の顔をより高
速かつ良好に分類（classification）することができる
手段が必要であるといった課題がある。
開示された方法には、目が存在する可能性をみるため
に、人の顔の特徴を有する肌色の全ての領域を吟味（な
いし検査）することが必要であるといった欠点がある。
これは、必然的に計算負荷（コンピュータへの負荷）を
課し、獲得された画像の最適な描写及び再生・複写に要
する時間を増加させる。それゆえ、画像中の顔をより高
速かつ良好に分類（classification）することができる
手段が必要であるといった課題がある。
【０００６】
【課題を解決するための手段】上記課題を解決するため
になされた本発明は、次の各ステップを含む、デジタル
画像中の人の顔の寸法を計算する方法を提供する。主距
離（subject distance）と焦点距離（focal length）と
焦点面解像度（focal plane resolution）とを含んでい
る、人の顔の画像を含むデジタル画像に関連する画像獲
得用のメタデータ（image capture metadata）を準備す
るステップ。標準的な顔の寸法を準備するステップ。メ
タデータと標準的な顔の寸法とを用いて、焦点面での人
の顔の寸法を計算するステップ。
になされた本発明は、次の各ステップを含む、デジタル
画像中の人の顔の寸法を計算する方法を提供する。主距
離（subject distance）と焦点距離（focal length）と
焦点面解像度（focal plane resolution）とを含んでい
る、人の顔の画像を含むデジタル画像に関連する画像獲
得用のメタデータ（image capture metadata）を準備す
るステップ。標準的な顔の寸法を準備するステップ。メ
タデータと標準的な顔の寸法とを用いて、焦点面での人
の顔の寸法を計算するステップ。
【０００７】
【発明の実施の形態】以下、添付の図面を参照しつつ、
本発明の実施の形態を具体的に説明する。本発明は、プ
ログラムで動作するデジタルコンピュータで実行される
ものとして説明される。デジタル画像処理及びソフトウ
エアのプログラミングの技術分野にかかる当業者であれ
ば、以下の説明から本発明を実施するためにコンピュー
タをプログラムすることができるということが理解され
るであろう。本発明は、機械で読み取り可能なコンピュ
ータコードを備えている（bear）磁気記憶媒体や光記憶
媒体などのコンピュータで読み取り可能な記憶媒体を有
するコンピュータプログラム生成物（computer program
product）において具体化されてもよい。あるいは、本
発明はハードウエア又はファームウエア（firmware）で
実施されてもよいということが理解されるであろう。
本発明の実施の形態を具体的に説明する。本発明は、プ
ログラムで動作するデジタルコンピュータで実行される
ものとして説明される。デジタル画像処理及びソフトウ
エアのプログラミングの技術分野にかかる当業者であれ
ば、以下の説明から本発明を実施するためにコンピュー
タをプログラムすることができるということが理解され
るであろう。本発明は、機械で読み取り可能なコンピュ
ータコードを備えている（bear）磁気記憶媒体や光記憶
媒体などのコンピュータで読み取り可能な記憶媒体を有
するコンピュータプログラム生成物（computer program
product）において具体化されてもよい。あるいは、本
発明はハードウエア又はファームウエア（firmware）で
実施されてもよいということが理解されるであろう。
【０００８】まず、図１には、本発明を実施するのに有
用なデジタル画像処理システムが示されている。包括的
に１０で示されるこのシステムは、ネットワーク１４に
接続されたデジタル画像処理コンピュータ１２を備えて
いる。このデジタル画像処理コンピュータ１２として
は、例えばサン・スパークステーション（Sun Sparcsta
tion）を用いることができ、またネットワーク１４とし
ては、例えば大容量のデジタル画像を取り扱うのに十分
な容量を備えたローカルエリアネットワークを用いるこ
とができる。システム１０は、ネットワーク１４にデジ
タル画像を提供するための、高解像度デジタルカメラ、
あるいは従来のフィルムカメラ及びフィルムデジタイザ
（film digitizer）などといった画像獲得装置１５を備
えている。本発明にかかるコンピュータ１２によって処
理されるべきデジタル画像を記憶するために、磁気式又
は光式のマルチディスクメモリなどの、ネットワーク１
４に接続されたデジタル画像記憶装置１６が設けられて
いる。システム１０はまた、高解像度カラーモニタ１８
などの１つ又はこれより多い表示装置と、サーマルプリ
ンタ又はインクジェットプリンタなどのハードコピー出
力プリンタ２０とを備えている。なお、システム１０
は、キーボード及びトラックボールなどのオペレータ用
入力装置２１を備えていてもよい。
用なデジタル画像処理システムが示されている。包括的
に１０で示されるこのシステムは、ネットワーク１４に
接続されたデジタル画像処理コンピュータ１２を備えて
いる。このデジタル画像処理コンピュータ１２として
は、例えばサン・スパークステーション（Sun Sparcsta
tion）を用いることができ、またネットワーク１４とし
ては、例えば大容量のデジタル画像を取り扱うのに十分
な容量を備えたローカルエリアネットワークを用いるこ
とができる。システム１０は、ネットワーク１４にデジ
タル画像を提供するための、高解像度デジタルカメラ、
あるいは従来のフィルムカメラ及びフィルムデジタイザ
（film digitizer）などといった画像獲得装置１５を備
えている。本発明にかかるコンピュータ１２によって処
理されるべきデジタル画像を記憶するために、磁気式又
は光式のマルチディスクメモリなどの、ネットワーク１
４に接続されたデジタル画像記憶装置１６が設けられて
いる。システム１０はまた、高解像度カラーモニタ１８
などの１つ又はこれより多い表示装置と、サーマルプリ
ンタ又はインクジェットプリンタなどのハードコピー出
力プリンタ２０とを備えている。なお、システム１０
は、キーボード及びトラックボールなどのオペレータ用
入力装置２１を備えていてもよい。
【０００９】本発明の目的ないし目標は、画像中の顔を
検出するのに必要な処理時間を短縮することである。本
発明は、画像ファイル又は獲得源（capture source）に
関連するメタデータを用いる。メタデータを用いること
により、画像中の所望の対象物の予測される寸法を計算
することが可能となる。とくに、画像中の顔の寸法の予
測される範囲（range）を計算することが可能となる。
本発明は、デジタル画像に関連する画像獲得メタデータ
を必要とする。この画像獲得メタデータは、獲得源及び
デジタルファイルに特有の情報を含んでいる。これらの
メタデータの項目（item）は、デジタルスチルカメラな
どの画像獲得装置内の電子機器により、及び／又は、手
動式の写真入力装置（manual photographer input）に
よって収集されることができる。さらに、画像ファイル
に対するメタデータの関連付け（association）は、ル
ックアップテーブルを用いて、又は獲得情報の記録に備
えて準備する画像ファイルフォーマットを用いて行うこ
とができる。このようなフォーマットの一例は、ＪＥＩ
ＤＡ規格に記載されているエグジフ（Exif）画像ファイ
ルフォーマットである。すなわち、日本電子工業開発協
会（Japan Electronic Industry Development Associat
ion）による、１９９８年６月１２日発行の、バージョ
ン２.１のデジタルスチルカメラ画像ファイルフォーマ
ット規準（デジタル・スチル・カメラのための交換可能
な画像ファイルフォーマット：Exif）である。
検出するのに必要な処理時間を短縮することである。本
発明は、画像ファイル又は獲得源（capture source）に
関連するメタデータを用いる。メタデータを用いること
により、画像中の所望の対象物の予測される寸法を計算
することが可能となる。とくに、画像中の顔の寸法の予
測される範囲（range）を計算することが可能となる。
本発明は、デジタル画像に関連する画像獲得メタデータ
を必要とする。この画像獲得メタデータは、獲得源及び
デジタルファイルに特有の情報を含んでいる。これらの
メタデータの項目（item）は、デジタルスチルカメラな
どの画像獲得装置内の電子機器により、及び／又は、手
動式の写真入力装置（manual photographer input）に
よって収集されることができる。さらに、画像ファイル
に対するメタデータの関連付け（association）は、ル
ックアップテーブルを用いて、又は獲得情報の記録に備
えて準備する画像ファイルフォーマットを用いて行うこ
とができる。このようなフォーマットの一例は、ＪＥＩ
ＤＡ規格に記載されているエグジフ（Exif）画像ファイ
ルフォーマットである。すなわち、日本電子工業開発協
会（Japan Electronic Industry Development Associat
ion）による、１９９８年６月１２日発行の、バージョ
ン２.１のデジタルスチルカメラ画像ファイルフォーマ
ット規準（デジタル・スチル・カメラのための交換可能
な画像ファイルフォーマット：Exif）である。
【００１０】以下の説明において、本発明の好ましい実
施の形態はソフトウエアプログラムとして説明される。
このプログラムは、デジタル現像環境（digital photof
inishing environment）の一部として、又はデジタルカ
メラの一部として実施されることができる。
施の形態はソフトウエアプログラムとして説明される。
このプログラムは、デジタル現像環境（digital photof
inishing environment）の一部として、又はデジタルカ
メラの一部として実施されることができる。
【００１１】本発明の１つの実施の形態で用いられるメ
タデータは、次のものを含む。 ⇒ｆ−レンズの焦点距離（focal length） ⇒Ｆnumber−レンズのＦナンバー（f-number） ⇒Ｒ−焦点面解像度（２.５４ｃｍ（１インチ）あたり
の画素） ⇒ｓ−主距離（焦点面からレンズまでの距離）
タデータは、次のものを含む。 ⇒ｆ−レンズの焦点距離（focal length） ⇒Ｆnumber−レンズのＦナンバー（f-number） ⇒Ｒ−焦点面解像度（２.５４ｃｍ（１インチ）あたり
の画素） ⇒ｓ−主距離（焦点面からレンズまでの距離）
【００１２】次のパラメータが、上記のメタデータの項
目を用いて、計算されることができる。 ⇒ｄ−レンズ口径 ⇒ｃ−錯乱円（circle of confusion）の直径 ⇒ｌFAR−レンズから測定された、対象空間中の遠い方
の奥行き限界距離（far depth limit distance in obje
ct space） ⇒ｌNEAR−レンズから測定された、対象空間中の近い方
の奥行き限界距離（near depth limit distance in obj
ect space） ⇒Ｍ−倍率ファクタ（magnification factor） ⇒Ｗ０−予測される顔の幅（width of face） ⇒Ｓ（Ｗ）−スコア関数（scoring function）
目を用いて、計算されることができる。 ⇒ｄ−レンズ口径 ⇒ｃ−錯乱円（circle of confusion）の直径 ⇒ｌFAR−レンズから測定された、対象空間中の遠い方
の奥行き限界距離（far depth limit distance in obje
ct space） ⇒ｌNEAR−レンズから測定された、対象空間中の近い方
の奥行き限界距離（near depth limit distance in obj
ect space） ⇒Ｍ−倍率ファクタ（magnification factor） ⇒Ｗ０−予測される顔の幅（width of face） ⇒Ｓ（Ｗ）−スコア関数（scoring function）
【００１３】本発明で用いられるアプローチは、主距離
と、視野（field）の奥行きの近い方及び遠い方の境界
とにおける画像中の予測される顔の寸法を決定するため
に、レンズの焦点距離に沿った主距離のメタデータと、
Ｆナンバーと、画像面解像度のメタデータとを用いるこ
とである。人の顔の色及び形状を備えた画像コンテンツ
は、その寸法が主距離での平均の顔の寸法をつくる度合
いに基づいて得点（score）される。１つの最大値を有
するこのスコア（得点）は、顔の寸法に対して、視野の
奥行きの近い方及び遠い方の境界では０になる。このよ
うにして、多くの顔に似た領域は、レッドアイの検出に
含まれている画像処理の大半をバイパス（迂回）する。
かくして、画像毎の平均処理時間はフォールス・ポシテ
ィブ・レート（false positive rate）とともに低減さ
れる。
と、視野（field）の奥行きの近い方及び遠い方の境界
とにおける画像中の予測される顔の寸法を決定するため
に、レンズの焦点距離に沿った主距離のメタデータと、
Ｆナンバーと、画像面解像度のメタデータとを用いるこ
とである。人の顔の色及び形状を備えた画像コンテンツ
は、その寸法が主距離での平均の顔の寸法をつくる度合
いに基づいて得点（score）される。１つの最大値を有
するこのスコア（得点）は、顔の寸法に対して、視野の
奥行きの近い方及び遠い方の境界では０になる。このよ
うにして、多くの顔に似た領域は、レッドアイの検出に
含まれている画像処理の大半をバイパス（迂回）する。
かくして、画像毎の平均処理時間はフォールス・ポシテ
ィブ・レート（false positive rate）とともに低減さ
れる。
【００１４】レッドアイを検出するためのメタデータの
利用過程は、３つのステージに分けられる。第１のステ
ージは、カメラのメタデータを用いて視野の奥行きを計
算することである。次のステージは、視野の限界と主距
離とでの平均の顔の寸法を決定することである。最後の
ステージは、メタデータに基づいて予測される顔の寸法
を実際のレッドアイ検出アルゴリズムと一体化させるこ
とである。図２に示すように、本発明にかかる顔の検出
方法は、以下のように進行する。まず、入力画像データ
と獲得条件メタデータとがプロセスに入力される（ステ
ップ２２）。
利用過程は、３つのステージに分けられる。第１のステ
ージは、カメラのメタデータを用いて視野の奥行きを計
算することである。次のステージは、視野の限界と主距
離とでの平均の顔の寸法を決定することである。最後の
ステージは、メタデータに基づいて予測される顔の寸法
を実際のレッドアイ検出アルゴリズムと一体化させるこ
とである。図２に示すように、本発明にかかる顔の検出
方法は、以下のように進行する。まず、入力画像データ
と獲得条件メタデータとがプロセスに入力される（ステ
ップ２２）。
【００１５】次に、視野の奥行きが計算される（ステッ
プ２４）。画像面中の固定された錯乱円のための視野の
奥行きを求めるための等式は、１９９２年にＳＰＩＥオ
プティカル・エンジニアリング・プレス（SPIE Optical
Engineering Press）から発行された、Ｒ キングスレ
イク（R. Kingslake）による「写真における光学（Opti
cs in Photography）」の９２〜９６ページに記載のも
のを用いた。
プ２４）。画像面中の固定された錯乱円のための視野の
奥行きを求めるための等式は、１９９２年にＳＰＩＥオ
プティカル・エンジニアリング・プレス（SPIE Optical
Engineering Press）から発行された、Ｒ キングスレ
イク（R. Kingslake）による「写真における光学（Opti
cs in Photography）」の９２〜９６ページに記載のも
のを用いた。
【００１６】レンズと、視野の遠い方及び近い方の奥行
きの限界との間の距離は、次のとおりである。 ｌFAR＝ｓ／（１−Ｘ） ………………………………………………（１） ｌNEAR＝ｓ／（１＋Ｘ）………………………………………………（２） Ｘ＝（ｃ／ｆ・ｄ）・（ｓ−ｆ）……………………………………（３）
きの限界との間の距離は、次のとおりである。 ｌFAR＝ｓ／（１−Ｘ） ………………………………………………（１） ｌNEAR＝ｓ／（１＋Ｘ）………………………………………………（２） Ｘ＝（ｃ／ｆ・ｄ）・（ｓ−ｆ）……………………………………（３）
【００１７】上記等式において、ｓは主距離であり、ｆ
はレンズの焦点距離であり、ｄはレンズの口径であり、
ｃは錯乱円の直径である。レンズの口径は、焦点距離と
Ｆナンバーとの比率から簡単に求められる。 ｄ＝ｆ／Ｆnumber………………………………………………………（４）
はレンズの焦点距離であり、ｄはレンズの口径であり、
ｃは錯乱円の直径である。レンズの口径は、焦点距離と
Ｆナンバーとの比率から簡単に求められる。 ｄ＝ｆ／Ｆnumber………………………………………………………（４）
【００１８】メタデータは、ｓ、ｆ及びＦナンバーを含
んでいる。錯乱円ｃは、画像面で焦点を結ぶべきシーン
（scene）のコンテンツのための規準（criteria）に基
づいて設定されなければならない。直接ｃを設定せず
に、これを次の等式を用いて口径の比率ｒ（fraction o
f the aperture diameter）として計算してもよい。 ｃ＝ｒ・ｄ………………………………………………………………（５）
んでいる。錯乱円ｃは、画像面で焦点を結ぶべきシーン
（scene）のコンテンツのための規準（criteria）に基
づいて設定されなければならない。直接ｃを設定せず
に、これを次の等式を用いて口径の比率ｒ（fraction o
f the aperture diameter）として計算してもよい。 ｃ＝ｒ・ｄ………………………………………………………………（５）
【００１９】ある主距離ｓについて、Ｘが１の場合、視
野の遠い方の奥行き限界ｌFARは無限大となる。この主
距離は、至近結像距離と呼ばれている。計算する上で、
Ｘが１.０以上である場合、ｌFARの値は、非常に大きい
距離１０７メートルに設定される。
野の遠い方の奥行き限界ｌFARは無限大となる。この主
距離は、至近結像距離と呼ばれている。計算する上で、
Ｘが１.０以上である場合、ｌFARの値は、非常に大きい
距離１０７メートルに設定される。
【００２０】次に、画素中の幅として表された予測され
る顔の寸法が計算される（ステップ２６）。カメラから
距離ｌのところでの顔の画素中の予測される幅は、次の
等式により求められる。 Ｗ０＝Ｄface・Ｍ・Ｒ……………………………………………………（６） ここで、Ｄfaceは人の顔の平均の幅（width）であり、
Ｍは倍率であり、Ｒは画素／単位長における画像面解像
度である。倍率は、次の等式により求められる。 Ｍ＝ｆ／（ｌ−ｆ）………………………………………………………（７） 平均の顔の寸法Ｄfaceは、０.１５メートル（６.０イン
チ）に設定される。
る顔の寸法が計算される（ステップ２６）。カメラから
距離ｌのところでの顔の画素中の予測される幅は、次の
等式により求められる。 Ｗ０＝Ｄface・Ｍ・Ｒ……………………………………………………（６） ここで、Ｄfaceは人の顔の平均の幅（width）であり、
Ｍは倍率であり、Ｒは画素／単位長における画像面解像
度である。倍率は、次の等式により求められる。 Ｍ＝ｆ／（ｌ−ｆ）………………………………………………………（７） 平均の顔の寸法Ｄfaceは、０.１５メートル（６.０イン
チ）に設定される。
【００２１】次に、候補の顔に対するメタデータに基づ
いてスコアを指定するのに用いられる、図３中のグラフ
３０で示すスコア関数Ｓ（Ｗ）が計算される（ステップ
２８）。このスコア関数は、画素中に表現された顔の幅
Ｗに対するスコアに関連する。図３に示すように、スコ
ア関数は、予測される顔の幅Ｗ０のところで１.０の値
のピークを示す。そして、これは、それぞれ、カメラか
らの距離ｌFAR及びｌN EARに対応する最小の顔の幅Ｗmin
及び最大の顔の幅Ｗmaxのところで０となるように、直
線的に変化する。
いてスコアを指定するのに用いられる、図３中のグラフ
３０で示すスコア関数Ｓ（Ｗ）が計算される（ステップ
２８）。このスコア関数は、画素中に表現された顔の幅
Ｗに対するスコアに関連する。図３に示すように、スコ
ア関数は、予測される顔の幅Ｗ０のところで１.０の値
のピークを示す。そして、これは、それぞれ、カメラか
らの距離ｌFAR及びｌN EARに対応する最小の顔の幅Ｗmin
及び最大の顔の幅Ｗmaxのところで０となるように、直
線的に変化する。
【００２２】スコア関数の等式は、次のとおりである。
Ｗmin＜Ｗ＜Ｗ０の場合 Ｓ(Ｗ)＝１−(Ｗ０−Ｗ)／(Ｗ０−Ｗmin)
Ｗ０＜Ｗ＜Ｗmaxの場合 Ｓ(Ｗ)＝１−(Ｗ−Ｗ０)／(Ｗmax−Ｗ０)
その他の場合 Ｓ(Ｗ)＝０…………………………………（８）
【００２３】前記の特許文献１に記載されているレッド
アイ修正アルゴリズムは、画像中の候補の顔の領域を位
置決めするために、画像の処理及び分類を実施する。本
発明によれば、メタデータは、レッドアイアルゴリズム
中で、各候補の顔に対して等式（８）を用いてスコアを
指定（assign）するのに用いられる。
アイ修正アルゴリズムは、画像中の候補の顔の領域を位
置決めするために、画像の処理及び分類を実施する。本
発明によれば、メタデータは、レッドアイアルゴリズム
中で、各候補の顔に対して等式（８）を用いてスコアを
指定（assign）するのに用いられる。
【００２４】最後に、候補の顔の領域が顔であるかどう
かを決定するためのテストが行われる（ステップ３
１）。次の式が成立すれば、顔の候補は顔であると分類
される。 Ｓ（Ｗi）≧Ｓmin…………………………………………………………（９） ここで、Ｓminは、最小の顔のメタデータのスコアを設
定するパラメータである。この後、顔として分類された
顔の候補は、前記の特許文献１に記載されたレッドアイ
修正アルゴリズムを用いてレッドアイの存在が評価され
る。しきい値より小さいスコアをもつ顔の候補の領域
は、レッドアイ修正アルゴリズムのレッドアイ検出段階
では評価されない（ステップ３４）。
かを決定するためのテストが行われる（ステップ３
１）。次の式が成立すれば、顔の候補は顔であると分類
される。 Ｓ（Ｗi）≧Ｓmin…………………………………………………………（９） ここで、Ｓminは、最小の顔のメタデータのスコアを設
定するパラメータである。この後、顔として分類された
顔の候補は、前記の特許文献１に記載されたレッドアイ
修正アルゴリズムを用いてレッドアイの存在が評価され
る。しきい値より小さいスコアをもつ顔の候補の領域
は、レッドアイ修正アルゴリズムのレッドアイ検出段階
では評価されない（ステップ３４）。
【００２５】本発明の好ましい実施の形態に開示されて
いるレッドアイの検出及び修正アルゴリズムは、種々の
ユーザの背景（context）及び環境（enviroment）で用
いることができる。典型的な背景及び環境は、制限され
るわけではないが、次のものを含む。フィルムの取込
（film in）、デジタル処理、プリントアウトなどの典
型的な処理のステップ又は段階を含む卸売りデジタル現
像（wholesale digitalphotofinishing）。フィルムの
取込、デジタル処理、プリントアウトを含む小売デジタ
ル現像（retail digital photofinishing）。ホームプ
リンティング（家庭で読み込んだフィルム又はデジタル
画像、デジタル処理、プリントアウト）。デスクトップ
ソフトウエア（デジタルプリントにアルゴリズムを適用
して、それらをより良くし、又はそれらをちょうどよく
なるように変更するソフトウエア）。デジタル・フルフ
ィルメント（媒体又はウェブからのデジタル画像取込、
デジタル処理、媒体へのデジタル形態の画像出力、ウェ
ブでのデジタル形態、ハードコピープリンタでのプリン
ト）。売店（デジタル入力又はスキャン読み込み入力、
デジタル処理、デジタル出力又はハードコピー出力）。
モバイル機器（例えば、処理ユニットとして用いること
ができる携帯電話又はＰＤＡ、ディスプレイユニット、
又は処理命令を出すユニット）。ワールドワイドウェブ
を経由して提供されるサービス。
いるレッドアイの検出及び修正アルゴリズムは、種々の
ユーザの背景（context）及び環境（enviroment）で用
いることができる。典型的な背景及び環境は、制限され
るわけではないが、次のものを含む。フィルムの取込
（film in）、デジタル処理、プリントアウトなどの典
型的な処理のステップ又は段階を含む卸売りデジタル現
像（wholesale digitalphotofinishing）。フィルムの
取込、デジタル処理、プリントアウトを含む小売デジタ
ル現像（retail digital photofinishing）。ホームプ
リンティング（家庭で読み込んだフィルム又はデジタル
画像、デジタル処理、プリントアウト）。デスクトップ
ソフトウエア（デジタルプリントにアルゴリズムを適用
して、それらをより良くし、又はそれらをちょうどよく
なるように変更するソフトウエア）。デジタル・フルフ
ィルメント（媒体又はウェブからのデジタル画像取込、
デジタル処理、媒体へのデジタル形態の画像出力、ウェ
ブでのデジタル形態、ハードコピープリンタでのプリン
ト）。売店（デジタル入力又はスキャン読み込み入力、
デジタル処理、デジタル出力又はハードコピー出力）。
モバイル機器（例えば、処理ユニットとして用いること
ができる携帯電話又はＰＤＡ、ディスプレイユニット、
又は処理命令を出すユニット）。ワールドワイドウェブ
を経由して提供されるサービス。
【００２６】各ケースにおいて、このアルゴリズムは孤
立したものであってもよく、またより大きいシステムソ
リューション（system solution）の一部であってもよ
い。さらに、アルゴリズムとのインターフェース、例え
ばスキャン取込又は入力、デジタル処理、ユーザへの表
示（必要であれば）、ユーザの要求入力又は処理命令
（必要であれば）、あるいは出力は、それぞれ、同一又
は異なるデバイス及び物理的ロケーションに設けること
ができ、そしてデバイスとロケーションの間での通信
は、公共の又は私的なネットワーク接続又は媒体ベース
の通信設備により行うことができる。本発明の前記の開
示と矛盾しなければ、上記アルゴリズム自体を全面的に
自動化することができ、ユーザ入力（全面的又は部分的
に手動式）を行わせることができ、ユーザ又はオペレー
タに結果を受け入れ／拒絶するための検討を行わせるこ
とができ、あるいはメタデータ（ユーザによって供給さ
れることができ、測定装置（例えば、カメラ内の）によ
って供給されることができ、又はアルゴリズムによって
決定されることができるメタデータ）によってアシスト
されることができる。さらに、上記アルゴリズムは、種
々のワークフローユーザインターフェーススキーム（sc
hemes）と連動（interface）してもよい。
立したものであってもよく、またより大きいシステムソ
リューション（system solution）の一部であってもよ
い。さらに、アルゴリズムとのインターフェース、例え
ばスキャン取込又は入力、デジタル処理、ユーザへの表
示（必要であれば）、ユーザの要求入力又は処理命令
（必要であれば）、あるいは出力は、それぞれ、同一又
は異なるデバイス及び物理的ロケーションに設けること
ができ、そしてデバイスとロケーションの間での通信
は、公共の又は私的なネットワーク接続又は媒体ベース
の通信設備により行うことができる。本発明の前記の開
示と矛盾しなければ、上記アルゴリズム自体を全面的に
自動化することができ、ユーザ入力（全面的又は部分的
に手動式）を行わせることができ、ユーザ又はオペレー
タに結果を受け入れ／拒絶するための検討を行わせるこ
とができ、あるいはメタデータ（ユーザによって供給さ
れることができ、測定装置（例えば、カメラ内の）によ
って供給されることができ、又はアルゴリズムによって
決定されることができるメタデータ）によってアシスト
されることができる。さらに、上記アルゴリズムは、種
々のワークフローユーザインターフェーススキーム（sc
hemes）と連動（interface）してもよい。
【００２７】ここに開示された本発明にかかるアルゴリ
ズムは、種々のデータの検出及び低減（reduction）の
技術（例えば、顔の検出、目の検出、肌の検出、フラッ
シュの検出）を利用する内部要素（interior componen
t）を有していてもよい。
ズムは、種々のデータの検出及び低減（reduction）の
技術（例えば、顔の検出、目の検出、肌の検出、フラッ
シュの検出）を利用する内部要素（interior componen
t）を有していてもよい。
【００２８】
【発明の効果】本発明によれば、計算された範囲からは
ずれた肌色の領域は、レッドアイの検出における解析及
び修正を行うアルゴリズム部分では考慮されないので、
該方法の実行速度及び効率が高められる。
ずれた肌色の領域は、レッドアイの検出における解析及
び修正を行うアルゴリズム部分では考慮されないので、
該方法の実行速度及び効率が高められる。
【図１】 本発明を実施するのに有用な画像処理システ
ムを示すブロック図である。
ムを示すブロック図である。
【図２】 本発明にかかる顔の寸法の計算方法の詳細な
フローチャートである。
フローチャートである。
【図３】 顔の幅のスコアの指定を説明するのに有用な
グラフである。
グラフである。
１０ 画像処理システム、 １２ 画像処理コンピュー
タ、 １４ ネットワーク、 １５ 画像獲得装置、
１６ デジタル画像記憶装置、 １８ モニタ、 ２０
プリンタ、 ２１ オペレータ入力装置、 ２２ 画
像データ及びメタデータ入力ステップ、 ２４ フィー
ルド奥行き計算ステップ、 ２６ 候補の顔の幅の計算
ステップ、 ２８ スコア計算ステップ、 ３０ グラ
フ、 ３１ 顔検査ステップ、 ３２ 顔分類及びレッ
ドアイ評価ステップ、 ３４ レッドアイ非評価ステッ
プ。
タ、 １４ ネットワーク、 １５ 画像獲得装置、
１６ デジタル画像記憶装置、 １８ モニタ、 ２０
プリンタ、 ２１ オペレータ入力装置、 ２２ 画
像データ及びメタデータ入力ステップ、 ２４ フィー
ルド奥行き計算ステップ、 ２６ 候補の顔の幅の計算
ステップ、 ２８ スコア計算ステップ、 ３０ グラ
フ、 ３１ 顔検査ステップ、 ３２ 顔分類及びレッ
ドアイ評価ステップ、 ３４ レッドアイ非評価ステッ
プ。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 2F065 AA21 BB05 CC16 DD06 EE00
FF04 JJ03 JJ26 QQ03 QQ17
QQ24 QQ25 QQ26 QQ27 QQ42
SS06 SS13
4C038 VA07 VB03 VC05
5B057 BA11 CE16 DA08 DC03
5C054 FC08 FC12 FC15 HA05
Claims (2)
- 【請求項１】 ａ）主距離と焦点距離と焦点面解像度と
を含んでいる、人の顔の画像を含むデジタル画像に関連
する画像獲得用のメタデータを準備するステップと、 ｂ）標準的な顔の寸法を準備するステップと、 ｃ）メタデータと標準的な顔の寸法とを用いて、焦点面
での人の顔の寸法を計算するステップとを含むことを特
徴とする、デジタル画像中の人の顔の寸法を計算する方
法。 - 【請求項２】 ａ）デジタル画像中の肌色の領域を検出
するステップと、ｂ）ｉ）主距離と焦点距離と焦点面解
像度とを含んでいる、人の顔の画像を含 むデジタル画像に関連する画像獲得用のメタデータを準
備し、 ii）標準的な顔の寸法を準備し、 iii）メタデータと標準的な顔の寸法とを用いて人の顔
の寸法を計算することにより、デジタル画像中の人の顔
の予測される寸法を計算するステップと、 ｃ）検出された肌色の領域の寸法を、人の顔の計算され
た寸法と比較して、肌色の領域が人の顔であるかどうか
を決定するステップとを含むことを特徴とする、画像中
の顔を検出する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/082,458 US20030161506A1 (en) | 2002-02-25 | 2002-02-25 | Face detection computer program product for redeye correction |
| US10/082458 | 2002-02-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003344021A true JP2003344021A (ja) | 2003-12-03 |
Family
ID=27753098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003047171A Pending JP2003344021A (ja) | 2002-02-25 | 2003-02-25 | 画像中の人の顔の寸法を計算する方法及び顔を検出する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20030161506A1 (ja) |
| EP (1) | EP1347417A2 (ja) |
| JP (1) | JP2003344021A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006343953A (ja) * | 2005-06-08 | 2006-12-21 | Canon Inc | 画像処理方法、画像処理装置 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7630006B2 (en) * | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
| US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
| AUPQ464099A0 (en) * | 1999-12-14 | 2000-01-13 | Canon Kabushiki Kaisha | Emotive editing system |
| JP4045929B2 (ja) * | 2002-11-18 | 2008-02-13 | セイコーエプソン株式会社 | 被写体の大きさに応じた画質の自動調整 |
| GB2395853A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Association of metadata derived from facial images |
| JP3855939B2 (ja) * | 2003-01-31 | 2006-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法及び撮影装置 |
| US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
| US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
| US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
| US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
| US8254674B2 (en) * | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| EP1653279B1 (en) * | 2003-07-15 | 2019-02-06 | Omron Corporation | Object decision device and imaging device |
| US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
| US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
| US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
| JP2006025238A (ja) * | 2004-07-08 | 2006-01-26 | Fuji Photo Film Co Ltd | 撮像装置 |
| US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| US7599577B2 (en) * | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
| EP1987475A4 (en) | 2006-02-14 | 2009-04-22 | Fotonation Vision Ltd | AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS |
| IES20060564A2 (en) * | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
| WO2008023280A2 (en) | 2006-06-12 | 2008-02-28 | Fotonation Vision Limited | Advances in extending the aam techniques from grayscale to color images |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| EP2145288A4 (en) | 2007-03-05 | 2013-09-04 | Digitaloptics Corp Europe Ltd | FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION |
| US8503818B2 (en) * | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
| US8212864B2 (en) * | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
| US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
| US9378564B2 (en) * | 2013-03-01 | 2016-06-28 | Colormodules Inc. | Methods for color correcting digital images and devices thereof |
| US10255687B2 (en) * | 2015-02-05 | 2019-04-09 | Pixart Imaging Inc. | Distance measurement system applicable to different reflecting surfaces and operating method thereof |
| CN111738099B (zh) * | 2020-05-30 | 2023-11-07 | 华南理工大学 | 基于视频图像场景理解的人脸自动检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5128711A (en) * | 1989-04-28 | 1992-07-07 | Fuji Photo Film Co., Ltd. | Apparatus for recording position information of principal image and method of detecting principal image |
| JP3428072B2 (ja) * | 1993-06-07 | 2003-07-22 | 株式会社ニコン | 撮影データ表示システム |
| US6222583B1 (en) * | 1997-03-27 | 2001-04-24 | Nippon Telegraph And Telephone Corporation | Device and system for labeling sight images |
| US6252976B1 (en) * | 1997-08-29 | 2001-06-26 | Eastman Kodak Company | Computer program product for redeye detection |
| US6278491B1 (en) * | 1998-01-29 | 2001-08-21 | Hewlett-Packard Company | Apparatus and a method for automatically detecting and reducing red-eye in a digital image |
-
2002
- 2002-02-25 US US10/082,458 patent/US20030161506A1/en not_active Abandoned
-
2003
- 2003-02-13 EP EP03075423A patent/EP1347417A2/en not_active Withdrawn
- 2003-02-25 JP JP2003047171A patent/JP2003344021A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006343953A (ja) * | 2005-06-08 | 2006-12-21 | Canon Inc | 画像処理方法、画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030161506A1 (en) | 2003-08-28 |
| EP1347417A2 (en) | 2003-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003344021A (ja) | 画像中の人の顔の寸法を計算する方法及び顔を検出する方法 | |
| JP4373828B2 (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
| EP2549438B1 (en) | Apparatus and program for selecting photographic images | |
| US6654507B2 (en) | Automatically producing an image of a portion of a photographic image | |
| US6545743B1 (en) | Producing an image of a portion of a photographic image onto a receiver using a digital image of the photographic image | |
| US7756343B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
| US7848588B2 (en) | Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor | |
| US20070274573A1 (en) | Image processing method and image processing apparatus | |
| JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JP2005092759A (ja) | 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム | |
| JP2001309225A (ja) | 顔を検出するためのカメラ及び方法 | |
| JP2008523504A (ja) | ディジタル画像受容可能性自動判別 | |
| JP2005086516A (ja) | 撮像装置、印刷装置、画像処理装置およびプログラム | |
| JP2003234985A (ja) | 画像保管方法およびシステム並びにプログラム | |
| JP2004253970A (ja) | 画像処理装置、方法及びプログラム | |
| JP2003046844A (ja) | 強調表示方法、カメラおよび焦点強調表示システム | |
| JP2006293783A (ja) | 画像処理装置及び画像処理プログラム | |
| JP4239094B2 (ja) | 画像処理装置、方法、及びプログラム | |
| JP2003274271A (ja) | 画像撮影方法、画像出力方法、およびカメラ | |
| JP4239091B2 (ja) | 画像処理装置、方法、及びプログラム | |
| JP2005148915A (ja) | 適正顔判別方法及びこの方法を実施する装置 | |
| JP2006107289A (ja) | 画像ファイル管理装置、画像ファイル管理方法および画像ファイル管理プログラム | |
| JP2003022443A (ja) | 画像比較装置、画像比較方法、画像比較用プログラム、撮影装置、及び撮影方法。 | |
| RU2312395C1 (ru) | Способ сортировки цифровых изображений для качественной печати | |
| JP4400481B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080701 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080701 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080714 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080730 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080804 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081028 |