JP2002024811A - 影成分除去装置 - Google Patents
影成分除去装置Info
- Publication number
- JP2002024811A JP2002024811A JP2000211190A JP2000211190A JP2002024811A JP 2002024811 A JP2002024811 A JP 2002024811A JP 2000211190 A JP2000211190 A JP 2000211190A JP 2000211190 A JP2000211190 A JP 2000211190A JP 2002024811 A JP2002024811 A JP 2002024811A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- shadow
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 入力された顔画像に影が表れている場合であ
っても、顔画像から影を容易に除去すること。 【解決手段】 影成分除去装置は、多種類の影を持つ顔
画像の集合に対して主成分分析を行い固有空間を演算す
る主成分分析部と、主成分分析部で演算された固有ベク
トルを記憶する記憶部１０４と、新たな顔画像を入力す
る画像入力部１０２と、画像入力部１０２により入力さ
れた顔画像を記憶部１０４に記憶されている固有空間に
射影する射影部１２３と、画像入力部１０２により入力
された顔画像および射影部１２３により固有空間に射影
された画像に基づいて、影成分を除去した顔画像を合成
する画像合成部１２５とを備える。
っても、顔画像から影を容易に除去すること。 【解決手段】 影成分除去装置は、多種類の影を持つ顔
画像の集合に対して主成分分析を行い固有空間を演算す
る主成分分析部と、主成分分析部で演算された固有ベク
トルを記憶する記憶部１０４と、新たな顔画像を入力す
る画像入力部１０２と、画像入力部１０２により入力さ
れた顔画像を記憶部１０４に記憶されている固有空間に
射影する射影部１２３と、画像入力部１０２により入力
された顔画像および射影部１２３により固有空間に射影
された画像に基づいて、影成分を除去した顔画像を合成
する画像合成部１２５とを備える。
Description
【０００１】
【発明の属する技術分野】この発明は影成分除去装置に
関し、特に、入力された画像に含まれる影を除去する影
成分除去装置に関する。
関し、特に、入力された画像に含まれる影を除去する影
成分除去装置に関する。
【０００２】
【従来の技術】近年、人物の顔をカメラで撮影して得ら
れる顔画像を用いて、統計的画像処理を行なう研究が進
められている。統計的画像処理の応用技術として顔画像
に映し出された人物を特定する個人認識の技術などであ
る。
れる顔画像を用いて、統計的画像処理を行なう研究が進
められている。統計的画像処理の応用技術として顔画像
に映し出された人物を特定する個人認識の技術などであ
る。
【０００３】この統計的画像処理において、統計のサン
プルとなる顔画像から撮影条件の違いを取り除く処理が
必要となる。撮影条件が異なると人の顔に照射される光
線の方向が異なるため、同一人物であっても撮影して得
られる顔画像に表れる影の場所が異なるため、顔画像だ
けからは異なる人物として認識される場合がある。
プルとなる顔画像から撮影条件の違いを取り除く処理が
必要となる。撮影条件が異なると人の顔に照射される光
線の方向が異なるため、同一人物であっても撮影して得
られる顔画像に表れる影の場所が異なるため、顔画像だ
けからは異なる人物として認識される場合がある。
【０００４】このように、顔画像から影を除去する技術
としては、特開平１１−１８５０２５号公報、特開平６
−３４２４６５号公報、特開２０００−３００６５号公
報がある。
としては、特開平１１−１８５０２５号公報、特開平６
−３４２４６５号公報、特開２０００−３００６５号公
報がある。
【０００５】特開平１１−１８５０２５号公報には、顔
画像を顔の左右対象軸で折返し、折返し前の画像と折返
し後の画像とを加算することにより、正面から光が照射
された顔画像に近似する技術が記載されている。
画像を顔の左右対象軸で折返し、折返し前の画像と折返
し後の画像とを加算することにより、正面から光が照射
された顔画像に近似する技術が記載されている。
【０００６】特開平６−３４２４６５号公報には、２次
元の顔画像を３次元の楕円球に近似する変換を行ない、
変換された３次元の顔画像から反射光を分離および合成
することにより、影成分を除去する技術が記載されてい
る。
元の顔画像を３次元の楕円球に近似する変換を行ない、
変換された３次元の顔画像から反射光を分離および合成
することにより、影成分を除去する技術が記載されてい
る。
【０００７】特開２０００−３００６５号公報には、照
明条件が均一な状態で予め撮影された認証対象となる人
物の顔画像の集合を用いて、照明条件以外の条件を抽出
して認証を行なう技術が記載されている。
明条件が均一な状態で予め撮影された認証対象となる人
物の顔画像の集合を用いて、照明条件以外の条件を抽出
して認証を行なう技術が記載されている。
【０００８】
【発明が解決しようとする課題】しかしながら、特開平
１１−１８５０２５号公報に記載の技術は、顔画像を顔
の左右対象軸で折返した画像を用いるため、顔の左右方
向から光が照射される照明条件で撮像されて得られる顔
画像から影を除去することはできるが、光が上下方向ま
たは前後方向から照射される照明条件で撮像されて得ら
れる顔画像から影を除去することはできない。
１１−１８５０２５号公報に記載の技術は、顔画像を顔
の左右対象軸で折返した画像を用いるため、顔の左右方
向から光が照射される照明条件で撮像されて得られる顔
画像から影を除去することはできるが、光が上下方向ま
たは前後方向から照射される照明条件で撮像されて得ら
れる顔画像から影を除去することはできない。
【０００９】特開平６−３４２４６５号公報に記載の技
術は、２次元の顔画像を３次元の楕円球の画像に変換す
る処理が複雑で困難である。また、実際の人の顔は楕円
球とは異なるため、楕円球とは異なる部分、たとえば、
鼻などの部分で生じる影の分離および合成が正確にでき
ないといった問題がある。
術は、２次元の顔画像を３次元の楕円球の画像に変換す
る処理が複雑で困難である。また、実際の人の顔は楕円
球とは異なるため、楕円球とは異なる部分、たとえば、
鼻などの部分で生じる影の分離および合成が正確にでき
ないといった問題がある。
【００１０】特開２０００−３００６５号公報に記載の
技術は、認識の対象となる人物の顔画像を、同一の照明
条件で事前に準備しておく必要があり、制約が大きいと
いった問題がある。
技術は、認識の対象となる人物の顔画像を、同一の照明
条件で事前に準備しておく必要があり、制約が大きいと
いった問題がある。
【００１１】この発明は上述の問題点を解決するために
なされたもので、この発明の目的の１つは、入力された
顔画像に影が表れている場合であっても、顔画像から影
を容易に除去することが可能な影成分除去装置を提供す
ることである。
なされたもので、この発明の目的の１つは、入力された
顔画像に影が表れている場合であっても、顔画像から影
を容易に除去することが可能な影成分除去装置を提供す
ることである。
【００１２】この発明の他の目的は、入力された顔画像
に表れる影が、いかなる方向からの光により生じたもの
であっても、影を除去することが可能な影成分除去装置
を提供することである。
に表れる影が、いかなる方向からの光により生じたもの
であっても、影を除去することが可能な影成分除去装置
を提供することである。
【００１３】
【課題を解決するための手段】上述の目的を達成するた
めにこの発明のある局面に従うと、影成分除去装置は、
多種類の影を持つ顔画像の集合に対して主成分分析を行
ない固有空間を演算する演算手段と、演算手段で演算さ
れた固有ベクトルを記憶する記憶手段と、新たな顔画像
を入力する入力手段と、入力手段により入力された顔画
像を記憶手段に記憶されている固有空間に射影する射影
手段と、入力手段により入力された顔画像および射影手
段により固有空間に射影された画像に基づいて、影成分
を除去した顔画像を合成する合成手段とを備える。
めにこの発明のある局面に従うと、影成分除去装置は、
多種類の影を持つ顔画像の集合に対して主成分分析を行
ない固有空間を演算する演算手段と、演算手段で演算さ
れた固有ベクトルを記憶する記憶手段と、新たな顔画像
を入力する入力手段と、入力手段により入力された顔画
像を記憶手段に記憶されている固有空間に射影する射影
手段と、入力手段により入力された顔画像および射影手
段により固有空間に射影された画像に基づいて、影成分
を除去した顔画像を合成する合成手段とを備える。
【００１４】この発明に従えば、多種類の影を持つ顔画
像の集合に対して主成分分析を行ない固有空間が演算さ
れ、演算された固有ベクトルが記憶される。そして、新
たに入力された顔画像が固有空間に射影され、入力され
た顔画像および固有空間に射影された画像に基づいて、
影成分を除去した顔画像が合成される。このため、入力
された顔画像に影が表れている場合であっても、顔画像
から影を除去することが可能な影成分除去装置を提供す
ることができる。また、入力された顔画像および固有空
間に射影された画像に基づいて、影成分を除去した顔画
像を合成するので、入力された顔画像に表れる影が、い
かなる方向からの光により生じたものであっても、その
影を除去することが可能な影成分除去装置を提供するこ
とができる。
像の集合に対して主成分分析を行ない固有空間が演算さ
れ、演算された固有ベクトルが記憶される。そして、新
たに入力された顔画像が固有空間に射影され、入力され
た顔画像および固有空間に射影された画像に基づいて、
影成分を除去した顔画像が合成される。このため、入力
された顔画像に影が表れている場合であっても、顔画像
から影を除去することが可能な影成分除去装置を提供す
ることができる。また、入力された顔画像および固有空
間に射影された画像に基づいて、影成分を除去した顔画
像を合成するので、入力された顔画像に表れる影が、い
かなる方向からの光により生じたものであっても、その
影を除去することが可能な影成分除去装置を提供するこ
とができる。
【００１５】好ましくは、影成分除去装置の演算手段
は、それぞれの顔画像の各部位の形状を抽出する顔成分
抽出手段と、顔画像の集合に対する平均形状を算出する
平均形状算出手段と、各顔画像を算出された平均形状に
変換する平均形状変換手段と、平均形状に変換された顔
画像に対して主成分分析を行ない固有ベクトルを演算す
る主成分分析手段とを含むことを特徴とする。
は、それぞれの顔画像の各部位の形状を抽出する顔成分
抽出手段と、顔画像の集合に対する平均形状を算出する
平均形状算出手段と、各顔画像を算出された平均形状に
変換する平均形状変換手段と、平均形状に変換された顔
画像に対して主成分分析を行ない固有ベクトルを演算す
る主成分分析手段とを含むことを特徴とする。
【００１６】この発明に従えば、それぞれの顔画像の各
部位の形状が抽出され、顔画像の集合に対する平均形状
が算出される。各顔画像が、算出された平均形状に変換
され、平均形状に変換された顔画像に対して主成分分析
を行ない固有ベクトルが演算される。このため、入力さ
れた顔画像が平均形状に変換されるので、顔画像のテク
スチャの情報のみを考慮して主成分分析を行なうことが
できる。その結果、顔画像に表れる影の成分を容易に抽
出することが可能な影成分抽出装置を提供することがで
きる。
部位の形状が抽出され、顔画像の集合に対する平均形状
が算出される。各顔画像が、算出された平均形状に変換
され、平均形状に変換された顔画像に対して主成分分析
を行ない固有ベクトルが演算される。このため、入力さ
れた顔画像が平均形状に変換されるので、顔画像のテク
スチャの情報のみを考慮して主成分分析を行なうことが
できる。その結果、顔画像に表れる影の成分を容易に抽
出することが可能な影成分抽出装置を提供することがで
きる。
【００１７】さらに好ましくは、影成分抽出装置の射影
手段は、入力された顔画像の各部位の形状を抽出する顔
成分抽出手段と、入力された顔画像を演算手段で演算さ
れた平均形状に変換する平均形状変換手段と、平均形状
に変換された顔画像を固有空間に射影する固有空間射影
手段とを含むことを特徴とする。
手段は、入力された顔画像の各部位の形状を抽出する顔
成分抽出手段と、入力された顔画像を演算手段で演算さ
れた平均形状に変換する平均形状変換手段と、平均形状
に変換された顔画像を固有空間に射影する固有空間射影
手段とを含むことを特徴とする。
【００１８】この発明に従えば、入力された顔画像の各
部位の形状が抽出され、入力された顔画像が平均形状に
変換され、平均形状に変換された顔画像が固有空間に射
影される。このため、新たに入力された顔画像の形状が
固有空間で表現される顔画像の形状に合わせられる。そ
の結果、新たに入力される顔画像のテクスチャを固有空
間に正確に射影することができる。また、より正確に影
成分を除去することが可能な影成分除去装置を提供する
ことができる。
部位の形状が抽出され、入力された顔画像が平均形状に
変換され、平均形状に変換された顔画像が固有空間に射
影される。このため、新たに入力された顔画像の形状が
固有空間で表現される顔画像の形状に合わせられる。そ
の結果、新たに入力される顔画像のテクスチャを固有空
間に正確に射影することができる。また、より正確に影
成分を除去することが可能な影成分除去装置を提供する
ことができる。
【００１９】さらに好ましくは、影成分抽出装置の合成
手段は、固有空間に射影した画像と固有空間に射影して
影成分を除去した画像との差成分を演算し、この差成分
を入力手段により入力された顔画像から減算することに
より影成分を除去した顔画像を合成することを特徴とす
る。
手段は、固有空間に射影した画像と固有空間に射影して
影成分を除去した画像との差成分を演算し、この差成分
を入力手段により入力された顔画像から減算することに
より影成分を除去した顔画像を合成することを特徴とす
る。
【００２０】この発明に従えば、固有空間に射影した画
像と固有空間に射影して影成分を除去した画像との差成
分が演算され、この差成分が入力された顔画像から減算
されることにより影成分を除去した顔画像が合成され
る。このため、入力された顔画像から影成分を容易に除
去することが可能な影成分除去装置を提供することがで
きる。
像と固有空間に射影して影成分を除去した画像との差成
分が演算され、この差成分が入力された顔画像から減算
されることにより影成分を除去した顔画像が合成され
る。このため、入力された顔画像から影成分を容易に除
去することが可能な影成分除去装置を提供することがで
きる。
【００２１】さらに好ましくは、影成分除去装置は、固
有空間に射影した画像の第１成分から第３または第４成
分までが影成分の影響を受けた画像であることを特徴と
する。
有空間に射影した画像の第１成分から第３または第４成
分までが影成分の影響を受けた画像であることを特徴と
する。
【００２２】この発明に従えば、固有空間に射影した画
像の第１成分から第３または４成分までが影成分の影響
を受けた画像なので、影成分の影響を効果的に除去する
ことができる。
像の第１成分から第３または４成分までが影成分の影響
を受けた画像なので、影成分の影響を効果的に除去する
ことができる。
【００２３】さらに好ましくは、影成分除去装置は、合
成手段により合成された顔画像の形状を平均形状から元
の顔画像の形状に戻す元形状変換手段をさらに備える。
成手段により合成された顔画像の形状を平均形状から元
の顔画像の形状に戻す元形状変換手段をさらに備える。
【００２４】この発明に従えば、合成された顔画像の形
状が平均形状から元の顔画像の形状に戻されるので、元
の顔画像に表れる影を除去することができる。
状が平均形状から元の顔画像の形状に戻されるので、元
の顔画像に表れる影を除去することができる。
【００２５】この発明の他の局面に従えば、影成分除去
装置は、多種類の影を持つ画像の集合に対して統計的処
理を施して所定の画像空間を演算する演算手段と、演算
手段で演算された画像空間を記憶する記憶手段と、新た
な画像を入力する入力手段と、入力手段により入力され
た画像を記憶手段に記憶されている画像空間に射影する
射影手段と、入力手段により入力された画像および射影
手段により画像空間に射影された画像に基づいて、影成
分を除去した画像を合成する合成手段とを備える。
装置は、多種類の影を持つ画像の集合に対して統計的処
理を施して所定の画像空間を演算する演算手段と、演算
手段で演算された画像空間を記憶する記憶手段と、新た
な画像を入力する入力手段と、入力手段により入力され
た画像を記憶手段に記憶されている画像空間に射影する
射影手段と、入力手段により入力された画像および射影
手段により画像空間に射影された画像に基づいて、影成
分を除去した画像を合成する合成手段とを備える。
【００２６】この発明に従えば、多種類の影を持つ画像
の集合に対して統計的処理を施して所定の画像空間が演
算され、演算された画像空間が記憶される。そして、新
たな画像が入力され、入力された画像が画像空間に射影
され、入力された画像および画像空間に射影された画像
に基づいて、影成分を除去した画像が合成される。この
ため、入力された画像に影が表れている場合であって
も、画像から影を除去することが可能な影成分除去装置
を提供することができる。また、入力された画像および
固有空間に射影された画像に基づいて、影成分を除去し
た画像を合成するので、入力された画像に表れる影が、
いかなる方向からの光により生じたものであっても、影
を除去することが可能な影成分除去装置を提供すること
ができる。
の集合に対して統計的処理を施して所定の画像空間が演
算され、演算された画像空間が記憶される。そして、新
たな画像が入力され、入力された画像が画像空間に射影
され、入力された画像および画像空間に射影された画像
に基づいて、影成分を除去した画像が合成される。この
ため、入力された画像に影が表れている場合であって
も、画像から影を除去することが可能な影成分除去装置
を提供することができる。また、入力された画像および
固有空間に射影された画像に基づいて、影成分を除去し
た画像を合成するので、入力された画像に表れる影が、
いかなる方向からの光により生じたものであっても、影
を除去することが可能な影成分除去装置を提供すること
ができる。
【００２７】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、図中同一符号は同一
または相当する部材を示す。
て図面を参照して説明する。なお、図中同一符号は同一
または相当する部材を示す。
【００２８】図１は、本発明の実施の形態における影成
分除去装置の概略構成を示すブロック図である。図を参
照して、影成分除去装置１００は、制御部１０１と、人
の顔の画像を入力するための画像入力部１０２と、装置
の使用者がデータや種々の指示を入力するための操作部
１０３と、制御部１０１で実行するプログラムを記録し
たり、制御部１０１でプログラムを実行するために必要
な情報等を記憶するための記憶部１０４と、画像を出力
するための出力部１０５と、外部記憶装置１０６とを含
む。
分除去装置の概略構成を示すブロック図である。図を参
照して、影成分除去装置１００は、制御部１０１と、人
の顔の画像を入力するための画像入力部１０２と、装置
の使用者がデータや種々の指示を入力するための操作部
１０３と、制御部１０１で実行するプログラムを記録し
たり、制御部１０１でプログラムを実行するために必要
な情報等を記憶するための記憶部１０４と、画像を出力
するための出力部１０５と、外部記憶装置１０６とを含
む。
【００２９】制御部１０１は、中央演算装置（ＣＰＵ）
であり、画像処理装置の全体を制御する。画像入力部１
０２は、イメージスキャナであり、ライン型のＣＣＤセ
ンサを有する。顔が撮影された写真等を読込み、２次元
の顔画像を出力する。なお、実際の人物を撮影して２次
元の顔画像を出力することができるデジタルカメラ等を
用いることもできる。さらに、外部のイメージスキャナ
やデジタルカメラ等と接続するための入力端子であって
もよい。
であり、画像処理装置の全体を制御する。画像入力部１
０２は、イメージスキャナであり、ライン型のＣＣＤセ
ンサを有する。顔が撮影された写真等を読込み、２次元
の顔画像を出力する。なお、実際の人物を撮影して２次
元の顔画像を出力することができるデジタルカメラ等を
用いることもできる。さらに、外部のイメージスキャナ
やデジタルカメラ等と接続するための入力端子であって
もよい。
【００３０】記憶部１０４は、制御部１０１で実行する
ためのプログラムを記憶するＲＯＭと、制御部１０１で
プログラムを実行するのに必要な変数等を一時記憶する
ためのＲＡＭと、種々のデータを記憶するためのハード
ディスク等からなる。
ためのプログラムを記憶するＲＯＭと、制御部１０１で
プログラムを実行するのに必要な変数等を一時記憶する
ためのＲＡＭと、種々のデータを記憶するためのハード
ディスク等からなる。
【００３１】出力部１０５は、画像入力部１０２で入力
された画像や画像処理された後の画像を表示するための
ディスプレイである。また、ディスプレイとともにプリ
ンタを用いてもよい。
された画像や画像処理された後の画像を表示するための
ディスプレイである。また、ディスプレイとともにプリ
ンタを用いてもよい。
【００３２】外部記憶装置１０６は、記録媒体１０７に
記録されたプログラムや２次元の顔画像等を読込むため
のドライブである。記録媒体１０７は、光磁気ディス
ク、デジタルビデオディスク、または、コンパクトディ
スクドライブ等である。また、外部記録装置１０６は、
制御部１０１で影成分が除去された画像を記録媒体１０
７に書込むことができる。
記録されたプログラムや２次元の顔画像等を読込むため
のドライブである。記録媒体１０７は、光磁気ディス
ク、デジタルビデオディスク、または、コンパクトディ
スクドライブ等である。また、外部記録装置１０６は、
制御部１０１で影成分が除去された画像を記録媒体１０
７に書込むことができる。
【００３３】記録媒体１０７に影成分除去プログラムを
記録し、外部記憶装置１０６で読み込まれた影成分除去
プログラムを制御部１０１で実行するようにしてもよ
い。
記録し、外部記憶装置１０６で読み込まれた影成分除去
プログラムを制御部１０１で実行するようにしてもよ
い。
【００３４】図２は、影成分除去装置が有する影成分辞
書作成機能の概略を示す機能ブロック図である。図２を
参照して、制御部１０１は、顔画像から顔の各部位の形
状を抽出するための顔成分抽出部１１１と、顔画像デー
タベースに記憶されている顔画像の集合について平均の
形状を算出する平均形状算出部１１３と、顔画像を平均
の形状に変換して平均顔画像を生成する平均形状変換部
１１５と、平均顔画像に対して主成分分析を施して辞書
空間を生成する主成分分析部１１７と、生成された辞書
空間から影成分を抽出して影成分除去空間を生成する影
成分抽出部１１９とを含む。
書作成機能の概略を示す機能ブロック図である。図２を
参照して、制御部１０１は、顔画像から顔の各部位の形
状を抽出するための顔成分抽出部１１１と、顔画像デー
タベースに記憶されている顔画像の集合について平均の
形状を算出する平均形状算出部１１３と、顔画像を平均
の形状に変換して平均顔画像を生成する平均形状変換部
１１５と、平均顔画像に対して主成分分析を施して辞書
空間を生成する主成分分析部１１７と、生成された辞書
空間から影成分を抽出して影成分除去空間を生成する影
成分抽出部１１９とを含む。
【００３５】記憶部１０４は、人の顔を含む顔画像デー
タベースと、平均形状算出部で算出された平均形状と、
主成分分析部１１７で生成された辞書空間と、影成分抽
出部１１９で生成された影成分除去空間とを記憶する。
タベースと、平均形状算出部で算出された平均形状と、
主成分分析部１１７で生成された辞書空間と、影成分抽
出部１１９で生成された影成分除去空間とを記憶する。
【００３６】記憶部１０４の顔画像データベースには、
人物の顔を含む画像（以下「顔画像」という）が複数記
憶される。顔画像は、画像入力部１０２から入力され
る。また、外部記憶装置１０６を介して記録媒体１０７
に記録された顔画像を読み込むことにより、記憶部１０
４に記憶するようにしてもよい。顔画像データベースに
記憶される顔画像は、複数の人物それぞれについて複数
であってもよいし、複数の人物ごとに１枚であってもよ
い。さらに、１人の人物について複数であってもよい。
人物の顔を含む画像（以下「顔画像」という）が複数記
憶される。顔画像は、画像入力部１０２から入力され
る。また、外部記憶装置１０６を介して記録媒体１０７
に記録された顔画像を読み込むことにより、記憶部１０
４に記憶するようにしてもよい。顔画像データベースに
記憶される顔画像は、複数の人物それぞれについて複数
であってもよいし、複数の人物ごとに１枚であってもよ
い。さらに、１人の人物について複数であってもよい。
【００３７】複数枚の顔画像は、光源から被写体となる
顔に照射される光の方向が異なる必要がある。従って、
複数の顔画像は、一定の方向から顔に光が照射された状
態で撮影されて得られる顔画像ではなく、顔に照射され
る光の方向を変えた状態で撮像されることにより得られ
る画像であることが好ましい。光が被写体に照射される
方向は、上下方向、左右方向、前後方向の３自由度あ
る。この３自由度のうち少なくとも１つが異なるように
光が照射された状態で撮影された顔画像であるのが望ま
しい。また、複数の顔画像は、撮影時に被写体に照射さ
れる光の方向が、上記３自由のいずれかに偏らず、一様
に分布しているのが望ましい。
顔に照射される光の方向が異なる必要がある。従って、
複数の顔画像は、一定の方向から顔に光が照射された状
態で撮影されて得られる顔画像ではなく、顔に照射され
る光の方向を変えた状態で撮像されることにより得られ
る画像であることが好ましい。光が被写体に照射される
方向は、上下方向、左右方向、前後方向の３自由度あ
る。この３自由度のうち少なくとも１つが異なるように
光が照射された状態で撮影された顔画像であるのが望ま
しい。また、複数の顔画像は、撮影時に被写体に照射さ
れる光の方向が、上記３自由のいずれかに偏らず、一様
に分布しているのが望ましい。
【００３８】従って、画像データベースに記憶される顔
画像は、複数の人物について、それぞれ照明条件を異な
らせて撮影した複数の顔画像であることが好ましい。
画像は、複数の人物について、それぞれ照明条件を異な
らせて撮影した複数の顔画像であることが好ましい。
【００３９】顔成分抽出部１１１は、記憶部１０４の顔
画像データベースに記憶されている顔画像のそれぞれに
ついて、顔の輪郭と、顔画像に含まれる顔の目、鼻、
口、眉などの顔の各部分とを抽出して、それらの形状を
認識する。
画像データベースに記憶されている顔画像のそれぞれに
ついて、顔の輪郭と、顔画像に含まれる顔の目、鼻、
口、眉などの顔の各部分とを抽出して、それらの形状を
認識する。
【００４０】顔成分抽出部１１１で行なわれる形状の認
識は、予め定められた特徴点を手入力で指示する方法を
用いることができる。特徴点は、例えば、口元や目じり
といった、異なる人物間でも共通するポイントをいう。
操作者が、出力部１０５のディスプレイに表示された顔
画像を見て、特徴点を操作部１０３に備えられるマウス
などのポインティングデバイスで指示することにより、
特徴点の位置が入力される。特徴点の位置が入力される
ことにより、顔の輪郭と顔の各部分の形状を認識するこ
とができる。
識は、予め定められた特徴点を手入力で指示する方法を
用いることができる。特徴点は、例えば、口元や目じり
といった、異なる人物間でも共通するポイントをいう。
操作者が、出力部１０５のディスプレイに表示された顔
画像を見て、特徴点を操作部１０３に備えられるマウス
などのポインティングデバイスで指示することにより、
特徴点の位置が入力される。特徴点の位置が入力される
ことにより、顔の輪郭と顔の各部分の形状を認識するこ
とができる。
【００４１】また、エッジ検出処理や色抽出処理等の画
像処理技術を組み合わせることによっても、顔の輪郭と
顔の各部分それぞれの特徴点の位置を抽出することがで
きる。
像処理技術を組み合わせることによっても、顔の輪郭と
顔の各部分それぞれの特徴点の位置を抽出することがで
きる。
【００４２】平均形状算出部１１３は、記憶部１０４の
顔画像データベースに記憶されている顔画像で集合を形
成し、顔画像の集合に対して顔の平均の形状を算出す
る。算出された平均形状は、記憶部１０４に記憶され
る。平均形状は、顔成分抽出部で認識された特徴点を用
いて算出される。平均形状の算出は、顔画像を顔の大き
さで正規化した正規化画像を用いて行なわれる。正規化
画像は、顔の面積や顔の部位間の長さを同じにした画像
である。そして、正規化画像の原点を定め、各特徴点の
平均位置が算出される。原点は、例えば、左右の目じり
の特徴点を結んだ直線をＸ軸とし、顔の垂直方向の中心
線となるＹ軸としたときのＸ軸とＹ軸の交点とすること
ができる。
顔画像データベースに記憶されている顔画像で集合を形
成し、顔画像の集合に対して顔の平均の形状を算出す
る。算出された平均形状は、記憶部１０４に記憶され
る。平均形状は、顔成分抽出部で認識された特徴点を用
いて算出される。平均形状の算出は、顔画像を顔の大き
さで正規化した正規化画像を用いて行なわれる。正規化
画像は、顔の面積や顔の部位間の長さを同じにした画像
である。そして、正規化画像の原点を定め、各特徴点の
平均位置が算出される。原点は、例えば、左右の目じり
の特徴点を結んだ直線をＸ軸とし、顔の垂直方向の中心
線となるＹ軸としたときのＸ軸とＹ軸の交点とすること
ができる。
【００４３】平均形状変換部１１５は、集合に含まれる
顔画像を平均の形状に変換して平均顔画像を生成する。
これは、特徴点を用いて行なわれるが、特徴点以外の領
域も線型変換することにより変換される。平均形状への
変換は、集合に含まれる顔画像の画素ごとに、画素の座
標を平均形状の対応する座標へ変換するものである。こ
れにより、顔の形状が同じで、テクスチャが異なる平均
顔画像が、集合に含まれる顔画像の数だけ生成される。
顔画像を平均の形状に変換して平均顔画像を生成する。
これは、特徴点を用いて行なわれるが、特徴点以外の領
域も線型変換することにより変換される。平均形状への
変換は、集合に含まれる顔画像の画素ごとに、画素の座
標を平均形状の対応する座標へ変換するものである。こ
れにより、顔の形状が同じで、テクスチャが異なる平均
顔画像が、集合に含まれる顔画像の数だけ生成される。
【００４４】主成分分析部１１７は、平均顔画像の画素
値をベクトルとみなし、固有空間法を用いて固有ベクト
ルと固有値とを算出する。算出された固有ベクトルは、
それらを基底ベクトルとする辞書空間として、記憶部１
０４に記憶される。
値をベクトルとみなし、固有空間法を用いて固有ベクト
ルと固有値とを算出する。算出された固有ベクトルは、
それらを基底ベクトルとする辞書空間として、記憶部１
０４に記憶される。
【００４５】影成分抽出部１１９は、主成分分析部１１
７で生成された辞書空間から影成分を抽出して影成分除
去空間を生成する。主成分分析部１１７で生成された辞
書空間において、固有値の大きい順に第１成分から第４
成分までに、照明条件の影響が表れる。影成分抽出部１
１９では、辞書空間を定義する固有ベクトルのうち第５
成分以降を、それらを基底ベクトルとする影成分除去空
間として、記憶部１０４に記憶する。第１成分から第４
成分までは、平均形状に変換された顔画像のテクスチャ
を正規化するためのオフセット成分と、照明条件として
光源の方向の３自由度の成分とを表す。
７で生成された辞書空間から影成分を抽出して影成分除
去空間を生成する。主成分分析部１１７で生成された辞
書空間において、固有値の大きい順に第１成分から第４
成分までに、照明条件の影響が表れる。影成分抽出部１
１９では、辞書空間を定義する固有ベクトルのうち第５
成分以降を、それらを基底ベクトルとする影成分除去空
間として、記憶部１０４に記憶する。第１成分から第４
成分までは、平均形状に変換された顔画像のテクスチャ
を正規化するためのオフセット成分と、照明条件として
光源の方向の３自由度の成分とを表す。
【００４６】記憶部１０４の顔画像データベースに記憶
されている顔画像が、テクスチャを正規化した画像であ
る場合には、主成分分析部１１７で生成された辞書空間
において、固有値の大きい順に第１成分から第３成分ま
でに、照明条件の影響が表れる。したがって、影成分抽
出部１１９では、辞書空間を定義する固有ベクトルのう
ち第４成分以降を、それらを基底ベクトルとする影成分
除去空間として、記憶部１０４に記憶する。第１成分か
ら第３成分までは、照明条件として光源の方向の３自由
度の成分を表す。
されている顔画像が、テクスチャを正規化した画像であ
る場合には、主成分分析部１１７で生成された辞書空間
において、固有値の大きい順に第１成分から第３成分ま
でに、照明条件の影響が表れる。したがって、影成分抽
出部１１９では、辞書空間を定義する固有ベクトルのう
ち第４成分以降を、それらを基底ベクトルとする影成分
除去空間として、記憶部１０４に記憶する。第１成分か
ら第３成分までは、照明条件として光源の方向の３自由
度の成分を表す。
【００４７】ここで、テクスチャの正規化は、例えば、
各顔画像間で画素値のヒストグラムを等しくするヒスト
グラム正規化や、マンチェスター大学のコートらが提案
したアクティブ・アピアランス・モデル（ＡＡＭ）で用
いられる正規化を用いることができる。
各顔画像間で画素値のヒストグラムを等しくするヒスト
グラム正規化や、マンチェスター大学のコートらが提案
したアクティブ・アピアランス・モデル（ＡＡＭ）で用
いられる正規化を用いることができる。
【００４８】図３は、影成分除去装置が有する影成分除
去画像合成機能の概略を示す機能ブロック図である。図
３を参照して、制御部１０１は、画像入力部１０２から
入力された顔画像から顔の各部位の形状を抽出するため
の顔成分抽出部１１１と、顔画像を平均の形状に変換し
て平均顔画像を生成する平均形状変換部１１５と、平均
顔画像を辞書空間に射影して辞書画像を生成し、平均顔
画像を影成分除去空間に射影して除去画像を生成するた
めの辞書空間射影部１２３と、平均顔画像、辞書画像お
よび除去画像に基づき、平均顔画像から影成分を除去し
た影成分除去画像を生成する画像合成部１２５と、影成
分除去画像を元の形状に逆変換する元形状変換部１２７
とを含む。
去画像合成機能の概略を示す機能ブロック図である。図
３を参照して、制御部１０１は、画像入力部１０２から
入力された顔画像から顔の各部位の形状を抽出するため
の顔成分抽出部１１１と、顔画像を平均の形状に変換し
て平均顔画像を生成する平均形状変換部１１５と、平均
顔画像を辞書空間に射影して辞書画像を生成し、平均顔
画像を影成分除去空間に射影して除去画像を生成するた
めの辞書空間射影部１２３と、平均顔画像、辞書画像お
よび除去画像に基づき、平均顔画像から影成分を除去し
た影成分除去画像を生成する画像合成部１２５と、影成
分除去画像を元の形状に逆変換する元形状変換部１２７
とを含む。
【００４９】顔成分抽出部１１１は、画像入力部１０２
から新たに入力された顔画像について、顔の輪郭と、顔
画像に含まれる顔の目、鼻、口、眉などの顔の各部分と
を抽出して、それらの形状を認識する。
から新たに入力された顔画像について、顔の輪郭と、顔
画像に含まれる顔の目、鼻、口、眉などの顔の各部分と
を抽出して、それらの形状を認識する。
【００５０】平均形状変換部１１５は、画像入力部１０
２から新たに入力された顔画像を平均形状に変換する。
顔画像を平均形状に変換した画像を平均顔画像という。
平均形状は、上述した平均形状算出部１１３で算出さ
れ、記憶部１０４に記憶された平均形状である。平均形
状への変換式は、後述する元形状変換部１２７に送信さ
れる。
２から新たに入力された顔画像を平均形状に変換する。
顔画像を平均形状に変換した画像を平均顔画像という。
平均形状は、上述した平均形状算出部１１３で算出さ
れ、記憶部１０４に記憶された平均形状である。平均形
状への変換式は、後述する元形状変換部１２７に送信さ
れる。
【００５１】辞書空間射影部１２３は、平均顔画像を辞
書空間へ射影して、辞書パラメータを求める。求められ
た辞書パラメータは、画像合成部１２５に送信される。
また、辞書空間射影部１２３は、平均顔画像を影成分除
去空間へ射影して除去パラメータを求める。求められた
除去パラメータは、画像合成部１２５に送信される。
書空間へ射影して、辞書パラメータを求める。求められ
た辞書パラメータは、画像合成部１２５に送信される。
また、辞書空間射影部１２３は、平均顔画像を影成分除
去空間へ射影して除去パラメータを求める。求められた
除去パラメータは、画像合成部１２５に送信される。
【００５２】辞書空間において、辞書パラメータで表さ
れる画像を辞書画像という。影成分除去空間において、
除去パラメータで表される画像を除去画像という。
れる画像を辞書画像という。影成分除去空間において、
除去パラメータで表される画像を除去画像という。
【００５３】画像合成部１２５は、平均顔画像、辞書画
像、および、除去画像で対応する画素値を式（１）に基
づき演算することにより、顔画像から影成分を除去した
影成分除去画像を合成する。
像、および、除去画像で対応する画素値を式（１）に基
づき演算することにより、顔画像から影成分を除去した
影成分除去画像を合成する。
【００５４】 影成分除去画像＝平均顔画像―（辞書画像―除去画像） … （１） 元形状変換部１２７は、影成分除去画像を平均形状変換
部１１５で求めた変換式を用いて逆変換する。これによ
り、影成分除去画像の形状が、入力された顔画像の形状
に変換される。元の形状に変換された顔画像は、出力部
１０５から出力される。また、記憶部１０４に記憶する
ようにしてもよい。
部１１５で求めた変換式を用いて逆変換する。これによ
り、影成分除去画像の形状が、入力された顔画像の形状
に変換される。元の形状に変換された顔画像は、出力部
１０５から出力される。また、記憶部１０４に記憶する
ようにしてもよい。
【００５５】図４は、影成分除去装置で行なわれる影成
分辞書作成処理の流れを示すフローチャートである。図
４を参照して、まず、記憶部１０４の顔画像データベー
スに複数の顔画像が記憶される（ステップＳ０１）。記
憶される顔画像は、後述する辞書空間を生成するための
顔画像の集合とされる。顔画像データベースに記憶され
る顔画像は、画像入力部１０２から入力するようにして
もよいし、記録媒体１０７に記憶された顔画像を外部記
憶装置１０６から読み込むようにしてもよい。
分辞書作成処理の流れを示すフローチャートである。図
４を参照して、まず、記憶部１０４の顔画像データベー
スに複数の顔画像が記憶される（ステップＳ０１）。記
憶される顔画像は、後述する辞書空間を生成するための
顔画像の集合とされる。顔画像データベースに記憶され
る顔画像は、画像入力部１０２から入力するようにして
もよいし、記録媒体１０７に記憶された顔画像を外部記
憶装置１０６から読み込むようにしてもよい。
【００５６】記憶部１０４の顔画像データベースに記憶
されている顔画像が順に、顔の輪郭と、顔画像に含まれ
る顔の目、鼻、口、眉などの顔の各部分とが抽出され、
それらの形状が認識される（ステップＳ０２）。形状の
認識は、特徴点を用いて行なわれる。そして、顔画像デ
ータベースに記憶されている集合とされた顔画像のすべ
てについて、ステップＳ０２が実行されたか否かが判断
される（ステップＳ０３）。すべてについてステップＳ
０２が実行された場合には、ステップＳ０４に進み、そ
うでない場合には、ステップＳ０２が繰返し行なわれ
る。
されている顔画像が順に、顔の輪郭と、顔画像に含まれ
る顔の目、鼻、口、眉などの顔の各部分とが抽出され、
それらの形状が認識される（ステップＳ０２）。形状の
認識は、特徴点を用いて行なわれる。そして、顔画像デ
ータベースに記憶されている集合とされた顔画像のすべ
てについて、ステップＳ０２が実行されたか否かが判断
される（ステップＳ０３）。すべてについてステップＳ
０２が実行された場合には、ステップＳ０４に進み、そ
うでない場合には、ステップＳ０２が繰返し行なわれ
る。
【００５７】次に、顔画像の集合に対して、顔の平均の
形状が算出される（ステップＳ０４）。算出された平均
形状は、記憶部１０４に記憶される。平均形状は、ステ
ップＳ０２で認識された形状を用いて算出される。ま
た、平均形状の算出は、顔画像に含まれる顔の大きさで
正規化した正規化画像を用いて行なわれる。
形状が算出される（ステップＳ０４）。算出された平均
形状は、記憶部１０４に記憶される。平均形状は、ステ
ップＳ０２で認識された形状を用いて算出される。ま
た、平均形状の算出は、顔画像に含まれる顔の大きさで
正規化した正規化画像を用いて行なわれる。
【００５８】そして、集合に含まれる顔画像が順に、求
められた平均形状に変換され、平均顔画像が生成される
（ステップＳ０５）。平均形状への変換は、特徴点を用
いて行なわれる。また、特徴点以外の領域も線型変換す
ることにより変換される。
められた平均形状に変換され、平均顔画像が生成される
（ステップＳ０５）。平均形状への変換は、特徴点を用
いて行なわれる。また、特徴点以外の領域も線型変換す
ることにより変換される。
【００５９】集合に含まれる顔画像のすべてが平均形状
に変換されたか否かが判断される（ステップＳ０６）。
集合に含まれる全ての顔画像が平均形状に変換された場
合には、ステップＳ０７に進み、そうでない場合にはス
テップＳ０５が繰返し行なわれる。
に変換されたか否かが判断される（ステップＳ０６）。
集合に含まれる全ての顔画像が平均形状に変換された場
合には、ステップＳ０７に進み、そうでない場合にはス
テップＳ０５が繰返し行なわれる。
【００６０】ステップＳ０５で生成された平均顔画像の
画素値をベクトルとみなし、固有空間法を用いて、固有
ベクトルと固有値とが算出される。算出された固有ベク
トルは、それらを基底ベクトルとする辞書空間として、
記憶部１０４に記憶される。
画素値をベクトルとみなし、固有空間法を用いて、固有
ベクトルと固有値とが算出される。算出された固有ベク
トルは、それらを基底ベクトルとする辞書空間として、
記憶部１０４に記憶される。
【００６１】そして、生成された辞書空間から影成分が
抽出され、影成分を抽出した影成分除去空間が求められ
る（ステップＳ０８）。生成された辞書空間において、
固有値の大きい順に第１成分から第４成分までを影成分
として抽出し、辞書空間を定義する固有ベクトルのう
ち、第５成分以降を基底ベクトルとする固有空間を影成
分除去空間として、記憶部１０４に記憶する。第１成分
から第４成分までは、顔画像のテクスチャを正規化する
ためのオフセット成分と、照明条件として光源の方向の
３自由度の成分を表す。
抽出され、影成分を抽出した影成分除去空間が求められ
る（ステップＳ０８）。生成された辞書空間において、
固有値の大きい順に第１成分から第４成分までを影成分
として抽出し、辞書空間を定義する固有ベクトルのう
ち、第５成分以降を基底ベクトルとする固有空間を影成
分除去空間として、記憶部１０４に記憶する。第１成分
から第４成分までは、顔画像のテクスチャを正規化する
ためのオフセット成分と、照明条件として光源の方向の
３自由度の成分を表す。
【００６２】集合に含まれる顔画像が、テクスチャを正
規化した画像である場合には、辞書空間において、固有
値の大きい順に第１成分から第３成分までを影成分とし
て抽出し、辞書空間を定義する固有ベクトルのうち第４
成分以降を基底ベクトルとする固有空間を影成分除去空
間として、記憶部１０４に記憶する。第１成分から第３
成分までは、照明条件として光源の方向の３自由度の成
分を表す。
規化した画像である場合には、辞書空間において、固有
値の大きい順に第１成分から第３成分までを影成分とし
て抽出し、辞書空間を定義する固有ベクトルのうち第４
成分以降を基底ベクトルとする固有空間を影成分除去空
間として、記憶部１０４に記憶する。第１成分から第３
成分までは、照明条件として光源の方向の３自由度の成
分を表す。
【００６３】図５は、影成分除去装置で行なわれる影成
分除去画像合成処理の流れを示すフローチャートであ
る。図５を参照して、影成分除去画像合成処理では、ま
ず、新たに処理するべき顔画像が入力される（ステップ
Ｓ１１）。新たに入力される顔画像は、影成分を除去す
る対象となる画像である。顔画像は、画像入力部１０２
より入力される。
分除去画像合成処理の流れを示すフローチャートであ
る。図５を参照して、影成分除去画像合成処理では、ま
ず、新たに処理するべき顔画像が入力される（ステップ
Ｓ１１）。新たに入力される顔画像は、影成分を除去す
る対象となる画像である。顔画像は、画像入力部１０２
より入力される。
【００６４】新たに入力された顔画像は、顔画像に含ま
れる顔の輪郭と、目、鼻、口、眉などの顔の各部分とが
抽出される（ステップＳ１２）。これにより、入力され
た顔画像に含まれる顔の形状が認識される。
れる顔の輪郭と、目、鼻、口、眉などの顔の各部分とが
抽出される（ステップＳ１２）。これにより、入力され
た顔画像に含まれる顔の形状が認識される。
【００６５】そして、顔の形状が認識された顔画像が平
均形状に変換される（ステップＳ１３）。平均形状は、
記憶部１０４に記憶されている平均形状が用いられる。
これにより、新たに入力された顔画像に含まれる顔の形
状が、記憶部１０４に記憶されている辞書空間および影
成分除去空間で表される顔の形状と同じになる。平均形
状への変換式は、平均形状を元の顔の形状に逆変換する
ステップＳ１６で用いるためにメモリに記憶される。
均形状に変換される（ステップＳ１３）。平均形状は、
記憶部１０４に記憶されている平均形状が用いられる。
これにより、新たに入力された顔画像に含まれる顔の形
状が、記憶部１０４に記憶されている辞書空間および影
成分除去空間で表される顔の形状と同じになる。平均形
状への変換式は、平均形状を元の顔の形状に逆変換する
ステップＳ１６で用いるためにメモリに記憶される。
【００６６】次に、平均形状に変換された顔画像が辞書
空間へ射影されて辞書パラメータが求められ、かつ、平
均形状に変換された顔画像が影成分除去空間へ射影され
て除去パラメータが求められる（ステップＳ１４）。辞
書空間および影成分除去空間は、記憶部１０４に記憶さ
れている辞書空間および影成分除去空間が用いられる。
辞書空間において、辞書パラメータで表される画像を辞
書画像といい、影成分除去空間において、除去パラメー
タで表される画像を除去画像という。
空間へ射影されて辞書パラメータが求められ、かつ、平
均形状に変換された顔画像が影成分除去空間へ射影され
て除去パラメータが求められる（ステップＳ１４）。辞
書空間および影成分除去空間は、記憶部１０４に記憶さ
れている辞書空間および影成分除去空間が用いられる。
辞書空間において、辞書パラメータで表される画像を辞
書画像といい、影成分除去空間において、除去パラメー
タで表される画像を除去画像という。
【００６７】そして、平均形状に変換された顔画像、辞
書画像、および、除去画像で対応する画素値を上述の式
（１）に基づき演算することにより、顔画像から影成分
を除去した影成分除去画像が合成される（ステップＳ１
５）。
書画像、および、除去画像で対応する画素値を上述の式
（１）に基づき演算することにより、顔画像から影成分
を除去した影成分除去画像が合成される（ステップＳ１
５）。
【００６８】合成された影成分除去画像は、入力された
顔画像に含まれる顔の形状に逆変換される（ステップＳ
１６）。逆変換のための変換式は、ステップＳ１３で求
められた平均形状への変換式に基づき求められる。これ
により、影成分除去画像の形状が、入力された顔画像の
形状に変換される。
顔画像に含まれる顔の形状に逆変換される（ステップＳ
１６）。逆変換のための変換式は、ステップＳ１３で求
められた平均形状への変換式に基づき求められる。これ
により、影成分除去画像の形状が、入力された顔画像の
形状に変換される。
【００６９】以上説明したように、本実施の形態におけ
る影成分除去装置１００は、光源の方向が限定されない
照明条件で撮影されて得られる画像の集合を用いて辞書
空間を生成するようにしたので、辞書空間を生成するた
めに用いられる画像の照明条件を特に定める必要がな
く、容易に辞書空間を生成することができる。
る影成分除去装置１００は、光源の方向が限定されない
照明条件で撮影されて得られる画像の集合を用いて辞書
空間を生成するようにしたので、辞書空間を生成するた
めに用いられる画像の照明条件を特に定める必要がな
く、容易に辞書空間を生成することができる。
【００７０】また、光源の方向が多種多様な画像を用い
て辞書空間を生成するようにしたので、任意の方向から
の光が照射される照明条件で撮影された顔画像から、影
成分を除去することができる。
て辞書空間を生成するようにしたので、任意の方向から
の光が照射される照明条件で撮影された顔画像から、影
成分を除去することができる。
【００７１】また、辞書空間の生成と影成分の除去と
に、顔画像に含まれる顔の形状を正規化した顔画像を平
均形状へ変換した平均顔画像を用いるので、辞書空間の
生成に用いた顔画像の人物に含まれない人物の顔画像で
あっても、影成分を除去することができる。
に、顔画像に含まれる顔の形状を正規化した顔画像を平
均形状へ変換した平均顔画像を用いるので、辞書空間の
生成に用いた顔画像の人物に含まれない人物の顔画像で
あっても、影成分を除去することができる。
【００７２】さらに、あらゆる照明条件で撮像された顔
画像、また、あらゆる人物の顔画像から影成分を除去す
ることができるので、撮影する環境の条件を一致させる
ことなく、認証用の画像を収集することができる。
画像、また、あらゆる人物の顔画像から影成分を除去す
ることができるので、撮影する環境の条件を一致させる
ことなく、認証用の画像を収集することができる。
【００７３】なお、本実施の形態においては、主成分分
析を例に説明したが、他の多変量解析手法を用いること
ができる。また、本実施の形態においては影成分除去装
置について説明したが、図４および図５のフローチャー
トで示した処理を実行する影成分除去方法、または、影
成分除去プログラムを記録した記録媒体としても発明を
捉えることができる。
析を例に説明したが、他の多変量解析手法を用いること
ができる。また、本実施の形態においては影成分除去装
置について説明したが、図４および図５のフローチャー
トで示した処理を実行する影成分除去方法、または、影
成分除去プログラムを記録した記録媒体としても発明を
捉えることができる。
【００７４】また、本実施の形態における影成分除去装
置は、顔画像以外の画像にも適用することができ、例え
ば、人物の全身の画像から影成分を除去することができ
る。
置は、顔画像以外の画像にも適用することができ、例え
ば、人物の全身の画像から影成分を除去することができ
る。
【００７５】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【図１】 本発明の実施の形態の１つにおける影成分除
去装置の概略構成を示すブロック図である。
去装置の概略構成を示すブロック図である。
【図２】 影成分除去装置が有する影成分辞書作成機能
の概略を示す機能ブロック図である。
の概略を示す機能ブロック図である。
【図３】 影成分除去装置が有する影成分除去画像合成
機能の概略を示す機能ブロック図である。
機能の概略を示す機能ブロック図である。
【図４】 影成分除去装置で行なわれる影成分辞書作成
処理の流れを示すフローチャートである。
処理の流れを示すフローチャートである。
【図５】 影成分除去装置で行なわれる影成分除去画像
合成処理の流れを示すフローチャートである。
合成処理の流れを示すフローチャートである。
１００ 影成分除去装置、１０１ 制御部、１０２ 画
像入力部、１０３ 操作部、１０４ 記憶部、１０５
出力部、１０６ 外部記憶装置、１０７ 記録媒体、１
１１ 顔成分抽出部、１１３ 平均形状算出部、１１５
平均形状変換部、１１７ 主成分分析部、１１９ 影
成分抽出部、１２３ 辞書空間射影部、１２５ 画像合
成部、１２７ 元形状変換部。
像入力部、１０３ 操作部、１０４ 記憶部、１０５
出力部、１０６ 外部記憶装置、１０７ 記録媒体、１
１１ 顔成分抽出部、１１３ 平均形状算出部、１１５
平均形状変換部、１１７ 主成分分析部、１１９ 影
成分抽出部、１２３ 辞書空間射影部、１２５ 画像合
成部、１２７ 元形状変換部。
Claims (7)
- 【請求項１】 多種類の影を持つ顔画像の集合に対して
主成分分析を行ない固有空間を演算する演算手段と、 前記演算手段で演算された固有ベクトルを記憶する記憶
手段と、 新たな顔画像を入力する入力手段と、 前記入力手段により入力された顔画像を前記記憶手段に
記憶されている固有空間に射影する射影手段と、 前記入力手段により入力された顔画像および前記射影手
段により固有空間に射影された画像に基づいて、影成分
を除去した顔画像を合成する合成手段とを備えた影成分
除去装置。 - 【請求項２】 前記演算手段は、それぞれの顔画像の各
部位の形状を抽出する顔成分抽出手段と、 前記顔画像の集合に対する平均形状を算出する平均形状
算出手段と、 各顔画像を算出された平均形状に変換する平均形状変換
手段と、 平均形状に変換された顔画像に対して主成分分析を行な
い固有ベクトルを演算する主成分分析手段とを含むこと
を特徴とする、請求項１に記載の影成分除去装置。 - 【請求項３】 前記射影手段は、入力された顔画像の各
部位の形状を抽出する顔成分抽出手段と、 入力された顔画像を前記演算手段で演算された平均形状
に変換する平均形状変換手段と、 前記平均形状に変換された顔画像を前記固有空間に射影
する固有空間射影手段とを含むことを特徴とする、請求
項２に記載の影成分除去装置。 - 【請求項４】 前記合成手段は、固有空間に射影した画
像と固有空間に射影して影成分を除去した画像との差成
分を演算し、この差成分を入力手段により入力された顔
画像から減算することにより影成分を除去した顔画像を
合成することを特徴とする、請求項３に記載の影成分除
去装置。 - 【請求項５】 前記固有空間に射影した画像の第１成分
から第３または第４成分までが影成分の影響を受けた画
像であることを特徴とする、請求項４に記載の影成分除
去装置。 - 【請求項６】 前記合成手段により合成された顔画像の
形状を平均形状から元の顔画像の形状に戻す元形状変換
手段をさらに備えた、請求項４に記載の影成分除去装
置。 - 【請求項７】 多種類の影を持つ画像の集合に対して統
計的処理を施して所定の画像空間を演算する演算手段
と、 前記演算手段で演算された画像空間を記憶する記憶手段
と、 新たな画像を入力する入力手段と、 前記入力手段により入力された画像を前記記憶手段に記
憶されている画像空間に射影する射影手段と、 前記入力手段により入力された画像および前記射影手段
により画像空間に射影された画像に基づいて、影成分を
除去した画像を合成する合成手段とを備えた、影成分除
去装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000211190A JP4483042B2 (ja) | 2000-07-12 | 2000-07-12 | 影成分除去装置および影成分除去方法 |
| US09/902,098 US6975763B2 (en) | 2000-07-12 | 2001-07-11 | Shade component removing apparatus and shade component removing method for removing shade in image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000211190A JP4483042B2 (ja) | 2000-07-12 | 2000-07-12 | 影成分除去装置および影成分除去方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002024811A true JP2002024811A (ja) | 2002-01-25 |
| JP4483042B2 JP4483042B2 (ja) | 2010-06-16 |
Family
ID=18707344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000211190A Expired - Fee Related JP4483042B2 (ja) | 2000-07-12 | 2000-07-12 | 影成分除去装置および影成分除去方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6975763B2 (ja) |
| JP (1) | JP4483042B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005020337A (ja) * | 2003-06-26 | 2005-01-20 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| JP2006319870A (ja) * | 2005-05-16 | 2006-11-24 | Fujifilm Holdings Corp | 撮影装置および方法並びにプログラム |
| CN1313962C (zh) * | 2004-07-05 | 2007-05-02 | 南京大学 | 基于选择性多本征空间集成的数字人脸图像识别方法 |
| US7616789B2 (en) | 2002-05-13 | 2009-11-10 | Fujifilm Corporation | Method and apparatus for forming images and image furnishing service system |
| JP2009543161A (ja) * | 2006-06-30 | 2009-12-03 | 富士フイルム株式会社 | 拡散ベースの画像再照明のための方法および装置 |
| JP2010250419A (ja) * | 2009-04-13 | 2010-11-04 | Seiko Epson Corp | 目の様態を検出する画像処理装置 |
| WO2012144648A1 (ja) * | 2011-04-19 | 2012-10-26 | 日本電気株式会社 | 顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムを格納する記憶媒体 |
| DE102004015903B4 (de) * | 2003-03-31 | 2013-11-14 | Citizen Electronics Co., Ltd. | Lichtemissionsdiodeneinrichtung |
| US8923564B2 (en) | 2007-03-05 | 2014-12-30 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7190843B2 (en) * | 2002-02-01 | 2007-03-13 | Siemens Corporate Research, Inc. | Integrated approach to brightness and contrast normalization in appearance-based object detection |
| JP3855939B2 (ja) * | 2003-01-31 | 2006-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法及び撮影装置 |
| JP2007066227A (ja) * | 2005-09-02 | 2007-03-15 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| KR100647322B1 (ko) * | 2005-03-02 | 2006-11-23 | 삼성전자주식회사 | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 |
| US7642949B2 (en) * | 2006-08-03 | 2010-01-05 | Lockheed Martin Corporation | Illumination source for millimeter wave imaging |
| KR100858087B1 (ko) * | 2007-02-14 | 2008-09-10 | 삼성전자주식회사 | 객체 포즈 정규화 방법과 장치 및 객체 인식 방법 |
| US20100177095A1 (en) * | 2009-01-14 | 2010-07-15 | Harris Corporation | Geospatial modeling system for reducing shadows and other obscuration artifacts and related methods |
| JP6584179B2 (ja) * | 2015-07-13 | 2019-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| JP6624827B2 (ja) | 2015-07-13 | 2019-12-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| US10891502B1 (en) * | 2017-01-19 | 2021-01-12 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for alleviating driver distractions |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
| US5388167A (en) * | 1991-03-12 | 1995-02-07 | Hitachi, Ltd. | Document image processing system and document image processing method |
| JPH06342465A (ja) | 1993-06-01 | 1994-12-13 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| KR19980703120A (ko) * | 1995-03-20 | 1998-10-15 | 조안나 티. 라우 | 이미지 식별 시스템 및 방법 |
| US5844573A (en) * | 1995-06-07 | 1998-12-01 | Massachusetts Institute Of Technology | Image compression by pointwise prototype correspondence using shape and texture information |
| US5842194A (en) * | 1995-07-28 | 1998-11-24 | Mitsubishi Denki Kabushiki Kaisha | Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions |
| JPH09329527A (ja) * | 1996-04-08 | 1997-12-22 | Advantest Corp | 画像処理方法および画像処理装置 |
| US6122408A (en) * | 1996-04-30 | 2000-09-19 | Siemens Corporate Research, Inc. | Light normalization method for machine vision |
| JPH09326026A (ja) * | 1996-06-07 | 1997-12-16 | Advantest Corp | 画像処理方法及び画像処理装置 |
| US6430307B1 (en) * | 1996-06-18 | 2002-08-06 | Matsushita Electric Industrial Co., Ltd. | Feature extraction system and face image recognition system |
| US5901244A (en) * | 1996-06-18 | 1999-05-04 | Matsushita Electric Industrial Co., Ltd. | Feature extraction system and face image recognition system |
| US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
| US6345109B1 (en) * | 1996-12-05 | 2002-02-05 | Matsushita Electric Industrial Co., Ltd. | Face recognition-matching system effective to images obtained in different imaging conditions |
| US6185337B1 (en) * | 1996-12-17 | 2001-02-06 | Honda Giken Kogyo Kabushiki Kaisha | System and method for image recognition |
| JP3621245B2 (ja) * | 1997-12-12 | 2005-02-16 | 株式会社東芝 | 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体 |
| JPH11185025A (ja) | 1997-12-22 | 1999-07-09 | Victor Co Of Japan Ltd | 顔画像正規化装置 |
| US6088470A (en) * | 1998-01-27 | 2000-07-11 | Sensar, Inc. | Method and apparatus for removal of bright or dark spots by the fusion of multiple images |
| JP4087953B2 (ja) | 1998-07-14 | 2008-05-21 | 株式会社東芝 | パターン認識装置及びその方法 |
| US6466685B1 (en) * | 1998-07-14 | 2002-10-15 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method |
| US6292575B1 (en) * | 1998-07-20 | 2001-09-18 | Lau Technologies | Real-time facial recognition and verification system |
| US6625303B1 (en) * | 1999-02-01 | 2003-09-23 | Eastman Kodak Company | Method for automatically locating an image pattern in digital images using eigenvector analysis |
| EP1039417B1 (en) * | 1999-03-19 | 2006-12-20 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for the processing of images based on morphable models |
| JP4143305B2 (ja) * | 2001-01-30 | 2008-09-03 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
-
2000
- 2000-07-12 JP JP2000211190A patent/JP4483042B2/ja not_active Expired - Fee Related
-
2001
- 2001-07-11 US US09/902,098 patent/US6975763B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7616789B2 (en) | 2002-05-13 | 2009-11-10 | Fujifilm Corporation | Method and apparatus for forming images and image furnishing service system |
| DE102004015903B4 (de) * | 2003-03-31 | 2013-11-14 | Citizen Electronics Co., Ltd. | Lichtemissionsdiodeneinrichtung |
| JP2005020337A (ja) * | 2003-06-26 | 2005-01-20 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| JP4571378B2 (ja) * | 2003-06-26 | 2010-10-27 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| CN1313962C (zh) * | 2004-07-05 | 2007-05-02 | 南京大学 | 基于选择性多本征空间集成的数字人脸图像识别方法 |
| JP2006319870A (ja) * | 2005-05-16 | 2006-11-24 | Fujifilm Holdings Corp | 撮影装置および方法並びにプログラム |
| JP2009543161A (ja) * | 2006-06-30 | 2009-12-03 | 富士フイルム株式会社 | 拡散ベースの画像再照明のための方法および装置 |
| US8923564B2 (en) | 2007-03-05 | 2014-12-30 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
| US9224034B2 (en) | 2007-03-05 | 2015-12-29 | Fotonation Limited | Face searching and detection in a digital image acquisition device |
| JP2010250419A (ja) * | 2009-04-13 | 2010-11-04 | Seiko Epson Corp | 目の様態を検出する画像処理装置 |
| WO2012144648A1 (ja) * | 2011-04-19 | 2012-10-26 | 日本電気株式会社 | 顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムを格納する記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020006226A1 (en) | 2002-01-17 |
| US6975763B2 (en) | 2005-12-13 |
| JP4483042B2 (ja) | 2010-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7860340B2 (en) | Three-dimensional shape estimation system and image generation system | |
| JP4483042B2 (ja) | 影成分除去装置および影成分除去方法 | |
| JP5812599B2 (ja) | 情報処理方法及びその装置 | |
| EP1550082B1 (en) | Three dimensional face recognition | |
| JP5049356B2 (ja) | テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離 | |
| US9053388B2 (en) | Image processing apparatus and method, and computer-readable storage medium | |
| JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4886645B2 (ja) | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム | |
| US6934406B1 (en) | Image processing apparatus, image processing method, and recording medium recorded with image processing program to process image taking into consideration difference in image pickup condition using AAM | |
| KR100896643B1 (ko) | Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치 | |
| JP2009020761A (ja) | 画像処理装置及びその方法 | |
| Ouanan et al. | Facial landmark localization: Past, present and future | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| JP2001291108A (ja) | 画像処理装置およびその方法ならびにプログラム記録媒体 | |
| JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
| JP2005317000A (ja) | 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法 | |
| JP5419777B2 (ja) | 顔画像合成装置 | |
| JP5639499B2 (ja) | 顔画像処理装置 | |
| JP3940690B2 (ja) | 画像処理装置及びその方法 | |
| JP2000268161A (ja) | 実時間表情検出装置 | |
| JP4141090B2 (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| CN112990047A (zh) | 一种结合面部角度信息的多姿态人脸验证方法 | |
| JP2003228702A (ja) | 撮影条件検出装置および撮影条件検出プログラム | |
| Takaya et al. | Detection of facial components in a video sequence by independent component analysis | |
| JPH10162136A (ja) | 画像自動分類方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100315 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |