JP2001209802A - 顔抽出方法および装置並びに記録媒体 - Google Patents
顔抽出方法および装置並びに記録媒体Info
- Publication number
- JP2001209802A JP2001209802A JP2000329061A JP2000329061A JP2001209802A JP 2001209802 A JP2001209802 A JP 2001209802A JP 2000329061 A JP2000329061 A JP 2000329061A JP 2000329061 A JP2000329061 A JP 2000329061A JP 2001209802 A JP2001209802 A JP 2001209802A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- template
- color
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 人物の顔を含む画像から顔を簡易に抽出す
る。 【解決手段】 人物を含む画像および顔の形状を表す輪
郭線のデータからなる顔テンプレートＴをモニタ４に表
示する。ユーザは入力手段５を操作して、顔テンプレー
トＴを移動等して、画像中における抽出の対象となる顔
画像である顔領域と、顔テンプレートＴとの位置合わせ
を行う。抽出手段９は、この位置合わせの動作に応じ
て、顔領域と顔テンプレートＴとのマッチング度を算出
し、マッチング度が所定の閾値を越えた時点で、顔領域
が抽出された旨をモニタ４に表示する。抽出された顔領
域は色や階調を変更する処理に供される。
る。 【解決手段】 人物を含む画像および顔の形状を表す輪
郭線のデータからなる顔テンプレートＴをモニタ４に表
示する。ユーザは入力手段５を操作して、顔テンプレー
トＴを移動等して、画像中における抽出の対象となる顔
画像である顔領域と、顔テンプレートＴとの位置合わせ
を行う。抽出手段９は、この位置合わせの動作に応じ
て、顔領域と顔テンプレートＴとのマッチング度を算出
し、マッチング度が所定の閾値を越えた時点で、顔領域
が抽出された旨をモニタ４に表示する。抽出された顔領
域は色や階調を変更する処理に供される。
Description
【０００１】
【発明の属する技術分野】本発明は、人物の顔を含む画
像から顔の領域を抽出する顔抽出方法および装置、これ
らの方法および装置を用いた画像処理方法および装置並
びに顔抽出方法および画像処理方法をコンピュータに実
行させるためのプログラムを記録したコンピュータ読取
り可能な記録媒体に関するものである。
像から顔の領域を抽出する顔抽出方法および装置、これ
らの方法および装置を用いた画像処理方法および装置並
びに顔抽出方法および画像処理方法をコンピュータに実
行させるためのプログラムを記録したコンピュータ読取
り可能な記録媒体に関するものである。
【０００２】
【従来の技術】ネガフイルムやリバーサルフイルムなど
を用いて人物を撮影することにより得られた写真などの
画像において、最も注目される部位は人物の顔である。
しかしながら、アンダー露光や逆光で撮影を行った場合
には、人物の顔が黒くなってしまったり、ストロボを使
用して人物をアップで撮影した場合（ストロボハイコ
ン）には顔の階調を失って白くなってしまうという問題
がある。また天気の良い日に人物を撮影すると顔の半分
程度が陰となってしまいコントラストが大きくなるとい
う問題もある。このため、ネガフイルム等に記録された
原画像を感光材料に焼き付ける場合に、人物の顔が適正
な明るさとなるように、原画像中の人物の顔に相当する
領域に対して覆い焼きなどの手法を適用することにより
顔領域の露光量を調整するようにしている。
を用いて人物を撮影することにより得られた写真などの
画像において、最も注目される部位は人物の顔である。
しかしながら、アンダー露光や逆光で撮影を行った場合
には、人物の顔が黒くなってしまったり、ストロボを使
用して人物をアップで撮影した場合（ストロボハイコ
ン）には顔の階調を失って白くなってしまうという問題
がある。また天気の良い日に人物を撮影すると顔の半分
程度が陰となってしまいコントラストが大きくなるとい
う問題もある。このため、ネガフイルム等に記録された
原画像を感光材料に焼き付ける場合に、人物の顔が適正
な明るさとなるように、原画像中の人物の顔に相当する
領域に対して覆い焼きなどの手法を適用することにより
顔領域の露光量を調整するようにしている。
【０００３】一方、デジタル電子スチルカメラ（以下デ
ジタルカメラとする）において取得したデジタル画像デ
ータや、フイルムに記録された画像を読取ることにより
得られたデジタル画像データを、プリント等のハードコ
ピーとしてあるいはディスプレイ上にソフトコピーとし
て再現することが行われている。この際、上述したよう
なアンダー露光、逆光、ストロボハイコン等により原稿
の撮影が行われた場合は、人物の顔に対応する領域の画
像データに対して、明るさ、階調、色、シャープネスな
どの修正を施して、人物の顔を適切な明るさとするだけ
でなく、色、階調等を適切に再現することも可能であ
る。
ジタルカメラとする）において取得したデジタル画像デ
ータや、フイルムに記録された画像を読取ることにより
得られたデジタル画像データを、プリント等のハードコ
ピーとしてあるいはディスプレイ上にソフトコピーとし
て再現することが行われている。この際、上述したよう
なアンダー露光、逆光、ストロボハイコン等により原稿
の撮影が行われた場合は、人物の顔に対応する領域の画
像データに対して、明るさ、階調、色、シャープネスな
どの修正を施して、人物の顔を適切な明るさとするだけ
でなく、色、階調等を適切に再現することも可能であ
る。
【０００４】このように、画像データに対して修正を施
す場合には、画像データにより表される画像から人物の
顔に対応する顔領域を抽出する必要がある。このため、
例えばモニタに表示された画像中に顔を含む領域を指定
し、この指定された領域中において顔の肌色部分の画素
を指定し、この指定された画素の色を基準とした所定範
囲の色の画素を顔領域としてこれを抽出するようにした
方法が提案されている（方法１）。また、モニタに表示
された画像において、マウスを使用して顔の輪郭を指定
し、その指定された輪郭により囲まれた領域を顔領域と
して抽出する方法も提案されている（方法２）。
す場合には、画像データにより表される画像から人物の
顔に対応する顔領域を抽出する必要がある。このため、
例えばモニタに表示された画像中に顔を含む領域を指定
し、この指定された領域中において顔の肌色部分の画素
を指定し、この指定された画素の色を基準とした所定範
囲の色の画素を顔領域としてこれを抽出するようにした
方法が提案されている（方法１）。また、モニタに表示
された画像において、マウスを使用して顔の輪郭を指定
し、その指定された輪郭により囲まれた領域を顔領域と
して抽出する方法も提案されている（方法２）。
【０００５】
【発明が解決しようとする課題】しかしながら、方法１
では指定した肌色を基準とした所定範囲にある画素のみ
を抽出するものであるため、顔画像のコントラストが大
きいと全ての顔の領域を抽出することができない。ま
た、顔の背景が指定した肌色を基準とした所定範囲の色
である場合には、顔領域とともに背景も抽出されてしま
う。さらに、方法２では、マウスにより顔の輪郭を正確
に指定する必要があるため、領域を指定するための操作
が非常に煩わしい。
では指定した肌色を基準とした所定範囲にある画素のみ
を抽出するものであるため、顔画像のコントラストが大
きいと全ての顔の領域を抽出することができない。ま
た、顔の背景が指定した肌色を基準とした所定範囲の色
である場合には、顔領域とともに背景も抽出されてしま
う。さらに、方法２では、マウスにより顔の輪郭を正確
に指定する必要があるため、領域を指定するための操作
が非常に煩わしい。
【０００６】本発明は上記事情に鑑みなされたものであ
り、画像から人物の顔を精度よく抽出できる顔抽出方法
および装置、顔抽出方法および装置を用いた画像処理方
法および装置並びに顔抽出方法および画像処理方法をコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読取り可能な記録媒体を提供することを目的
とするものである。
り、画像から人物の顔を精度よく抽出できる顔抽出方法
および装置、顔抽出方法および装置を用いた画像処理方
法および装置並びに顔抽出方法および画像処理方法をコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読取り可能な記録媒体を提供することを目的
とするものである。
【０００７】
【課題を解決するための手段】本発明による顔抽出方法
は、人物の顔を含む画像から顔領域を抽出する顔抽出方
法であって、前記画像と予め定められた顔テンプレート
とを表示し、入力手段からの入力に応じて、前記顔テン
プレートおよび／または前記画像を移動、変形および／
または回転して、該顔テンプレートと抽出すべき顔領域
との位置合わせを行い、該位置合わせ結果に基づいて、
前記顔領域を抽出することを特徴とするものである。
は、人物の顔を含む画像から顔領域を抽出する顔抽出方
法であって、前記画像と予め定められた顔テンプレート
とを表示し、入力手段からの入力に応じて、前記顔テン
プレートおよび／または前記画像を移動、変形および／
または回転して、該顔テンプレートと抽出すべき顔領域
との位置合わせを行い、該位置合わせ結果に基づいて、
前記顔領域を抽出することを特徴とするものである。
【０００８】ここで、「顔テンプレート」とは、少なく
とも一般的な人間の顔の形状および目の位置を輪郭線に
より表すものであるが、顔の形状および目の位置に加え
て、口の位置、耳の位置などの顔を構成する部品を含む
ものであってもよい。また、「顔テンプレート」は２次
元形状を有するものであってもよいが、３次元形状を有
するものであることが好ましい。とくに３次元形状の場
合は、その３次元形状が３次元ワイヤーフレームにより
形成されてなることが好ましい。さらに、顔テンプレー
トは、顔の色である肌色とは異なる色を有するものとす
ることが好ましく、とくに肌色の補色であるＣＢ（シア
ン〜ブルー）色とすることが好ましい。
とも一般的な人間の顔の形状および目の位置を輪郭線に
より表すものであるが、顔の形状および目の位置に加え
て、口の位置、耳の位置などの顔を構成する部品を含む
ものであってもよい。また、「顔テンプレート」は２次
元形状を有するものであってもよいが、３次元形状を有
するものであることが好ましい。とくに３次元形状の場
合は、その３次元形状が３次元ワイヤーフレームにより
形成されてなることが好ましい。さらに、顔テンプレー
トは、顔の色である肌色とは異なる色を有するものとす
ることが好ましく、とくに肌色の補色であるＣＢ（シア
ン〜ブルー）色とすることが好ましい。
【０００９】また、「入力手段からの入力に応じて」と
は、ユーザによるマウスやキーボードからの入力に応じ
ての意である。
は、ユーザによるマウスやキーボードからの入力に応じ
ての意である。
【００１０】さらに、「顔テンプレートおよび／または
画像を移動、変形および／または回転して、顔テンプレ
ートと抽出すべき顔領域との位置合わせを行う」とは、
例えば、ユーザがマウスやキーボードを用いて顔テンプ
レートおよび／または画像の位置や大きさを変更した
り、顔テンプレートおよび／または画像を回転させたり
等することにより、抽出すべき顔領域と顔テンプレート
との位置合わせをマニュアル操作により行うものであ
る。なお、顔テンプレートが３次元形状を有する場合に
は、顔テンプレートの向きを変更することにより顔テン
プレートを変形することも可能である。ここで、画像を
移動等する場合は、画像全体のみならず、画像内の顔領
域に対応する部分のみあるいは顔領域を含む所定範囲の
領域のみを移動等してもよい。
画像を移動、変形および／または回転して、顔テンプレ
ートと抽出すべき顔領域との位置合わせを行う」とは、
例えば、ユーザがマウスやキーボードを用いて顔テンプ
レートおよび／または画像の位置や大きさを変更した
り、顔テンプレートおよび／または画像を回転させたり
等することにより、抽出すべき顔領域と顔テンプレート
との位置合わせをマニュアル操作により行うものであ
る。なお、顔テンプレートが３次元形状を有する場合に
は、顔テンプレートの向きを変更することにより顔テン
プレートを変形することも可能である。ここで、画像を
移動等する場合は、画像全体のみならず、画像内の顔領
域に対応する部分のみあるいは顔領域を含む所定範囲の
領域のみを移動等してもよい。
【００１１】なお、本発明による顔抽出方法において
は、前記位置合わせ結果に基づいて、前記顔テンプレー
トと前記顔領域とのマッチング度を算出し、該マッチン
グ度に基づいて前記顔領域を抽出することが好ましい。
は、前記位置合わせ結果に基づいて、前記顔テンプレー
トと前記顔領域とのマッチング度を算出し、該マッチン
グ度に基づいて前記顔領域を抽出することが好ましい。
【００１２】「マッチング度に基づいて顔領域を抽出す
る」とは、例えばマッチング度が予め定められた値以上
となった場合に、画像上において顔テンプレートと対応
する領域を顔領域として抽出することをという。
る」とは、例えばマッチング度が予め定められた値以上
となった場合に、画像上において顔テンプレートと対応
する領域を顔領域として抽出することをという。
【００１３】この場合、前記顔テンプレートおよび前記
画像上の該顔テンプレートと対応する領域におけるボケ
画像を作成し、該各ボケ画像上において前記マッチング
度の算出を行うことが好ましい。
画像上の該顔テンプレートと対応する領域におけるボケ
画像を作成し、該各ボケ画像上において前記マッチング
度の算出を行うことが好ましい。
【００１４】本発明による顔抽出装置は、人物の顔を含
む画像から顔領域を抽出する顔抽出装置であって、前記
画像と予め定められた顔テンプレートとを表示する表示
手段と、前記顔テンプレートおよび／または前記画像を
移動、変形および／または回転するための入力を受け付
ける入力手段と、該入力手段からの入力に応じて、前記
顔テンプレートおよび／または前記画像を移動、変形お
よび／または回転して前記顔テンプレートと抽出すべき
顔領域との位置合わせを行う位置合わせ手段と、該位置
合わせ手段による位置合わせ結果に基づいて、前記顔領
域を抽出する抽出手段とを備えたことを特徴とするもの
である。
む画像から顔領域を抽出する顔抽出装置であって、前記
画像と予め定められた顔テンプレートとを表示する表示
手段と、前記顔テンプレートおよび／または前記画像を
移動、変形および／または回転するための入力を受け付
ける入力手段と、該入力手段からの入力に応じて、前記
顔テンプレートおよび／または前記画像を移動、変形お
よび／または回転して前記顔テンプレートと抽出すべき
顔領域との位置合わせを行う位置合わせ手段と、該位置
合わせ手段による位置合わせ結果に基づいて、前記顔領
域を抽出する抽出手段とを備えたことを特徴とするもの
である。
【００１５】なお、本発明による顔抽出装置において
は、前記抽出手段は、前記位置合わせ手段による位置合
わせ結果に基づいて、前記顔テンプレートと前記顔領域
とのマッチング度を算出し、該マッチング度に基づいて
前記顔領域を抽出する手段であることが好ましい。
は、前記抽出手段は、前記位置合わせ手段による位置合
わせ結果に基づいて、前記顔テンプレートと前記顔領域
とのマッチング度を算出し、該マッチング度に基づいて
前記顔領域を抽出する手段であることが好ましい。
【００１６】この場合、前記抽出手段は、前記顔テンプ
レートおよび前記画像上の該顔テンプレートと対応する
領域におけるボケ画像を作成し、該各ボケ画像上におい
て前記マッチング度の算出を行う手段であることが好ま
しい。
レートおよび前記画像上の該顔テンプレートと対応する
領域におけるボケ画像を作成し、該各ボケ画像上におい
て前記マッチング度の算出を行う手段であることが好ま
しい。
【００１７】また、本発明による顔抽出装置において
は、前記顔テンプレートが、３次元形状を有することが
好ましい。この場合、３次元形状が３次元ワイヤーフレ
ームにより形成されてなることが好ましい。
は、前記顔テンプレートが、３次元形状を有することが
好ましい。この場合、３次元形状が３次元ワイヤーフレ
ームにより形成されてなることが好ましい。
【００１８】また、本発明による顔抽出装置において
は、前記顔テンプレートが肌色と異なる色、とくに肌色
の補色を有するものとすることが好ましい。
は、前記顔テンプレートが肌色と異なる色、とくに肌色
の補色を有するものとすることが好ましい。
【００１９】本発明による画像処理方法は、本発明によ
る顔抽出方法により抽出された顔領域に対して画像処理
を施す画像処理方法であって、前記顔領域を含む所望と
する領域の色階調を予め定められた目標画像の色階調に
変更することを特徴とするものである。
る顔抽出方法により抽出された顔領域に対して画像処理
を施す画像処理方法であって、前記顔領域を含む所望と
する領域の色階調を予め定められた目標画像の色階調に
変更することを特徴とするものである。
【００２０】ここで、「顔領域を含む所望とする領域」
とは、顔領域全体のみならず、顔領域の中の特定の領
域、顔領域が含まれる画像全体、あるいは顔領域とこれ
以外の領域からなる領域をも含むものである。
とは、顔領域全体のみならず、顔領域の中の特定の領
域、顔領域が含まれる画像全体、あるいは顔領域とこれ
以外の領域からなる領域をも含むものである。
【００２１】本発明による画像処理装置は、本発明によ
る顔抽出装置により抽出された顔領域に対して画像処理
を施す画像処理装置であって、前記顔領域を含む所望と
する領域の色階調を予め定められた目標画像の色階調に
変更する変更手段を備えたことを特徴とするものであ
る。
る顔抽出装置により抽出された顔領域に対して画像処理
を施す画像処理装置であって、前記顔領域を含む所望と
する領域の色階調を予め定められた目標画像の色階調に
変更する変更手段を備えたことを特徴とするものであ
る。
【００２２】なお、本発明による顔抽出方法および画像
処理方法をコンピュータに実行させるためのプログラム
として、コンピュータ読取り可能な記録媒体に記録して
提供してもよい。
処理方法をコンピュータに実行させるためのプログラム
として、コンピュータ読取り可能な記録媒体に記録して
提供してもよい。
【００２３】
【発明の効果】本発明によれば、入力手段からの入力に
応じて、顔テンプレートおよび／または画像を移動、変
形および／または回転することにより、顔テンプレート
と抽出すべき顔領域との位置合わせが行われ、この位置
合わせ結果に基づいて顔領域が抽出される。このため、
顔領域のコントラストが大きい場合でも、顔テンプレー
トと抽出すべき顔領域とを一致させれば、顔領域の全体
を抽出することができる。また、顔の背景が肌色に近い
色を有するものであっても、画像から顔領域のみを抽出
することができる。さらに、顔テンプレートおよび／ま
たは画像を移動、変形および／または回転させることに
より、顔テンプレートと顔領域との位置合わせを行って
いるため、上記方法２のように顔の輪郭を正確に指定す
る必要がなくなり、顔領域を指定するための操作の煩わ
しさを軽減できる。したがって、画像から顔領域を簡易
かつ正確に抽出することができることとなる。
応じて、顔テンプレートおよび／または画像を移動、変
形および／または回転することにより、顔テンプレート
と抽出すべき顔領域との位置合わせが行われ、この位置
合わせ結果に基づいて顔領域が抽出される。このため、
顔領域のコントラストが大きい場合でも、顔テンプレー
トと抽出すべき顔領域とを一致させれば、顔領域の全体
を抽出することができる。また、顔の背景が肌色に近い
色を有するものであっても、画像から顔領域のみを抽出
することができる。さらに、顔テンプレートおよび／ま
たは画像を移動、変形および／または回転させることに
より、顔テンプレートと顔領域との位置合わせを行って
いるため、上記方法２のように顔の輪郭を正確に指定す
る必要がなくなり、顔領域を指定するための操作の煩わ
しさを軽減できる。したがって、画像から顔領域を簡易
かつ正確に抽出することができることとなる。
【００２４】また、位置合わせ結果に基づいて、顔テン
プレートと顔領域とのマッチング度を求め、このマッチ
ング度に基づいて顔領域を抽出することにより、顔テン
プレートと顔領域とをある程度正確に位置合わせしなけ
れば顔領域が抽出できないため、顔領域をより正確に抽
出できることとなる。
プレートと顔領域とのマッチング度を求め、このマッチ
ング度に基づいて顔領域を抽出することにより、顔テン
プレートと顔領域とをある程度正確に位置合わせしなけ
れば顔領域が抽出できないため、顔領域をより正確に抽
出できることとなる。
【００２５】さらに、画像中の顔と顔テンプレートとを
厳密に位置合わせすることは非常に手間がかかるが、顔
テンプレートおよびこれと対応する領域のボケ画像を作
成することにより、位置合わせを比較的容易に行うこと
ができるようになるため、顔領域の抽出をさらに簡易に
行うことができる。
厳密に位置合わせすることは非常に手間がかかるが、顔
テンプレートおよびこれと対応する領域のボケ画像を作
成することにより、位置合わせを比較的容易に行うこと
ができるようになるため、顔領域の抽出をさらに簡易に
行うことができる。
【００２６】また、顔テンプレートを３次元形状を有す
るものとすることにより、画像に含まれる顔の向きに拘
わらず顔領域を抽出することができることとなる。
るものとすることにより、画像に含まれる顔の向きに拘
わらず顔領域を抽出することができることとなる。
【００２７】さらに、顔テンプレートの色を、肌色と異
なる色とすることにより、画像上において顔テンプレー
トが目立つようになるため、位置合わせの操作を容易に
行うことができることとなる。とくに、顔テンプレート
の色を肌色の補色とすれば、画像上において顔テンプレ
ートが一層目立つようになるため、位置合わせの操作を
一層容易に行うことができる。
なる色とすることにより、画像上において顔テンプレー
トが目立つようになるため、位置合わせの操作を容易に
行うことができることとなる。とくに、顔テンプレート
の色を肌色の補色とすれば、画像上において顔テンプレ
ートが一層目立つようになるため、位置合わせの操作を
一層容易に行うことができる。
【００２８】また、本発明の画像処理方法および装置に
よれば、本発明による顔抽出方法および装置により抽出
された顔領域を含む所望とする領域の色階調が予め定め
られた目標画像の色階調に変更されるため、指定された
領域を含む所望とする領域を、ユーザが所望とする色お
よび階調となるように変更することができる。
よれば、本発明による顔抽出方法および装置により抽出
された顔領域を含む所望とする領域の色階調が予め定め
られた目標画像の色階調に変更されるため、指定された
領域を含む所望とする領域を、ユーザが所望とする色お
よび階調となるように変更することができる。
【００２９】
【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。
形態について説明する。
【００３０】図１は本発明の実施形態による顔抽出装置
を適用した画像処理装置の構成を示す概略ブロック図で
ある。図１に示すように本実施形態による画像処理装置
は、デジタルカメラにより撮像された、あるいはスキャ
ナにより読取られた人物の顔を含む画像を表す画像デー
タＳに対して処理を施して処理済み画像データＳ１を得
るものであり、画像データＳが記録されたメディアから
画像データＳを読み出す、あるいはネットワークを介し
て転送された画像データＳを読み出す読出手段１と、読
み出した画像データＳにより表される画像から人物の顔
を抽出する顔抽出手段２と、画像データＳに対して画像
処理を施す画像処理手段３と、画像データＳ等を表示す
るモニタ４と、顔抽出手段２および画像処理手段３に対
して種々の入力を行うためのキーボード、マウスからな
る入力手段５とを備える。なお、本実施形態において
は、画像処理手段３は顔抽出手段２において抽出された
顔の色階調を変更するものである。
を適用した画像処理装置の構成を示す概略ブロック図で
ある。図１に示すように本実施形態による画像処理装置
は、デジタルカメラにより撮像された、あるいはスキャ
ナにより読取られた人物の顔を含む画像を表す画像デー
タＳに対して処理を施して処理済み画像データＳ１を得
るものであり、画像データＳが記録されたメディアから
画像データＳを読み出す、あるいはネットワークを介し
て転送された画像データＳを読み出す読出手段１と、読
み出した画像データＳにより表される画像から人物の顔
を抽出する顔抽出手段２と、画像データＳに対して画像
処理を施す画像処理手段３と、画像データＳ等を表示す
るモニタ４と、顔抽出手段２および画像処理手段３に対
して種々の入力を行うためのキーボード、マウスからな
る入力手段５とを備える。なお、本実施形態において
は、画像処理手段３は顔抽出手段２において抽出された
顔の色階調を変更するものである。
【００３１】顔抽出手段２は、画像データＳにより表さ
れる画像をモニタ４に表示させた状態において、記憶手
段８に記憶されたテンプレートデータＴＤにより表され
る顔画像のテンプレート（以下顔テンプレートとする）
Ｔをモニタ４に表示し、入力手段５からの指示に応じ
て、モニタ４に表示された画像に含まれる人物の顔のう
ち抽出すべき顔の領域（以下顔領域とする）と、顔テン
プレートＴとの位置合わせを行う位置合わせ手段７と、
顔領域と顔テンプレートＴとのマッチング度に基づい
て、顔領域を抽出する抽出手段９とを備える。
れる画像をモニタ４に表示させた状態において、記憶手
段８に記憶されたテンプレートデータＴＤにより表され
る顔画像のテンプレート（以下顔テンプレートとする）
Ｔをモニタ４に表示し、入力手段５からの指示に応じ
て、モニタ４に表示された画像に含まれる人物の顔のう
ち抽出すべき顔の領域（以下顔領域とする）と、顔テン
プレートＴとの位置合わせを行う位置合わせ手段７と、
顔領域と顔テンプレートＴとのマッチング度に基づい
て、顔領域を抽出する抽出手段９とを備える。
【００３２】図２は、モニタ４に表示された画像データ
Ｓにより表される画像を示す図である。図２に示すよう
に、モニタ４には複数の人物の顔を含む画像が表示され
る。
Ｓにより表される画像を示す図である。図２に示すよう
に、モニタ４には複数の人物の顔を含む画像が表示され
る。
【００３３】図３は、顔テンプレートＴを表す図であ
る。図３に示すように、この顔テンプレートＴは、人物
の顔の形状、目および口の輪郭線を３次元ワイヤーフレ
ームにより表すことによって形成されてなるものであ
り、その周囲に４つの点１０Ａ〜１０Ｄが表示されてい
る。なお、顔テンプレートＴの色、すなわちワイヤーフ
レームの色は肌色の補色であるＣＢ（シアン〜ブルー）
色となっている。そして、この顔テンプレートＴをモニ
タ４に表示し、４つの点１０Ａ〜１０Ｄの１つを、マウ
スを左クリックしてドラッグすることによって、顔テン
プレートＴを拡大、縮小並びに上下左右方向に変形させ
ることができる。例えば、点１０Ａを上下方向にドラッ
グすることにより、点１０Ｃ，１０Ｄを基準として顔テ
ンプレートＴを上下方向に変形させることができ、左右
方向にドラッグすることにより、点１０Ｂ，１０Ｃを基
準として顔テンプレートＴを左右方向に変形させること
ができる、さらに斜め４５度方向にドラッグすることに
より、点１０Ｃを基準として顔テンプレートＴを拡大縮
小することができる。
る。図３に示すように、この顔テンプレートＴは、人物
の顔の形状、目および口の輪郭線を３次元ワイヤーフレ
ームにより表すことによって形成されてなるものであ
り、その周囲に４つの点１０Ａ〜１０Ｄが表示されてい
る。なお、顔テンプレートＴの色、すなわちワイヤーフ
レームの色は肌色の補色であるＣＢ（シアン〜ブルー）
色となっている。そして、この顔テンプレートＴをモニ
タ４に表示し、４つの点１０Ａ〜１０Ｄの１つを、マウ
スを左クリックしてドラッグすることによって、顔テン
プレートＴを拡大、縮小並びに上下左右方向に変形させ
ることができる。例えば、点１０Ａを上下方向にドラッ
グすることにより、点１０Ｃ，１０Ｄを基準として顔テ
ンプレートＴを上下方向に変形させることができ、左右
方向にドラッグすることにより、点１０Ｂ，１０Ｃを基
準として顔テンプレートＴを左右方向に変形させること
ができる、さらに斜め４５度方向にドラッグすることに
より、点１０Ｃを基準として顔テンプレートＴを拡大縮
小することができる。
【００３４】また、４つの点１０Ａ〜１０Ｄの１つを、
マウスを右クリックしてドラッグすることにより、顔テ
ンプレートＴを回転させることができる。例えば、点１
０Ａを回転させるようにドラッグすることによって、点
１０Ｄを回転中心として顔テンプレートＴを回転させる
ことができる。
マウスを右クリックしてドラッグすることにより、顔テ
ンプレートＴを回転させることができる。例えば、点１
０Ａを回転させるようにドラッグすることによって、点
１０Ｄを回転中心として顔テンプレートＴを回転させる
ことができる。
【００３５】さらに、４つの点１０Ａ〜１０Ｄにより囲
まれる領域を左クリックしてドラッグすることにより、
顔テンプレートＴを移動させることができる。
まれる領域を左クリックしてドラッグすることにより、
顔テンプレートＴを移動させることができる。
【００３６】また、顔テンプレートＴの輪郭線内におけ
る上下左右の領域を左クリックすることにより、クリッ
ク回数に応じて顔テンプレートＴの向きを変更すること
ができる。例えば、図３における斜線部分の領域Ａを左
クリックすることにより顔テンプレートＴの向きを向か
って右に向けることができ、その回数に応じて例えば図
４に示すように左を向いた顔となるように顔テンプレー
トＴの向きを変更することができる。
る上下左右の領域を左クリックすることにより、クリッ
ク回数に応じて顔テンプレートＴの向きを変更すること
ができる。例えば、図３における斜線部分の領域Ａを左
クリックすることにより顔テンプレートＴの向きを向か
って右に向けることができ、その回数に応じて例えば図
４に示すように左を向いた顔となるように顔テンプレー
トＴの向きを変更することができる。
【００３７】そして、ユーザはモニタ４に表示された画
像から抽出すべき顔を選択するとともに、顔テンプレー
トＴをモニタ４に表示させ、入力手段５により顔テンプ
レートＴをその顔の位置へ移動し、上述したように顔テ
ンプレートＴを、変形（向きの変更を含む）、拡大縮小
および／または回転して、顔テンプレートＴと顔領域と
の位置合わせを行う。
像から抽出すべき顔を選択するとともに、顔テンプレー
トＴをモニタ４に表示させ、入力手段５により顔テンプ
レートＴをその顔の位置へ移動し、上述したように顔テ
ンプレートＴを、変形（向きの変更を含む）、拡大縮小
および／または回転して、顔テンプレートＴと顔領域と
の位置合わせを行う。
【００３８】抽出手段９は、まず顔テンプレートＴと対
応する領域内の画像データＳに対して、ラプラシアンフ
ィルタなどによりフィルタリング処理を施すことにより
輪郭線を抽出して輪郭線データＦを得る。そして、この
輪郭線データＦのボケ画像データＦusおよび顔テンプレ
ートデータＴＤのボケデータＴusを作成し、位置合わせ
手段７におけるユーザの位置合わせ動作毎、すなわち顔
テンプレートＴを移動、変形および／または回転させる
毎に、下記の式（１）に示すように、ボケ画像データＦ
usとボケデータＴusとのマッチング度Ｍを算出する。
応する領域内の画像データＳに対して、ラプラシアンフ
ィルタなどによりフィルタリング処理を施すことにより
輪郭線を抽出して輪郭線データＦを得る。そして、この
輪郭線データＦのボケ画像データＦusおよび顔テンプレ
ートデータＴＤのボケデータＴusを作成し、位置合わせ
手段７におけるユーザの位置合わせ動作毎、すなわち顔
テンプレートＴを移動、変形および／または回転させる
毎に、下記の式（１）に示すように、ボケ画像データＦ
usとボケデータＴusとのマッチング度Ｍを算出する。
【００３９】 Ｍ＝（Σ｜Ｔusij−Ｆusij｜）／ｎ （１） 但し、Ｔusij：ボケデータＴusにより表される画像の画
素値 Ｆusij：ボケデータＴusijと対応するボケ画像データＦ
usにより表される画像の画素値 ｎ：ボケデータＴusijまたはボケ画像データＦusijによ
り表される画像の画素数 そして、算出されたマッチング度Ｍを所定の閾値αと比
較し、マッチング度Ｍが閾値αを越えたときに、顔領域
が抽出された旨をモニタ４に表示するものである。
素値 Ｆusij：ボケデータＴusijと対応するボケ画像データＦ
usにより表される画像の画素値 ｎ：ボケデータＴusijまたはボケ画像データＦusijによ
り表される画像の画素数 そして、算出されたマッチング度Ｍを所定の閾値αと比
較し、マッチング度Ｍが閾値αを越えたときに、顔領域
が抽出された旨をモニタ４に表示するものである。
【００４０】ここで、厳密な輪郭線によりマッチング度
Ｍを算出すると、顔テンプレートＴと顔領域とを精度よ
く一致させないと、マッチング度Ｍが閾値αを越えにく
くなるため、位置合わせのための操作が煩わしいものと
なる。一方、輪郭線データＦのボケ画像データＦusおよ
び顔テンプレートＴのボケデータＴusを求め、ボケ画像
同士でマッチング度Ｍを算出すれば、顔テンプレートＴ
と顔領域とを厳密に一致させなくとも、マッチング度Ｍ
が閾値αを越えやすくなるため、顔領域と顔テンプレー
トＴとの位置合わせをより簡易に行うことができる。
Ｍを算出すると、顔テンプレートＴと顔領域とを精度よ
く一致させないと、マッチング度Ｍが閾値αを越えにく
くなるため、位置合わせのための操作が煩わしいものと
なる。一方、輪郭線データＦのボケ画像データＦusおよ
び顔テンプレートＴのボケデータＴusを求め、ボケ画像
同士でマッチング度Ｍを算出すれば、顔テンプレートＴ
と顔領域とを厳密に一致させなくとも、マッチング度Ｍ
が閾値αを越えやすくなるため、顔領域と顔テンプレー
トＴとの位置合わせをより簡易に行うことができる。
【００４１】このようにして顔領域が抽出されると、画
像処理手段２は以下のようにして画像データＳに対して
画像処理を施す。まず、抽出された顔領域内において、
ストロボハイコンによる白い肌色から逆光による暗い肌
色を含む予め定められた範囲内にある肌色の領域を抽出
する。これは、図５に示すようにＬ*ａ*ｂ*空間におい
て円形で囲んだ領域を肌色領域Ｄとして定めておき、顔
領域の画素値をＬ*ａ*ｂ*空間に変更し、肌色領域Ｄに
含まれる画素値を有する画素を顔領域内の肌色領域とし
て抽出することにより行われる。
像処理手段２は以下のようにして画像データＳに対して
画像処理を施す。まず、抽出された顔領域内において、
ストロボハイコンによる白い肌色から逆光による暗い肌
色を含む予め定められた範囲内にある肌色の領域を抽出
する。これは、図５に示すようにＬ*ａ*ｂ*空間におい
て円形で囲んだ領域を肌色領域Ｄとして定めておき、顔
領域の画素値をＬ*ａ*ｂ*空間に変更し、肌色領域Ｄに
含まれる画素値を有する画素を顔領域内の肌色領域とし
て抽出することにより行われる。
【００４２】このように顔領域内において肌色領域が抽
出されると、予め定められた目標とする色階調を有する
画像（以下目標画像とする）とこの肌色領域の累積ヒス
トグラムが作成される。図６は目標画像および肌色領域
の累積ヒストグラムＨ１，Ｈ２を示す図である。なお、
図６において累積ヒストグラムＨ１における横軸は左に
向かうほどＲＧＢ濃度が大きくなり、累積ヒストグラム
Ｈ２における横軸は右に向かうほどＲＧＢ濃度が大きく
なる。また、累積ヒストグラムＨ１，Ｈ２は画像データ
ＳがＲＧＢの色データからなるものとした場合、各色デ
ータ毎に作成されるが、簡便のためここでは各色データ
を１つのＲＧＢデータとし、この１つのＲＧＢデータか
ら累積ヒストグラムＨ１，Ｈ２を作成するものとして説
明する。ここで、累積ヒストグラムＨ１，Ｈ２はそれぞ
れ目標画像および顔領域の特徴量を表すものとなる。
出されると、予め定められた目標とする色階調を有する
画像（以下目標画像とする）とこの肌色領域の累積ヒス
トグラムが作成される。図６は目標画像および肌色領域
の累積ヒストグラムＨ１，Ｈ２を示す図である。なお、
図６において累積ヒストグラムＨ１における横軸は左に
向かうほどＲＧＢ濃度が大きくなり、累積ヒストグラム
Ｈ２における横軸は右に向かうほどＲＧＢ濃度が大きく
なる。また、累積ヒストグラムＨ１，Ｈ２は画像データ
ＳがＲＧＢの色データからなるものとした場合、各色デ
ータ毎に作成されるが、簡便のためここでは各色データ
を１つのＲＧＢデータとし、この１つのＲＧＢデータか
ら累積ヒストグラムＨ１，Ｈ２を作成するものとして説
明する。ここで、累積ヒストグラムＨ１，Ｈ２はそれぞ
れ目標画像および顔領域の特徴量を表すものとなる。
【００４３】なお、目標画像の色階調は上述したように
予め設定しておいてもよいが、互いに異なる色階調を有
する複数の顔画像をモニタ４に表示し、そこからユーザ
が所望とする色階調を有する顔画像を選択し、選択され
た顔画像の色階調を目標画像の色階調としてもよい。
予め設定しておいてもよいが、互いに異なる色階調を有
する複数の顔画像をモニタ４に表示し、そこからユーザ
が所望とする色階調を有する顔画像を選択し、選択され
た顔画像の色階調を目標画像の色階調としてもよい。
【００４４】このようにして累積ヒストグラムＨ１，Ｈ
２が作成されると、この累積ヒストグラムＨ１，Ｈ２に
基づいて肌色領域の色階調が目標画像の色階調となるよ
うに色変更処理が行われる。この色変更処理は図６の波
線に示すように累積ヒストグラムＨ１と累積ヒストグラ
ムＨ２とを対応付け、累積ヒストグラムＨ２においてＲ
ＧＢ濃度がＰ１となる画素の画素値がＲＧＢ濃度Ｐ２と
なるように、肌色領域の色階調を変更することにより行
われるものである。ここで、累積ヒストグラムＨ１を関
数ｇ（ｄ′）、累積ヒストグラムＨ２を関数ｆ（ｄ）で
表すと、図６の波線で示す処理は下記の式（２）により
表すことができる。
２が作成されると、この累積ヒストグラムＨ１，Ｈ２に
基づいて肌色領域の色階調が目標画像の色階調となるよ
うに色変更処理が行われる。この色変更処理は図６の波
線に示すように累積ヒストグラムＨ１と累積ヒストグラ
ムＨ２とを対応付け、累積ヒストグラムＨ２においてＲ
ＧＢ濃度がＰ１となる画素の画素値がＲＧＢ濃度Ｐ２と
なるように、肌色領域の色階調を変更することにより行
われるものである。ここで、累積ヒストグラムＨ１を関
数ｇ（ｄ′）、累積ヒストグラムＨ２を関数ｆ（ｄ）で
表すと、図６の波線で示す処理は下記の式（２）により
表すことができる。
【００４５】 ｄ′＝ｇ-1（ｆ（ｄ）） （２） なお、肌色領域のみの色階調を変更すると、その境界部
分が不自然に見えるため、境界部分については連続的に
色階調を変更することが好ましい。
分が不自然に見えるため、境界部分については連続的に
色階調を変更することが好ましい。
【００４６】次いで、本実施形態の動作について説明す
る。図７は本実施形態の動作を示すフローチャートであ
る。まず、画像データＳが読み出されて顔抽出手段２に
入力される（ステップＳ１）。顔抽出手段２において
は、モニタ４に画像データＳにより表される画像および
顔テンプレートＴが表示され、ユーザは入力手段５を操
作して位置合わせ手段７により画像中における顔領域と
顔テンプレートＴとの位置合わせを行う（ステップＳ
２）。そして、ユーザによるテンプレートＴの移動、変
形および／または回転の動作が行われる毎にマッチング
度Ｍが算出され（ステップＳ３）、マッチング度Ｍが閾
値αを越えたか否かが判断される（ステップＳ４）。ス
テップＳ４が否定された場合はステップＳ２に戻り、ス
テップＳ２からステップＳ４の処理を繰り返す。ステッ
プＳ４が肯定された場合には、その時点における顔テン
プレートＴと対応する位置の画像を顔領域として抽出す
る（ステップＳ５）。
る。図７は本実施形態の動作を示すフローチャートであ
る。まず、画像データＳが読み出されて顔抽出手段２に
入力される（ステップＳ１）。顔抽出手段２において
は、モニタ４に画像データＳにより表される画像および
顔テンプレートＴが表示され、ユーザは入力手段５を操
作して位置合わせ手段７により画像中における顔領域と
顔テンプレートＴとの位置合わせを行う（ステップＳ
２）。そして、ユーザによるテンプレートＴの移動、変
形および／または回転の動作が行われる毎にマッチング
度Ｍが算出され（ステップＳ３）、マッチング度Ｍが閾
値αを越えたか否かが判断される（ステップＳ４）。ス
テップＳ４が否定された場合はステップＳ２に戻り、ス
テップＳ２からステップＳ４の処理を繰り返す。ステッ
プＳ４が肯定された場合には、その時点における顔テン
プレートＴと対応する位置の画像を顔領域として抽出す
る（ステップＳ５）。
【００４７】このようにして、顔領域が抽出されると、
その旨が画像処理手段２に入力される（ステップＳ
６）。画像処理手段２においては、顔領域に含まれる肌
色領域が抽出される（ステップＳ７）。肌色領域が抽出
されると、予め定められた目標画像および肌色領域の累
積ヒストグラムＨ１，Ｈ２が作成される（ステップＳ
８）。そしてこの累積ヒストグラムＨ１，Ｈ２に基づい
て上記式（２）に示すように肌色領域の色階調が目標画
像の色階調と同一になるように変更されて処理済み画像
データＳ１が得られ（ステップＳ９）、処理を終了す
る。
その旨が画像処理手段２に入力される（ステップＳ
６）。画像処理手段２においては、顔領域に含まれる肌
色領域が抽出される（ステップＳ７）。肌色領域が抽出
されると、予め定められた目標画像および肌色領域の累
積ヒストグラムＨ１，Ｈ２が作成される（ステップＳ
８）。そしてこの累積ヒストグラムＨ１，Ｈ２に基づい
て上記式（２）に示すように肌色領域の色階調が目標画
像の色階調と同一になるように変更されて処理済み画像
データＳ１が得られ（ステップＳ９）、処理を終了す
る。
【００４８】このように、本実施形態においては、顔テ
ンプレートＴを移動等することにより、顔テンプレート
Ｔと抽出すべき顔領域との位置合わせを行い、この位置
合わせ結果に基づいて顔領域を抽出するようにしたた
め、顔領域のコントラストが大きい場合でも、顔テンプ
レートＴと抽出すべき顔領域とを一致させれば、抽出す
べき顔領域の全てを抽出することができる。また、顔の
背景が肌色に近い色を有するものであっても、画像から
顔領域のみを抽出することができる。さらに、顔テンプ
レートＴを移動等することにより、顔テンプレートＴと
顔領域との位置合わせを行っているため、上記従来技術
で説明した方法２のように顔の輪郭を正確に指定する必
要がなくなり、顔領域を指定するための操作の煩わしさ
を軽減できる。したがって、画像から顔領域を簡易かつ
正確に抽出することができることとなる。
ンプレートＴを移動等することにより、顔テンプレート
Ｔと抽出すべき顔領域との位置合わせを行い、この位置
合わせ結果に基づいて顔領域を抽出するようにしたた
め、顔領域のコントラストが大きい場合でも、顔テンプ
レートＴと抽出すべき顔領域とを一致させれば、抽出す
べき顔領域の全てを抽出することができる。また、顔の
背景が肌色に近い色を有するものであっても、画像から
顔領域のみを抽出することができる。さらに、顔テンプ
レートＴを移動等することにより、顔テンプレートＴと
顔領域との位置合わせを行っているため、上記従来技術
で説明した方法２のように顔の輪郭を正確に指定する必
要がなくなり、顔領域を指定するための操作の煩わしさ
を軽減できる。したがって、画像から顔領域を簡易かつ
正確に抽出することができることとなる。
【００４９】また、所望とする色階調を有する目標画像
を予め設定し、この目標画像の色階調と同一になるよう
に顔領域の色階調を変更するようにしたため、抽出され
た顔領域の肌色領域をユーザが望む色および階調を有す
る画像となるように変更することができる。
を予め設定し、この目標画像の色階調と同一になるよう
に顔領域の色階調を変更するようにしたため、抽出され
た顔領域の肌色領域をユーザが望む色および階調を有す
る画像となるように変更することができる。
【００５０】さらに、顔テンプレートＴの色を肌色の補
色としているため、画像上において顔テンプレートが一
層目立つようになり、その結果、位置合わせの操作を容
易に行うことができることとなる。
色としているため、画像上において顔テンプレートが一
層目立つようになり、その結果、位置合わせの操作を容
易に行うことができることとなる。
【００５１】なお、上記実施形態においては、顔テンプ
レートＴを３次元ワイヤーフレームにより形成されてな
るものとしているが、３次元形状を有するものであれ
ば、いかなるテンプレートであってもよい。また、２次
元形状を有するものとしてもよい。このように顔テンプ
レートＴを２次元形状を有するものとした場合、顔テン
プレートＴの向きを変更することはできないこととな
る。
レートＴを３次元ワイヤーフレームにより形成されてな
るものとしているが、３次元形状を有するものであれ
ば、いかなるテンプレートであってもよい。また、２次
元形状を有するものとしてもよい。このように顔テンプ
レートＴを２次元形状を有するものとした場合、顔テン
プレートＴの向きを変更することはできないこととな
る。
【００５２】また、上記実施形態においては、顔テンプ
レートＴを顔の形状、目および口の輪郭線からなるもの
としているが、顔の形状および目の輪郭線のみからなる
ものであってもよい。さらに、顔テンプレートＴは、顔
の形状、目および口の輪郭線に加えて、鼻や耳の輪郭線
を含むものであってもよい。
レートＴを顔の形状、目および口の輪郭線からなるもの
としているが、顔の形状および目の輪郭線のみからなる
ものであってもよい。さらに、顔テンプレートＴは、顔
の形状、目および口の輪郭線に加えて、鼻や耳の輪郭線
を含むものであってもよい。
【００５３】さらに、上記実施形態においては、顔テン
プレートＴの色を肌色の補色であるＣＢ色としている
が、これに限定されるものではなく、肌色とは異なる色
であればいかなる色としてもよい。
プレートＴの色を肌色の補色であるＣＢ色としている
が、これに限定されるものではなく、肌色とは異なる色
であればいかなる色としてもよい。
【００５４】さらにまた、上記実施形態においては、顔
領域の肌色領域のみの色階調を変更しているが、顔領域
全体の色階調を変更してもよく、顔領域を含む所定範囲
の領域あるいはモニタ４に表示されている画像全体の色
階調を変更してもよい。
領域の肌色領域のみの色階調を変更しているが、顔領域
全体の色階調を変更してもよく、顔領域を含む所定範囲
の領域あるいはモニタ４に表示されている画像全体の色
階調を変更してもよい。
【００５５】また、上記実施形態においては、目標画像
の累積ヒストグラムＨ１を作成しているが、目標画像に
ついて予め累積ヒストグラムを作成しておいてもよい。
の累積ヒストグラムＨ１を作成しているが、目標画像に
ついて予め累積ヒストグラムを作成しておいてもよい。
【００５６】さらに、上記実施形態においては、顔テン
プレートＴを移動等することにより顔テンプレートＴと
顔領域との位置合わせを行っているが、画像データＳに
より表される画像を移動、変形および／または回転する
ことにより、顔テンプレートＴと顔領域との位置合わせ
を行ってもよい。この場合、図８に示すように画像デー
タＳにより表される画像の４隅に、図３における点１０
Ａ〜１０Ｄに対応する点１１Ａ〜１１Ｄを表示し、これ
らの点１１Ａ〜１１Ｄをマウスによりドラッグすること
によって、画像データＳにより表される画像の移動、変
形および／または回転を行い、顔テンプレートＴと画像
中の顔領域との位置合わせを行うことができる。なお、
この場合、画像データＳにより表される画像のみなら
ず、この画像と顔テンプレートＴとの双方を移動等して
もよい。
プレートＴを移動等することにより顔テンプレートＴと
顔領域との位置合わせを行っているが、画像データＳに
より表される画像を移動、変形および／または回転する
ことにより、顔テンプレートＴと顔領域との位置合わせ
を行ってもよい。この場合、図８に示すように画像デー
タＳにより表される画像の４隅に、図３における点１０
Ａ〜１０Ｄに対応する点１１Ａ〜１１Ｄを表示し、これ
らの点１１Ａ〜１１Ｄをマウスによりドラッグすること
によって、画像データＳにより表される画像の移動、変
形および／または回転を行い、顔テンプレートＴと画像
中の顔領域との位置合わせを行うことができる。なお、
この場合、画像データＳにより表される画像のみなら
ず、この画像と顔テンプレートＴとの双方を移動等して
もよい。
【００５７】また、画像データＳにより表される画像全
体ではなく、抽出すべき画像を選択し、その選択された
顔を含む所定範囲の領域のみを移動等するようにしても
よい。例えば、図９に示すように、左端の人物の顔を抽
出すべき顔として選択した場合、その顔を含む矩形領域
Ａ０を設定し、さらに矩形領域Ａ０の４隅に図３におけ
る点１０Ａ〜１０Ｄに対応する点１２Ａ〜１２Ｄを表示
する。そして、これらの点１２Ａ〜１２Ｄをマウスによ
りドラッグすることによって、矩形領域Ａ０の移動、変
形および／または回転を行い、顔テンプレートＴと画像
中の顔領域との位置合わせを行うことができる。なお、
この場合、矩形領域Ａ０のみならず、この矩形領域Ａ０
と顔テンプレートＴとの双方を移動等してもよい。
体ではなく、抽出すべき画像を選択し、その選択された
顔を含む所定範囲の領域のみを移動等するようにしても
よい。例えば、図９に示すように、左端の人物の顔を抽
出すべき顔として選択した場合、その顔を含む矩形領域
Ａ０を設定し、さらに矩形領域Ａ０の４隅に図３におけ
る点１０Ａ〜１０Ｄに対応する点１２Ａ〜１２Ｄを表示
する。そして、これらの点１２Ａ〜１２Ｄをマウスによ
りドラッグすることによって、矩形領域Ａ０の移動、変
形および／または回転を行い、顔テンプレートＴと画像
中の顔領域との位置合わせを行うことができる。なお、
この場合、矩形領域Ａ０のみならず、この矩形領域Ａ０
と顔テンプレートＴとの双方を移動等してもよい。
【００５８】なお、図８および図９に示すように画像デ
ータＳにより表される画像またはこの画像に設定された
矩形領域Ａ０については、顔テンプレートＴとは異な
り、図４に示すように向きを変更することはできないも
のである。
ータＳにより表される画像またはこの画像に設定された
矩形領域Ａ０については、顔テンプレートＴとは異な
り、図４に示すように向きを変更することはできないも
のである。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を
示すブロック図
示すブロック図
【図２】モニタに表示される画像を示す図
【図３】顔テンプレートを示す図
【図４】顔テンプレートの向きを変更した状態を示す図
【図５】Ｌ*ａ*ｂ*空間における肌色領域を示す図
【図６】累積ヒストグラムを示す図
【図７】本実施形態の動作を示すフローチャート
【図８】画像の移動等を説明するための図
【図９】画像内の顔領域の移動等を説明するための図
１ 読出手段 ２ 顔抽出手段 ３ 画像処理手段 ４ モニタ ５ 入力手段 ７ 位置合わせ手段 ８ 記憶手段 ９ 抽出手段
Claims (24)
- 【請求項１】 人物の顔を含む画像から顔領域を抽出
する顔抽出方法であって、 前記画像と予め定められた顔テンプレートとを表示し、 入力手段からの入力に応じて、前記顔テンプレートおよ
び／または前記画像を移動、変形および／または回転し
て、該顔テンプレートと抽出すべき顔領域との位置合わ
せを行い、 該位置合わせ結果に基づいて、前記顔領域を抽出するこ
とを特徴とする顔抽出方法。 - 【請求項２】 前記位置合わせ結果に基づいて、前記
顔テンプレートと前記顔領域とのマッチング度を算出
し、 該マッチング度に基づいて前記顔領域を抽出することを
特徴とする請求項１記載の顔抽出方法。 - 【請求項３】 前記顔テンプレートおよび前記画像上
の該顔テンプレートと対応する領域におけるボケ画像を
作成し、 該各ボケ画像上において前記マッチング度の算出を行う
ことを特徴とする請求項２記載の顔抽出方法。 - 【請求項４】 前記顔テンプレートが、３次元形状を
有することを特徴とする請求項１から３のいずれか１項
記載の顔抽出方法。 - 【請求項５】 前記３次元形状が、３次元ワイヤーフ
レームにより形成されてなることを特徴とする請求項４
記載の顔抽出方法。 - 【請求項６】 前記顔テンプレートが肌色と異なる色
を有することを特徴とする請求項１から５のいずれか１
項記載の顔抽出方法。 - 【請求項７】 前記肌色と異なる色が、該肌色の補色
であることを特徴とする請求項６記載の顔抽出方法。 - 【請求項８】 人物の顔を含む画像から顔領域を抽出
する顔抽出装置であって、 前記画像と予め定められた顔テンプレートとを表示する
表示手段と、 前記顔テンプレートおよび／または前記画像を移動、変
形および／または回転するための入力を受け付ける入力
手段と、 該入力手段からの入力に応じて、前記顔テンプレートお
よび／または前記画像を移動、変形および／または回転
して前記顔テンプレートと抽出すべき顔領域との位置合
わせを行う位置合わせ手段と、 該位置合わせ手段による位置合わせ結果に基づいて、前
記顔領域を抽出する抽出手段とを備えたことを特徴とす
る顔抽出装置。 - 【請求項９】 前記抽出手段は、前記位置合わせ手段
による位置合わせ結果に基づいて、前記顔テンプレート
と前記顔領域とのマッチング度を算出し、該マッチング
度に基づいて前記顔領域を抽出する手段であることを特
徴とする請求項８記載の顔抽出装置。 - 【請求項１０】 前記抽出手段は、前記顔テンプレー
トおよび前記画像上の該顔テンプレートと対応する領域
におけるボケ画像を作成し、 該各ボケ画像上において前記マッチング度の算出を行う
手段であることを特徴とする請求項９記載の顔抽出装
置。 - 【請求項１１】 前記顔テンプレートが、３次元形状
を有することを特徴とする請求項８から１０のいずれか
１項記載の顔抽出装置。 - 【請求項１２】 前記３次元形状が、３次元ワイヤー
フレームにより形成されてなることを特徴とする請求項
１１記載の顔抽出装置。 - 【請求項１３】 前記顔テンプレートが肌色と異なる
色を有することを特徴とする請求項８から１２のいずれ
か１項記載の顔抽出装置。 - 【請求項１４】 前記肌色と異なる色が、該肌色の補
色であることを特徴とする請求項１３記載の顔抽出装
置。 - 【請求項１５】 人物の顔を含む画像から顔領域を抽
出する顔抽出方法をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読取り可能な記録媒体
であって、 前記プログラムは、前記画像と予め定められた顔テンプ
レートとを表示する手順と、 入力手段からの入力に応じて、前記顔テンプレートおよ
び／または前記画像を移動、変形および／または回転し
て、該顔テンプレートと抽出すべき顔領域との位置合わ
せを行う手順と、 該位置合わせ結果に基づいて、前記顔領域を抽出する手
順とを有することを特徴とするコンピュータ読取り可能
な記録媒体。 - 【請求項１６】 前記顔領域を抽出する手順は、前記
位置合わせ結果に基づいて、前記顔テンプレートと前記
顔領域とのマッチング度を算出する手順と、 該マッチング度に基づいて前記顔領域を抽出する手順と
を有することを特徴とする請求項１５記載のコンピュー
タ読取り可能な記録媒体。 - 【請求項１７】 前記マッチング度を算出する手順
は、前記顔テンプレートおよび前記画像上の該顔テンプ
レートと対応する領域におけるボケ画像を作成する手順
と、 該各ボケ画像上において前記マッチング度の算出を行う
手順とを有することを特徴とする請求項１６記載のコン
ピュータ読取り可能な記録媒体。 - 【請求項１８】 前記顔テンプレートが、３次元形状
を有することを特徴とする請求項１５から１７のいずれ
か１項記載のコンピュータ読取り可能な記録媒体。 - 【請求項１９】 前記３次元形状が、３次元ワイヤー
フレームにより形成されてなることを特徴とする請求項
１８記載のコンピュータ読取り可能な記録媒体。 - 【請求項２０】 前記顔テンプレートが肌色と異なる
色を有することを特徴とする請求項１５から１９のいず
れか１項記載のコンピュータ読取り可能な記録媒体。 - 【請求項２１】 前記肌色と異なる色が、該肌色の補
色であることを特徴とする請求項２０記載のコンピュー
タ読取り可能な記録媒体。 - 【請求項２２】 請求項１から７のいずれか１項記載
の顔抽出方法により抽出された顔領域に対して画像処理
を施す画像処理方法であって、 前記顔領域を含む所望とする領域の色階調を予め定めら
れた目標画像の色階調に変更することを特徴とする画像
処理方法。 - 【請求項２３】 請求項８から１４のいずれか１項記
載の顔抽出装置により抽出された顔領域に対して画像処
理を施す画像処理装置であって、 前記顔領域を含む所望とする領域の色階調を予め定めら
れた目標画像の色階調に変更する変更手段を備えたこと
を特徴とする画像処理装置。 - 【請求項２４】 請求項１から７のいずれか１項記載
の顔抽出方法により抽出された顔領域に対して画像処理
を施す画像処理方法をコンピュータに実行させるための
プログラムを記録したコンピュータ読取り可能な記録媒
体であって、 前記プログラムは、前記顔領域を含む所望とする領域の
色階調を予め定められた目標画像の色階調に変更する手
順を有することを特徴とするコンピュータ読取り可能な
記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000329061A JP2001209802A (ja) | 1999-11-15 | 2000-10-27 | 顔抽出方法および装置並びに記録媒体 |
| US09/712,191 US7212674B1 (en) | 1999-11-15 | 2000-11-15 | Method, apparatus and recording medium for face extraction |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32357599 | 1999-11-15 | ||
| JP11-323575 | 1999-11-15 | ||
| JP2000329061A JP2001209802A (ja) | 1999-11-15 | 2000-10-27 | 顔抽出方法および装置並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001209802A true JP2001209802A (ja) | 2001-08-03 |
Family
ID=26571234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000329061A Pending JP2001209802A (ja) | 1999-11-15 | 2000-10-27 | 顔抽出方法および装置並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7212674B1 (ja) |
| JP (1) | JP2001209802A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180114A (ja) * | 2002-11-28 | 2004-06-24 | Sony Corp | 顔色補正方法及び顔色補正装置及び撮像機器 |
| JP2006133875A (ja) * | 2004-11-02 | 2006-05-25 | Canon Inc | 画像処理方法及びその装置と、プリントサービスシステム |
| US7702149B2 (en) | 2005-06-02 | 2010-04-20 | Fujifilm Corporation | Method, apparatus, and program for image correction |
| US7889381B2 (en) | 2004-05-28 | 2011-02-15 | Fujifilm Corporation | Photo service system |
| KR101735130B1 (ko) | 2012-12-14 | 2017-05-15 | 한국전자통신연구원 | 3차원 얼굴 복원 장치 |
| CN109993067A (zh) * | 2019-03-07 | 2019-07-09 | 北京旷视科技有限公司 | 面部关键点提取方法、装置、计算机设备和存储介质 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855939B2 (ja) * | 2003-01-31 | 2006-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法及び撮影装置 |
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| JP2005196678A (ja) * | 2004-01-09 | 2005-07-21 | Neucore Technol Inc | テンプレートマッチング方法および対象画像領域抽出装置 |
| KR100735549B1 (ko) * | 2005-08-08 | 2007-07-04 | 삼성전자주식회사 | 영상의 피부색을 변환하는 영상 처리 방법 및 장치 |
| CN101052996B (zh) * | 2005-08-12 | 2011-06-15 | 索尼计算机娱乐公司 | 面部图像显示设备和方法 |
| JP5230501B2 (ja) * | 2009-03-26 | 2013-07-10 | 富士フイルム株式会社 | 認証装置及び認証方法 |
| CN104573440A (zh) * | 2014-12-18 | 2015-04-29 | 百度在线网络技术（北京）有限公司 | 一种数据查看方法及装置 |
| JP7256719B2 (ja) * | 2019-09-13 | 2023-04-12 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法、及び画像処理プログラム |
| CN112966627B (zh) * | 2021-03-17 | 2024-04-02 | 江阴邦融微电子有限公司 | 一种基于颜色空间转换的rgb人脸图像判断方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995639A (en) * | 1993-03-29 | 1999-11-30 | Matsushita Electric Industrial Co., Ltd. | Apparatus for identifying person |
| JPH07297119A (ja) * | 1994-04-27 | 1995-11-10 | Nikon Corp | 位置検出方法 |
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| JP2918499B2 (ja) * | 1996-09-17 | 1999-07-12 | 株式会社エイ・ティ・アール人間情報通信研究所 | 顔画像情報変換方法および顔画像情報変換装置 |
| US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
| GB2324428A (en) * | 1997-04-17 | 1998-10-21 | Sharp Kk | Image tracking; observer tracking stereoscopic display |
| JP3222091B2 (ja) * | 1997-05-27 | 2001-10-22 | シャープ株式会社 | 画像処理装置及び画像処理装置制御プログラムを記憶した媒体 |
| JP3621245B2 (ja) * | 1997-12-12 | 2005-02-16 | 株式会社東芝 | 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体 |
| US6466685B1 (en) * | 1998-07-14 | 2002-10-15 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method |
-
2000
- 2000-10-27 JP JP2000329061A patent/JP2001209802A/ja active Pending
- 2000-11-15 US US09/712,191 patent/US7212674B1/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180114A (ja) * | 2002-11-28 | 2004-06-24 | Sony Corp | 顔色補正方法及び顔色補正装置及び撮像機器 |
| US7889381B2 (en) | 2004-05-28 | 2011-02-15 | Fujifilm Corporation | Photo service system |
| JP2006133875A (ja) * | 2004-11-02 | 2006-05-25 | Canon Inc | 画像処理方法及びその装置と、プリントサービスシステム |
| US7702149B2 (en) | 2005-06-02 | 2010-04-20 | Fujifilm Corporation | Method, apparatus, and program for image correction |
| KR101735130B1 (ko) | 2012-12-14 | 2017-05-15 | 한국전자통신연구원 | 3차원 얼굴 복원 장치 |
| CN109993067A (zh) * | 2019-03-07 | 2019-07-09 | 北京旷视科技有限公司 | 面部关键点提取方法、装置、计算机设备和存储介质 |
| CN109993067B (zh) * | 2019-03-07 | 2022-01-28 | 北京旷视科技有限公司 | 面部关键点提取方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7212674B1 (en) | 2007-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9959649B2 (en) | Image compositing device and image compositing method | |
| JP4368513B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| EP1372109B1 (en) | Method and system for enhancing portrait images | |
| US7187788B2 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
| JP4421761B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP2002245471A (ja) | 被写体内容に基づく修正を有する第２プリントを伴うダブルプリントの写真仕上げサービス | |
| JP2001209802A (ja) | 顔抽出方法および装置並びに記録媒体 | |
| JP2002044473A (ja) | 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体 | |
| JPH1091761A (ja) | 画像処理装置 | |
| US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
| JP2004240622A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
| JP2004242068A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP3473832B2 (ja) | ディジタル画像の自動補正方法及びそのシステム | |
| JPH01109479A (ja) | 画像処理方法 | |
| JPH01109478A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050912 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081110 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |