JP2003216936A - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像中の被写体としての人物領域とそれ以外
の領域の境界をより正確且つ簡便に抽出する。 【解決手段】 撮像部１０１は、被写体２０を含む画像
信号（撮影画像信号）を取得する。フレームメモリ１０
２は、撮像部１０１より得られた画像と被写体２０の輪
郭情報等を記憶する。顔部品検出部１０３は、撮像部１
０１により得られた画像から、被写体２０である人物の
顔部品とそれらの配置を検出する。初期境界情報設定部
１０４は、顔部品検出部１０３からの人物の顔部品の配
置から、撮影画像中における人物領域とその他の領域と
の領域境界を求める初期境界情報を設定する。境界情報
抽出部１０５は、初期境界情報設定部１０４により設定
された初期境界情報と撮影画像から人物領域とその他の
領域との領域境界情報を抽出する。適応処理部１０６
は、境界情報抽出部１０５により抽出された領域境界情
報から、撮影画像に適応的な処理を施す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、撮影画像
中に存在する被写体の輪郭を抽出するための技術に関
し、特にデジタルカメラによるデジタル画像の高画質化
や最適処理に好適な、画像処理装置、画像処理方法、及
びそれを実施するための処理ステップをコンピュータが
読出可能に格納した記憶媒体とその処理ステップを記述
したコンピュータプログラムに関する。

【０００２】

【従来の技術】処理対象とする画像の示すシーンにかか
わらず、即ち、画像の特徴にかかわらず、画像全体に一
定の処理を施すのに比し、画像内の特性の異なる領域を
検出して、これらそれぞれの特性に応じて、適応的な処
理を施したほうがより好適な処理が可能であることが知
られている。

【０００３】例えば、特開２０００−１２３１６５号公
報（以下、文献（１）と言う）によれば、室内で窓際に
いる人物を撮影した写真画像において、一般に、窓の外
の風景は明るく、主被写体である人物の部分は黒くつぶ
れてしまうことが多いことを例にあげて、適応的な処理
の効用を紹介している。即ち、このような画像を、従来
の画像処理装置により補正を施しても、窓の外の風景が
非常に明るいために、画像全体としては露出オーバーと
判定されてしまうため、黒くつぶれてしまっている人物
の部分については、ほとんど補正されないか、または、
さらに暗くなるように補正されてしまい、主被写体であ
るはずの人物画像に対して、適正な画像を補正できない
ことを述べている。これに対し文献（１）では、画像を
複数のブロックに分割し、該ブロック毎の属性をブロッ
ク毎の輝度ヒストグラムをもとに判別することが提案さ
れている。即ち、ブロック単位での適応処理（ホワイト
バランスの調整による補正処理）が提案されている。

【０００４】また、特開２０００−１２３１６４号公報
（以下、文献（２）と言う）においても、同様に画像を
複数のブロックに分割し、該ブロック毎に画像データを
解析して、該ブロック毎の属性を判別することによっ
て、ブロック毎に適応的に彩度変換することが提案され
ている。

【０００５】一方、近年、人物認証やアミューズメント
のための顔合成画像生成を目的として人物の顔領域の検
出や目、鼻、口等の顔部品を検出する技術が提案されて
いる。例えば、特開平０９−２５１５３４号公報（以
下、文献（３）と言う）には、予め登録された標準顔画
像（テンプレート）を用いて顔領域を抽出し、抽出され
た顔領域の中から眼球（黒目）や鼻穴などの特徴点の候
補を抽出して、これらから配置や予め登録されている
目、鼻、口領域などのテンプレートとの類似度から目、
鼻、口等の顔部品を検出する技術が開示されている。ま
た、特開２０００−３２２５８８（以下、文献（４）と
言う）には、入力された画像から顔領域を判定し、判定
された顔領域から目、鼻、口といった顔部品を検出して
目のひとみの位置の中心座標や鼻孔の位置の中心座標を
出力したり、口やその他の顔部品の位置を検出して、そ
の位置を出力すること等が述べられている。

【０００６】ビデオカメラによって被写体を撮影して得
られた撮影画像中から被写体の輪郭を抽出することを目
的とした公知の手法として、Ｍ．Ｋａｓｓ ｅｔ ａ
１．，”ＳＮＡＫＥＳ：Ａｃｔｉｖｅ ｃｏｎｔｏｕ
ｒ ｍｏｄｅｌｓ”，Ｐｒｏｃ ｏｆ ｌｓｔ ＩＣ
ＣＶ，ｐｐ．２５９−２６８，１９８７（以下、文献
（５）と言う）等に記載された手法（以下、手法（１）
と言う）がある。

【０００７】手法（１）では、撮影画像（動画等）中に
存在する被写体に対して初期輪郭を設定し、その初期輪
郭から、被写体領域の複数の特徴量を引数とする評価関
数が極値をとるような被写体輪郭を求め、これにより確
定した被写体輪郭を、次の時点（次のシーン）での被写
体に対する初期輪郭とする。この繰り返しによって、動
画中の被写体の検出及び追尾を連続して行なうことがで
きる。

【０００８】図２（ａ）及び（ｂ）は、手法（１）の概
念図を示す。例えば、図２（ａ）に示すように、ある動
画の撮影シーンにおいて、被写体１１（家）や被写体１
２（人物）等の複数の被写体が存在しており、検出対象
被写体として被写体１２（人物）を選択する場合、先
ず、被写体１２に対して初期輪郭１３を設定する。次
に、輪郭線の滑らかさ、輝度勾配、輪郭モデルに外部か
ら加える力等を考慮した評価関数を作成し、この評価関
数を最適化するような輪郭線を、初期輪郭１３から求め
る。この結果得られた輪郭線（被写体輪郭）を、図２
（ｂ）の”１４”に示す。この一旦求めた被写体輪郭１
４を、次のフレームでの初期輪郭として利用する。この
ような処理の繰り返しによって、連続する画像（動画）
中の被写体１２を追尾することができる。

【０００９】一方、手法（１）を改良した方法とし
て、”移動被写体の輪郭を自動抽出する追尾ソフトの開
発”（荒木ほか）：映像情報９７年１１月号、Ｐ．３９
−４４（以下、文献（６）と言う）等に記載された手法
（以下、手法（２）と言う）がある。この手法（２）で
は、被写体輪郭が自動的に分裂し統合する輪郭モデルを
導入することにより、画像中に複数の被写体が存在する
場合、初期輪郭を被写体に対して個別に与えることな
く、複数の移動被写体の検出及び追尾が行なえる。

【００１０】

【発明が解決しようとする課題】しかし、上述したよう
に、画像内の特性の異なる領域を検出して、これらそれ
ぞれの特性に応じて、適応的な処理を施したほうがより
好適な処理が可能であることが知られているものの、文
献（１）や文献（２）のようにブロック毎に領域を判別
するのでは、必ずしも主被写体とそれ以外の部分との領
域境界を詳細に検出するものではなかった。

【００１１】従来の手法（１）では、被写体輪郭の検出
の際に、当該被写体に対して大まかな初期輪郭（図２
（ａ）に示す初期輪郭１２参照）を与える必要があっ
た。さらに、最初に設定する初期輪郭によっては、被写
体領域を正確に検出できない場合があった。

【００１２】一方、従来の方法（２）では、被写体に対
して初期輪郭を与える必要がないことを特徴としている
が、画像の外枠を初期輪郭として設定して動作するもの
であり、主被写体を定めるには冗長な範囲の探索を必要
とし、且つ又、様々な条件下における有効性が検証され
ているわけではない。すなわち、方法（１）を利用もし
くは拡張して、被写体の検出及び追尾を行なう手法にお
いても、安定して被写体領域の検出を行うことは実現さ
れていなかった。

【００１３】以上のように、デジタル写真のごときデジ
タル静止画像において、人物を主被写体とする場合の人
物とそれ以外の領域の境界をより詳細に切り出し、人物
とそれ以外の部分に適応的な処理を可能とすることは、
困難であった。

【００１４】そこで、本発明は、上記の欠点を除去する
ために、画像中の被写体としての人物領域とそれ以外の
領域の境界をより正確に且つ簡便に抽出し、これらの領
域を画像内の特性の異なる領域として処理を施すことに
より、従来に比しより好適な適応処理を可能とする画像
処理装置、画像処理方法、及びそれを実施するための処
理ステップをコンピュータが読出可能に格納した記憶媒
体とその処理ステップを記述したコンピュータプログラ
ムを提供することを目的とする。

【００１５】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、画像を入力する撮像部等の画像入力手段
と、画像入力手段から入力された画像中から人物の顔部
品を検出する顔部品検出手段と、顔部品検出手段にて検
出した顔部品の配置から、該画像中の人物領域とそれ以
外の領域の境界を求めるための初期輪郭（初期境界情
報）を設定する初期輪郭（初期境界情報）設定手段と、
前記初期輪郭（初期境界情報）設定手段により設定され
た初期輪郭（初期境界情報）に基づいて、当該人物領域
とそれ以外の領域を境界情報（人物の輪郭）を抽出する
境界情報抽出手段とを備えることを特徴とする。

【００１６】本願第２の発明は、上記に加えて、前記境
界情報抽出手段により抽出された人物領域とそれ以外の
領域との境界情報に基づき適応的な処理を行う適応処理
手段を備えることを特徴とする。

【００１７】本願第３の発明は、前記初期境界情報設定
手段が、顔部品検出手段で検出された複数の顔部品の、
入力画像内におけるそれぞれの位置やそれらの相対的位
置関係に基づき、設定する初期境界情報の位置やサイズ
を定めることを特徴とする。本願第４の発明は、前記境
界情報抽出手段により抽出された人物領域とそれ以外の
領域との境界情報に基づき適応処理手段において行われ
る適応的な処理が、ホワイトバランスの調整処理、また
は、彩度補正であることを特徴とする。

【００１８】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１９】（第１実施例）図１は、本発明を実施する
画像処理装置の機能ブロック図を示す。同図において、
撮像部１０１は、被写体２０を含む撮影シーンを撮影し
て当該撮影シーンの画像信号（撮影画像信号）を取得す
る。フレームメモリ１０２は、撮像部１０１より得られ
た撮影シーンのデジタル画像や被写体２０の輪郭情報等
を記憶する。顔部品検出部１０３は、撮像部１０１によ
り得られた撮影シーンのデジタル画像から、被写体２０
が人物であるとき、この人物の顔部品とそれらの配置を
検出する。初期境界情報設定部１０４は、顔部品検出部
１０３にて検出された人物の顔部品の配置から、該デジ
タル画像中における人物領域とその他の領域との領域境
界を求める初期境界情報を設定する。

【００２０】境界情報抽出部１０５は、初期境界情報設
定部１０４にて設定された初期境界情報と前記デジタル
画像から、該デジタル画像中における人物領域とその他
の領域との領域境界情報を抽出する。適応処理部１０６
は、境界情報抽出部１０５にて抽出された人物領域とそ
の他の領域との領域境界情報と、撮像部１０１より得ら
れた撮影シーンのデジタル画像に適応的な処理を施した
デジタル画像を生成する。

【００２１】記録出力部１０８は、撮像部１０１より得
られた撮影シーンのデジタル画像や、適応処理部１０６
で生成されたデジタル画像の記録媒体への記録処理や表
示装置等への出力を行なう。また、全体制御部１０７
は、画像処理装置全体の動作制御を司る。

【００２２】図３は、上記に説明した機能ブロックを実
現する機器構成例を示す。同図において、３０１は図１
の撮像部１０１を構成する撮像手段である。図３のフレ
ームメモリ１０２は図１のフレームメモリそのものであ
り、同一の番号を付与してある。３０８は図１の記録・
出力部を構成する記録・出力手段である。３０７１はＣ
ＰＵで、３０７２はＲＡＭ、３０７３はＲＯＭ、３０７
４と３０７５はそれぞれ撮像手段とのＩ／Ｏと記録・出
力手段とのＩ／Ｏである。３０７１〜３０７５は一連の
コンピュータシステムを構成しており、図１における顔
部品検出部１０３、初期境界情報設定部１０４、境界情
報抽出部１０５、適応処理部１０６、全体制御部１０７
の機能ブロックを実現する構成例となっている。

【００２３】以下、図４以降に示すフローチャートに沿
って、本実施例の動作を説明する。

【００２４】先ず、使用者によって電源投入がなされる
と、制御部１０７は画像処理装置全体の所要の初期化を
行う。即ち、電源投入によって、図４のフローチャート
に沿った処理が開始され、先ず、ステップＳ１００にお
いて、ＲＯＭ３０７３に予め格納されている処理手順に
従って、Ｉ／Ｏ３０７４，３０７５やＲＡＭ３０７２の
初期設定や、フレームメモリ１０２の初期化、また、Ｉ
／Ｏ３０７４を介して撮像手段３０１の初期化やＩ／Ｏ
３０７５を介して記録・出力手段３０８の初期化等を行
う。これにより、画像処理装置全体が処理系として動作
可能の状態となる。次にステップＳ１１０に進む。

【００２５】ステップＳ１１０では、使用者により、例
えばシャッターボタン等の図示しない操作部を介して画
像入力指示があったか否かを判定し、画像入力指示があ
った場合にはステップＳ１２０に進み、そうではない場
合にはステップＳ１９０に進む。

【００２６】ステップＳ１２０では、Ｉ／Ｏ３０７４を
介して撮像手段３０１に対して画像入力指示を出す。撮
像手段は被写体２０を含む撮影シーンを撮影して、当該
撮影シーンの画像信号（撮影画像信号）を取得し、デジ
タル画像としてフレームメモリ１０２に書き込む。ステ
ップＳ１２０の処理を終えるとステップＳ１３０に進
む。

【００２７】ステップＳ１３０では、例えば選択スイッ
チ等で構成される図示しない操作部により適応処理の指
示があったか否かを判定し、適応処理の指示があった場
合にはステップＳ１４０に進み、そうでない場合にはス
テップＳ１８０に進む。

【００２８】ステップＳ１４０では、ステップＳ１２０
において撮像手段３０１から入力され、フレームメモリ
１０２に保持されているデジタル画像中から人物の顔部
品を検出する顔部品検出処理を行う。この顔部品検出処
理は、文献（３）（特開平０９−２５１５３４号公報）
に開示される方法が適用可能である。即ち、入力画像か
ら顔領域を抽出し、抽出された顔領域の中から瞳、鼻、
口等の特徴点を抽出する。この方法は基本的に、位置精
度の高い形状情報により特徴点の候補を求め、それをパ
ターン照合で検証するものである。

【００２９】この他にも、エッジ情報に基づく方法（例
えば、Ａ． Ｌ．Ｙｕｉｌｌｅ，"Ｆｅａｔｕｒｅ ｅ
ｘｔｒａｃｔｉｏｎｆｒｏｍ ｆａｃｅｓ ｕｓｉｎｇ
ｄｅｆｏｒｍａｂｌｅ ｔｅｍｐｌａｔｅｓ"， Ｉ
ＪＣＶ， ｖｏｌ． ８：２，ｐｐ．９９-１１１，
１９９２．、坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 Ｄ−ＩＩ， Ｖｏ
ｌ． Ｊ７−Ｄ−ＩＩ， Ｎｏ． ８， ｐｐ． １７
９６-１８０４， Ａｕｇｕｓｔ， １９９３）、固有
空間法を適用したＥｉｇｅｎ ｆｅａｔｕｒｅ法（例え
ば、ＡｌｅｘＰｅｎｔｌａｎｄ，Ｂａｂａｃｋ Ｍｏｇ
ｈａｄｄａｍ，Ｔｈａｄ Ｓｔａｒｎｅｒ，"Ｖｉｅｗ
−ｂａｓｅｄ ａｎｄ ｍｏｄｕｌａｒ ｅｉｇｅｎｓ
ｐａｃｅｓ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏ
ｎ"， ＣＶＰＲ '９４， ｐｐ．８４−９１，１９９
４．）、カラー情報に基づく方法（例えば、佐々木努、
赤松茂、末永康仁，“顔画像認識のための色情報を用い
た顔の位置合わせ方”，ＩＥ９１−２，ｐｐ．９−１
５，１９９１）が適用可能である。

【００３０】ステップＳ１４０では、瞳、鼻、口等の各
特徴点の画像中における位置（ｘ，ｙ）を予め定めたＲ
ＡＭ３０７２内の図示しない特定領域に格納してステッ
プＳ１５０に進む。

【００３１】ステップＳ１５０では、ステップＳ１４０
で抽出された、瞳、鼻、口等の各特徴点の画像中におけ
る位置（公知の座標（ｘ，ｙ）であらわすものとする）
をもとに、境界情報抽出部１０５（ステップＳ１６０）
で用いる初期境界情報を設定する。この様子を図５の
（ａ）、（ｂ）、（ｃ）に示す。図５（ａ）は、入力さ
れた画像の例である。図５（ｂ）は、入力画像中の人物
の顔部品（ここでは、両眼と口）を検出した様子を表し
ている。図５（ｃ）は、検出された両眼と口の位置（配
置）をもとに、人物領域の付近に初期境界情報２３を設
定した様子を表している。

【００３２】ステップＳ１５０の一連の処理を終える
と、ステップＳ１６０に進む。ステップＳ１５０での初
期境界情報の設定方法は、後でより詳細に説明する。

【００３３】ステップＳ１６０では、ステップＳ１５０
で設定された初期境界情報から人物領域とそれ以外の領
域の境界情報（以降、「人物領域輪郭」とも言う）を抽
出する。この人物領域とそれ以外の領域の境界情報の抽
出処理には、先述した手法（１）や手法（２）が適用可
能である。具体的には、例えば、初期境界情報で包囲さ
れた領域に関して特徴量の抽出処理を行い、これにより
得られた特徴量を引数とする評価関数を作成し、その評
価関数が極値をとるような人物領域境界を求める。ここ
での特徴量としては、境界情報としての輪郭線の滑らか
さ、輝度勾配、輪郭の囲む閉領域の面積等が挙げられ
る。

【００３４】ステップＳ１６０での人物領域とそれ以外
の領域の境界情報抽出を終えると、その境界情報をフレ
ームメモリ群１０２上の予め定めたフレームメモリに書
き込む。図５（ｃ）、（ｄ）に一例を示す。図５（ｃ）
の初期境界情報２３で包囲された領域に関して、ステッ
プＳ１６０の処理を施した例が図５（ｄ）である。図５
（ｄ）の２４が、抽出された人物境界輪郭の様子を表し
ている。ステップＳ１６０の一連の処理を終えるとステ
ップＳ１７０に進む。

【００３５】ステップＳ１７０では、フレームメモリ群
１０２の予め定められたフレームメモリ上のステップＳ
１６０で得られた人物領域境界情報をもとに、同じくフ
レームメモリ群１０２のこれとは異なるフレームメモリ
上にある入力画像に対して、人物領域内とそれ以外の領
域とで、先に述べた文献（１）にあるようなホワイトバ
ランスの調整処理や文献（２）にあるような彩度変換等
の処理を適応的に処理する。処理結果の画像は、フレー
ムメモリ群１０２上の他のフレームメモリ上に書き込ま
れる。このステップＳ１７０においての適応処理によれ
ば、入力画像が、同じく先に述べたような室内で窓際に
いるような人物を撮影した写真画像であったとしても、
主被写体である人物に対して適正な露出や色合いに補正
がされ、かつ、その他の領域も従来より自然に仕上がっ
たデジタル画像として生成される。ステップＳ１７０の
一連の処理を終えると、ステップＳ１８０に進む。

【００３６】ステップＳ１８０では、これまでに得られ
ているデジタル画像を記録・出力部１０８より画像記録
媒体に記録したり、表示装置等への画像信号を出力す
る。ステップＳ１８０の処理を終えるとステップＳ１９
０に進む。

【００３７】ステップＳ１９０では、使用者により、図
示しない操作部により、画像処理装置の動作を終了する
指示があったか否かを判定し、動作終了の指示があった
場合には装置の主電源をオフにして一連の動作を終了す
る。動作終了の指示が無かった場合には、ステップＳ１
１０に戻る。

【００３８】次に、ステップＳ１５０における初期境界
情報の設定方法を詳細に説明する。図６は、検出された
顔部品の例を示す。同図において、３０は右眼、３１は
左眼、３２は口を示しており、３３、３４、３５はそれ
ぞれ３０，３１，３２の中心位置を示している。また、
３６は右眼と左眼の中心の位置（画像内の画素位置を座
標（ｌ_０，ｈ_０）とする）を示している。３３と３４、
即ち、右眼の中心と左眼の中心との間の距離をＬ_１と
し、３５と３６、即ち口の中心と両眼間の中心位置との
距離をＨ_１とする。これらは、先に述べた公知の方法に
より求めることが可能である。

【００３９】また、かくして求められたＬ_１（右眼の中
心と左眼の中心との間の距離）とＨ１（口の中心と両眼
間の中心位置との距離）とから初期境界情報を定めた例
を図７に示す。同図において、図５、図６と共通のもの
は同番号を付してある。図７において、両眼のそれぞれ
の中心を結ぶ直線をｌとしたとき、ｌより垂直上方（頭
頂方向）にＨ_１の３倍、垂直下方（足部方向）にＨ_１の
２０倍の長さをもち、口の中心と両眼間の中心位置を結
ぶ直線ｍを中心にその左右にＬ_１の５倍ずつの幅を持っ
た矩形領域を初期境界情報２３として設定した例を示
す。この矩形のサイズは、必ずしも上記のごとくに幅１
０Ｌ_１、高さ２３Ｈ_１でなければならないものではな
く、実験に基づいて求めたより詳細な数字に適宜設定す
ることも可能である。

【００４０】（第２実施例）第１実施例においては、初
期輪郭領域を矩形領域として設定したが、本発明はかな
らずしもこれに限るものではなく、たとえば、楕円（例
えば、第１実施例で述べた矩形を外接矩形とする楕円）
として設定してもよい。

【００４１】（第３実施例）第１及び第２実施例におい
て、初期輪郭を定めるのは、顔部品として、両眼と口を
用いる例で説明したが、本発明はこれに限るものではな
く、眼や口のみならず、鼻穴や耳等の位置やこれらの配
置をもとに設定しても良い。これらの場合、配置に対す
る初期輪郭の設定の仕方は、さまざまな入力画像を実験
的に撮像して、これらに基づき人物領域を取り囲む妥当
な（例えば、人物領域になるべく近似された輪郭となる
場合が多いような）条件になるように設定すれば良い。

【００４２】（第４実施例）第１及び第２実施例におい
て、初期輪郭を定めるのは、右眼の中心と左眼の中心と
の間の距離Ｌ_１と口の中心と両眼間の中心位置との距離
Ｈ_１とで定める例を示したが、本発明は、これに限らな
い。即ち、例えば右眼の中心と左眼の中心との間の距
離、右眼の中心位置と口の中心位置との距離、左眼の中
心位置と口の中心位置との距離等から定めるようにして
ももちろん良い、この場合も、配置に対する初期輪郭の
設定の仕方は、さまざまな入力画像を実験的に撮像し
て、これらに基づき人物領域を取り囲む妥当な（例え
ば、人物領域になるべく近似された輪郭となる場合が多
いような）条件になるように設定すれば良い。

【００４３】尚、本発明の目的は、上述した第１〜第４
の各実施例のホスト及び端末の機能を実現するソフトウ
ェアのプログラムコードを記憶した記憶媒体を、システ
ム或いは装置に供給し、そのシステム或いは装置のコン
ピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納され
たプログラムコードを読みだして実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が上記各実
施例の機能を実現することとなり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することとなる。

【００４４】プログラムコードを供給するための記憶媒
体としては、ＲＯＭ、フレキシブルディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用
いることができる。

【００４５】また、コンピュータが読みだしたプログラ
ムコードを実行することにより、上記各実施例の機能が
実現されるだけでなく、そのプログラムコードの指示に
基づき、コンピュータ上で稼動しているＯＳ等が実際の
処理の一部又は全部を行い、その処理によって上記各実
施の形態の機能が実現される場合も含まれることは、言
うまでもない。

【００４６】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張機能ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部又は全部を行い、
その処理によって上記各実施の形態の機能が実現される
場合も含まれることは言うまでもない。

【００４７】

【発明の効果】以上説明したように、本発明によれば、
画像中の被写体輪郭を抽出するための初期輪郭の設定を
常に正確に行なえるため、当該主被写体領域としての人
物領域を従来に比し正確に且つ安定して抽出することが
できるため、適応処理により、該入力画像が、同じく先
に述べたような室内で窓際にいるような人物を撮影した
写真画像であったとしても、主被写体である人物に対し
て適正な露出や色合いに補正がされ、かつ、その他の領
域も従来より自然に仕上がったデジタル画像として生成
される等、従来に比し高画質な出力画像を生成すること
が可能となる。

【図面の簡単な説明】

【図１】 本発明を構成する機能ブロック図である。

【図２】 公知の手法を説明する概念図である。

【図３】 本発明を実施する装置構成の一例を示す図で
ある。

【図４】 本発明を実施する装置の動作を説明するフロ
ーチャートである。

【図５】 初期境界情報の設定例と、これから抽出され
た人物領域境界情報の例を示す図である。

【図６】 検出された顔部品の例を示す図である。

【図７】 検出された顔部品から初期境界情報を定めた
例を示す図である。

【符号の説明】

２０：被写体 ３３：右眼の中心 ３４：左眼の中心 ３５：口の中心 １０１：撮像部 １０２：フレームメモリ群 １０３：顔部品検出部 １０４：初期境界情報設定部 １０５：境界情報抽出部 １０６：適応処理部 １０７：全体処理部 １０８：記録・出力部 ３０１：撮像手段 ３０８：記録・出力手段 ３０７１：ＣＰＵ ３０７２：ＲＡＭ ３０７３：ＲＯＭ ３０７４：Ｉ／Ｏ ３０７５：Ｉ／Ｏ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 BA24 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE11 CE17 DA08 DA17 DB02 DB06 DB09 DC03 DC06 DC16 DC25 DC36 5L096 AA02 AA06 CA02 CA24 DA01 FA06 FA62 FA66 GA38

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、 前記画像入力手段から入力された画像中から人物の顔部
   品を検出する顔部品検出手段と、 前記顔部品検出手段にて検出した顔部品の配置から、該
   画像中の人物領域とそれ以外の領域の境界を求めるため
   の初期境界情報を設定する初期境界情報設定手段と、 前記初期境界情報設定手段により設定された初期境界情
   報に基づいて、当該人物領域とそれ以外の領域との境界
   情報を抽出する境界情報抽出手段とを備えることを特徴
   とする画像処理装置。
2. 【請求項２】 更に、前記境界情報抽出手段により抽出
   された人物領域とそれ以外の領域との境界情報に基づき
   適応的な処理を行う適応処理手段を備えることを特徴と
   する請求項１に記載の画像処理装置。
3. 【請求項３】 前記初期境界情報設定手段は、顔部品検
   出手段で検出された複数の顔部品の、入力画像内におけ
   るそれぞれの位置やそれらの相対的位置関係に基づき、
   設定する初期境界情報の位置やサイズを定めることを特
   徴とする請求項１又は２に記載の画像処理装置。
4. 【請求項４】 前記境界情報抽出手段により抽出された
   人物領域とそれ以外の領域との境界情報に基づき適応処
   理手段において行われる適応的な処理は、ホワイトバラ
   ンスの調整処理、または、彩度補正であることを特徴と
   する請求項２に記載の画像処理装置。
5. 【請求項５】 画像を入力する画像入力工程と、 前記画像入力工程で入力された画像中から人物の顔部品
   を検出する顔部品検出工程と、 前記顔部品検出工程にて検出した顔部品の配置から、該
   画像中の人物領域とそれ以外の領域の境界を求めるため
   の初期境界情報を設定する初期境界情報設定工程と、 前記初期境界情報設定工程において設定された初期境界
   情報に基づいて、当該人物領域とそれ以外の領域との境
   界情報を抽出する境界情報抽出工程とを有することを特
   徴とする画像処理方法。
6. 【請求項６】 加えて、前記境界情報抽出工程により抽
   出された人物領域とそれ以外の領域との境界情報に基づ
   き適応的な処理を行う適応処理法定を備えることを特徴
   とする請求項５に記載の画像処理方法。
7. 【請求項７】 前記初期境界情報設定工程は、前記顔部
   品検出工程で検出された複数の顔部品の、入力画像内に
   おけるそれぞれの位置やそれらの相対的位置関係に基づ
   き、設定する初期境界情報の位置やサイズを定めること
   を特徴とする請求項５又は６に記載の画像処理方法。
8. 【請求項８】 前記境界情報抽出手段により抽出された
   人物領域とそれ以外の領域との境界情報に基づき適応処
   理工程において行われる適応的な処理は、ホワイトバラ
   ンスの調整処理、または、彩度補正であることを特徴と
   する請求項６に記載の画像処理方法。
9. 【請求項９】 コンピュータ装置が実行可能なプログラ
   ムであって、前記プログラムを実行するコンピュータ装
   置を、前記請求項１から４のいずれかに記載の画像処理
   装置として機能させることを特徴とするプログラム。
10. 【請求項１０】 前記請求項５から８のいずれかに記載
    の画像処理方法を実現するためのプログラムコードを有
    するプログラム。
11. 【請求項１１】 前記請求項９から１０のすくなくとも
    いずれかのプログラムのプログラムコードを保持する記
    憶媒体。