JP2002245441A - 人物像抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】 一人又は複数の人物を均一あるいはぼけた背
景の前で、かつバストショットで撮影された画像に対し
て、リアルタイムに、エッジ精度良く、かつ常に高い抽
出精度で被写体を抽出することができる人物像抽出装置
を提供すること。 【解決手段】 画像を入力する画像入力手段と、この画
像入力手段により入力された画像から人物領域の候補を
決定する人物領域候補決定手段と、この人物領域候補決
定手段において決定した人物領域候補の中から人物像を
構成する領域を選択し、人物像を画像から抽出する人物
像抽出手段と、この人物像抽出手段の抽出結果を出力す
る抽出結果出力手段と、を備えたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ディジタルカメ
ラやスキャナ等の画像入力装置、もしくは既にコンピュ
ータに取り込まれた画像データファイルから入力された
人物画像から人物像を抽出する人物像抽出装置に関する
ものである。

【０００２】

【従来の技術】図３３は、例えば特許第３０３４２２４
４号公報に示された従来の構図情報抽出装置の全体構成
を説明するための図であり、被写体抽出回路によって、
入力された写真画像から被写体領域を抽出する。

【０００３】次に動作について説明する。従来の構図情
報抽出装置の被写体抽出回路では、まずガボールフィル
タバンクを用いた領域分割手法により画像を領域分割
し、分割された各領域のコントラストパラメータ（領域
間の違いおよび各領域と画像全体との違いを測るための
パラメータ）を計測し、予め構築したニューラルネット
ワークに入力することで、各領域を被写体と背景に分離
する。

【０００４】ここで、上記ニューラルネットワークは、
様々な画像から切り出された領域に対して、人間が分類
した被写体領域データおよび背景領域データを学習デー
タとして学習させた結果得られたものである。

【０００５】また、特開２０００−３６０３２号公報に
示された従来の別の前景画像抽出方法では、前景、つま
り被写体領域を予め撮影しておいた背景画像との差分を
求めることにより抽出している。

【０００６】

【発明が解決しようとする課題】従来の構図情報抽出装
置の被写体抽出回路は、ガボールフィルタバンクによる
領域分割を基に被写体抽出を行っているため、リアルタ
イム処理が困難である。また、ガボールフィルタバンク
による領域分割は、テクスチャ領域を分割する場合に適
しているが、領域の切出し精度（領域の境界がエッジ上
に存在する割合）が良好でないという問題点があった。

【０００７】さらに、従来の構図情報抽出装置の被写体
抽出回路は、任意の画像に対して被写体を抽出するため
のものであることから、本発明の人物像抽出装置が対象
とする人物画像に対して常に良好な結果が得られるとは
限らないという問題点があった。

【０００８】また、従来の別の前景画像抽出法では、常
に背景画像をシステムが保持しなければならず、撮影時
の利用者の手間が増える問題点があった。また、既存の
写真画像から被写体を抽出するためには、被写体が撮影
される前の背景画像が必要となり、その背景画像がない
場合には被写体抽出が不可能という問題点があった。

【０００９】この発明は、上記のような問題点を解決す
るためになされたもので、一人又は複数の人物を均一あ
るいはぼけた背景の前で、かつバストショットで撮影さ
れた画像に対して、リアルタイムに、エッジ精度良く、
かつ常に高い抽出精度で被写体を抽出することができる
人物像抽出装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】この発明に係る人物像抽
出装置は、画像を入力する画像入力手段と、この画像入
力手段により入力された画像から人物領域の候補を決定
する人物領域候補決定手段と、この人物領域候補決定手
段において決定した人物領域候補の中から人物像を構成
する領域を選択し、人物像を画像から抽出する人物像抽
出手段と、この人物像抽出手段の抽出結果を出力する抽
出結果出力手段と、を備えたものである。

【００１１】また、人物領域候補決定手段は、入力画像
のエッジ抽出を行うエッジ抽出手段と、入力画像の色を
減色し、各色のIDに基づいて画像の各画素をIDで表した
インデックスマップを作成する画像減色手段と、この画
像減色手段で作成されたインデックスマップに基づいて
領域マップを作成する領域マップ作成手段と、を備えた
ものである。

【００１２】また、領域マップ作成手段は、画像減色手
段において作成されたインデックスマップの各画素に対
して、ブロック単位にインデックスのヒストグラムを求
め、ヒストグラムが最大となるインデックスで画素のイ
ンデックスを置き換えるノイズ除去処理を施し微小領域
を除外するものである。

【００１３】また、エッジ抽出手段は、画像入力手段に
より入力された画像のR,G,Bの各プレーンに対してエッ
ジ抽出処理を行い、各画素の各プレーンにおけるエッジ
強度の最大値をその画素のエッジ強度とする処理を行う
ことでエッジ画像を求めるものである。

【００１４】また、人物像抽出手段は、背景除去の前処
理に、画像の左右の縁に接する領域が背景領域であるか
否かを判断するための条件式に、左右の縁に接する画素
の座標に応じて変化する重みを導入したものである。

【００１５】また、人物像抽出手段は、背景除去処理
に、エッジ抽出手段で作成したエッジマップを参照しな
がら背景除去処理を行うものである。

【００１６】また、人物領域候補決定手段は、テンプレ
ートに応じて人物領域の候補を決定するようにしたもの
である。

【００１７】また、人物領域候補決定手段は、入力画像
の色を減色し、各色のIDに基づいて画像の各画素をIDで
表したインデックスマップを作成する画像減色手段と、
この画像減色手段で作成されたインデックスマップに基
づいて領域マップを作成する領域マップ作成手段と、人
物像を切り出すためのテンプレートを提示するテンプレ
ート提示手段と、利用者が選択したテンプレートを入力
画像に合わせて修正するテンプレート当てはめ手段と、
被写体の数に応じた様々な人物ポーズのテンプレートを
格納した人物ポーズテンプレートDBと、を備えたもので
ある。

【００１８】また、人物像抽出手段における人物像抽出
結果を容易に修正するための抽出結果修正手段を設けた
ものである。

【００１９】また、抽出結果修正手段は、人物領域抽出
結果の人物領域と背景領域との境界の領域から順に修正
対象領域を利用者に提示し、利用者はそれを選択するの
みで結果を容易に修正可能とするものである。

【００２０】

【発明の実施の形態】以下、この発明の実施の形態を図
面に基づいて説明する。 実施の形態１．実施の形態１における人物像抽出装置
は、カメラやスキャナ等の画像入力装置、あるいは既存
の画像ファイルから入力された人物写真画像から被写体
である人物像をリアルタイムかつ自動的に抽出すること
を可能とするものである。

【００２１】実施の形態１における人物像抽出装置の全
体構成を図１を用いて説明する。図１は実施の形態１を
示す図で、人物像抽出装置の全体構成を示す図である。
図１に示すように、人物像抽出装置１は、カメラやスキ
ャナ等の画像入力装置、あるいは既にコンピュータに取
り込まれた画像データファイルから画像データを人物像
抽出装置１に入力する画像入力手段２と、入力されたフ
ルカラー画像に対して人物領域の候補を決定する人物領
域候補決定手段３と、人物領域候補決定手段３において
フルカラー画像の色を減色する画像減色手段４と、減色
した画像を領域分割し、領域マップを作成する領域マッ
プ作成手段５と、入力された画像のエッジを抽出し、対
応するエッジマップを作成するエッジ抽出手段６と、人
物領域候補決定手段３において決定した人物領域の候補
の中から人物像を構成する領域を選択し、人物像を画像
から抽出する人物像抽出手段７と、抽出結果を出力する
抽出結果出力手段８とを備えたものである。

【００２２】次に実施の形態１における人物像抽出装置
１の動作の概要を図２を用いて説明する。図２は実施の
形態１を示す図で、人物像抽出装置の処理の概要を説明
するためのフローチャート図である。図２に示すよう
に、先ず画像入力手段２により画像を人物像抽出装置１
に取り込む（ステップS1-2）。取り込まれた画像は、エ
ッジ抽出手段６および画像減色手段４に入力される。画
像減色手段４では、フルカラー画像（1670万色を表現可
能な画像）を予め設定された色数に減色し、減色した色
情報を格納するカラーマップと、画像の各画素値をカラ
ーマップのIDに置き換えることで作成されるインデック
スマップを作成する（ステップS1-3）。

【００２３】次に、領域マップ作成手段５において、画
像減色手段４が作成したインデックスマップを基に、同
じIDを持ち、かつ隣り合う画素同士を４連結あるいは８
連結で結合してインデックスマップを領域分割し、分割
された各領域に新たにIDを付与することにより領域マッ
プを作成する（ステップS1-4）。

【００２４】一方エッジ抽出手段６では、入力された画
像に対してエッジ抽出オペレータを施し、画像のエッジ
を抽出し、エッジ上の画素値を１、それ以外の画素値を
０とするエッジマップを作成する（ステップS1-4）。人
物像抽出手段７は、エッジ抽出手段６で作成されたエッ
ジマップと領域マップ作成手段５で作成された領域マッ
プを基に背景領域を除去し、人物像のみを切り出す（ス
テップS1-5）。最後に抽出結果出力手段8により抽出さ
れた人物像を出力する。

【００２５】次に画像減色手段４について詳細に説明す
る。コンピュータグラフィックスの分野では、ディスプ
レイに画像を表示するためのフレームメモリを節約する
ために、カラー画像を再現性良く減色する研究が行われ
てきた。この研究の代表的なものに、Xiaolin等が提案
した色の量子化手法がある（同手法についての詳細は、
Xiaolin Wu, “Color Quantization by Dynamic Progra
mming and PrincipalAnalysis,” Transaction on Grap
hics, Vol. 11, No.4, 348-372, 1992を参照のこ
と）。

【００２６】この手法は、原画像で使用されている色デ
ータを主成分分析し、第一主成分に直交する平面で色を
分類する。まず、各画素の色データを第一主成分の軸上
に写像する。そして、写像した画素を２つに分類するた
めの境界点を求める。このとき、境界点は原色と分類し
た各カテゴリの代表色との差が最小となる第一主成分の
値である。さらに分割する必要がある、つまり指定され
た色数に達していない場合には、各カテゴリの中で原色
との差が大きいものを選択し、同様の手段で選択したカ
テゴリを２つに分類する。この処理を分類したカテゴリ
数と指定した色数が一致するまで繰り返す。こうするこ
とで、減色後の画像は原画像を良く再現したものとな
る。

【００２７】実施の形態１における人物像抽出装置１の
画像減色手段4では、上記手法を用いて各画素の色を減
色し、減色後の代表色にIDを付与したカラーマップを作
成する。そして画像の各画素に対して作成したカラーマ
ップを参照し、色に対応したIDを付与したインデックス
マップを作成する。

【００２８】次に領域マップ作成手段５について図３〜
図６を用いて詳細に説明する。図３〜６は実施の形態１
を示す図で、図３は領域マップ作成手段の動作を説明す
るフローチャート図、図４は画像減色手段で作成された
インデックスマップに対して行うノイズ除去処理を説明
するための図、図５は作成されたインデックスマップか
ら特定のID（ここでは１）を持つ画素を抽出した結果を
示した図、図６は図５に対して領域マップ作成手段5が
新たにIDを付与した結果を示した図である。

【００２９】次に動作を説明する。画像減色手段４によ
って作成されたインデックスマップの各画素に対して、
以下の条件を満たす画素をノイズと見なし、それらを除
去する（ステップS2-2）。

【００３０】図４に示すように、注目画素１０（○で囲
まれた画素）および周囲の画素９のIDを参照し、過半数
を超えるIDが存在し、かつ、注目画素１０のIDと異なる
場合に、注目画素１０をノイズと見なし、注目画素１０
のIDを過半数を超えるIDに置き換える。

【００３１】以上でノイズ除去されたインデックスマッ
プに対して、領域分割を行い、各領域にユニークなIDを
付与する。ここでは、インデックスマップに付与された
全てのIDに対して以下の処理を行う。

【００３２】インデックスマップに付与されたIDのうち
１つを選択する。例えばここではID=1を選択する。次に
ID=1である画素をインデックスマップから抜き出すと、
例えば図５のようになる（ステップS2-3、ステップS2-
4）。

【００３３】抽出された画素でかつ隣り合う画素同志を
4連結あるいは8連結により結合し領域を求める（ステッ
プS2-5）。図５では、２つの領域１１、１２（ハッチン
グされた部分）が求まった。

【００３４】上記処理により求めた領域に対してそれぞ
れ他と異なるIDを付与する（ステップS2-6）。例えば、
図５の各領域に対してIDを付与し直した結果図６（図５
の領域１１が図６の領域１３、図５の領域１２が図６の
領域１４）となる。以上の処理を全てのIDに対して行う
ことにより、各領域ごとにユニークなIDを付与した領域
マップが作成される。

【００３５】次にエッジ抽出手段６によるエッジ抽出処
理について、図７〜図９を用いて詳細に説明する。図７
〜９は実施の形態１を示す図で、図７はエッジ抽出手段
の動作を示すフローチャート図、図８は水平方向のSobe
lオペレータのカーネルを示す図、図９は垂直方向のSob
elオペレータのカーネルを示す図である。

【００３６】画像入力手段２で入力される画像は、カラ
ー画像であるためR,G,Bの３つのプレーンにより画像が
構成されている。エッジ抽出処理は通常、カラー画像を
グレースケール画像に変換後各画素に微分オペレータを
施し、グラジェントの強度を求めることで行われる。し
かしながら、例えば隣り合う画素の色は異なるが輝度が
同じである場合には、差分が０となってしまい、エッジ
を抽出することができなくなる。そこで、本発明の人物
像抽出装置１では、R,G,B各プレーンに対してエッジ抽
出オペレータを施し、各画素の各プレーンに対するエッ
ジ強度のうち最大となるものを、その画素のエッジ強度
とする。

【００３７】エッジ抽出オペレータには、例えばSobel
オペレータがある。Sobelオペレータは、図８および図
９に示す水平１５および垂直方向の微分オペレータ１６
であり（図８および図９は３ｘ３の近傍に対するオペレ
ータ）、図８および図９の格子内の値は局所積和演算の
係数を表す。つまり、注目画素(x、y)の画素値をf(x、
y)とし、サイズが2*hk-1のSobelオペレータを適用した
結果得られるグラジェントの値f_*(x、y)は次の式で表さ
れる。

【００３８】

【数１】

【００３９】w(x、y)はSobelオペレータの係数、*はオ
ペレータの方向で、*=xであれば水平方向のオペレータ1
5を用い、*=yであれば垂直方向のオペレータ16を用い
る。

【００４０】上記式１で求まる水平および垂直方向のグ
ラジェントからエッジ強度は、次式で求まる。

【００４１】

【数２】

【００４２】fxおよびfyはそれぞれ水平垂直方向のグラ
ジェントである。

【００４３】エッジ抽出手段６では、上記Sobelオペレ
ータ１５、１６をR,G,B各プレーンに施し、各プレーン
のエッジ強度を求め（ステップS3-2）、全画素に対し、
各画素の各プレーンのエッジ強度の最大値を求め、求め
た最大値をその画素のエッジ強度とする処理を行うこと
でエッジ画像を求める（ステップS3-3〜ステップS3-
5）。

【００４４】以上で求めたエッジ画像に対して、しきい
値処理を施し、エッジ強度がしきい値以上の画素の値を
１、それ以外の画素の値を０とするエッジマップを作成
する（ステップS3-6）。

【００４５】次に人物像抽出手段7について、図１０〜
図１６を用いて説明する。図１０〜図１６は実施の形態
１を示す図で、図１０は人物像抽出手段における背景除
去処理の前処理のフローチャート図、図１１は人物像抽
出手段７における背景除去処理のフローチャート図、図
１２はエッジ抽出手段により作成されたエッジマップの
例を示した図、図１３〜図１５は人物像抽出手段の処理
過程を示した図、図１６は人物の腕の部分が画像の左右
の縁に接した場合の画像を示す図である。

【００４６】次に動作を説明する。人物をバストショッ
トで撮影することを条件としていることから、画像の特
に上、左右の縁に接している領域は背景領域である確率
が高い。そこで画像の上、左右の縁に接している領域の
内、次の条件を満たすものを背景領域とする。画像の上
の縁に接している領域：

【００４７】

【数３】

【００４８】Uthはしきい値、upixは領域の外周画素で
画像の上の縁に接している画素数、wIDthは画像の幅
（画素数）である。画像の左右のどちらかに縁に接して
いる領域：

【００４９】

【数４】

【００５０】

【数５】

【００５１】

【数６】

【００５２】

【数７】

【００５３】Lth、Rthはしきい値、lpix、rpixは領域の
外周画素で画像の左右どちらかの縁に接している画素
数、heightは画像の高さ（画素数）、wは重み係数、pは
領域の外周画素で画像の左右どちらかの縁に接している
画素、v(p)はpのy座標（画像の垂直方向）を変数とした
関数、yはpのy座標である。

【００５４】ここで、画像の左右の縁に接する領域が背
景領域であるか否かを判定する条件、式４および式５に
おいて重み係数wを導入した理由は、図１６に示すよう
にバストショットには、肩から腕にかけて体の一部が画
像の縁に接して撮影される場合があるため、式７に示す
ように、特に、画像の下の部分に接している画素に対し
ては被写体領域である可能性もあることから、画素のy
座標に応じて式４および式５で得られる値への影響を抑
えるようにした。

【００５５】以上の条件により、背景除去処理の前処理
として画像の上、左右の縁に接している領域が背景領域
であるか否かを判断する。

【００５６】先ず画像の上、左右の縁に接している領域
を求める（ステップS4-2）。これは、領域マップ作成手
段５で作成された領域マップを基に、画像の上、左右の
縁の画素に着目し、その画素の領域IDを求めることで対
象となる領域を定めることができる。

【００５７】次に、求めた全ての領域に対して上記条件
を満たす領域が存在するか否かを判断する（ステップS4
-3〜ステップS4-11）。

【００５８】先ず画像の上の縁に接している画素数を求
め、式３により背景領域であるか否かを判断し（ステッ
プS4-4、ステップS4-5）、式３の条件を満たせば、その
領域を背景領域とする（ステップS4-11）。

【００５９】上記処理で背景領域でないと判断された場
合、画像の左の縁に接している画素数を求め、式４によ
り背景領域であるか否かを判断し（ステップS4-6、ステ
ップS4-7）、式４の条件を満たせば、その領域を背景領
域とする（ステップS4-11）。

【００６０】上記処理で背景領域でないと判断された場
合、画像の右の縁に接している画素数を求め、式５によ
り背景領域であるか否かを判断し（ステップS4-8、ステ
ップS4-9）、式５の条件を満たせば、その領域を背景領
域とする（ステップS4-11）。

【００６１】例えば、領域マップ作成手段５によって作
成された領域マップ１８が図１３であった場合、以上の
背景処理の前処理を施すことにより、図１４の黒く塗り
つぶされた領域１９が背景領域となる。

【００６２】次に、残った領域からさらに背景領域を除
去する処理を行う。背景除去処理の前処理で示した条件
以外に領域が背景である条件は、領域の外周上でかつ背
景領域との境界においてエッジが存在しないことであ
る。つまり、次の条件を満たす領域を背景領域とする。

【００６３】

【数８】

【００６４】Ethはしきい値、outpixは背景領域と接す
る領域の、背景領域と接した画素数、epixは背景領域と
接した画素のうち、エッジ上の画素である画素数であ
る。

【００６５】ここで、式８におけるepixを求める際、領
域境界とエッジの位置が必ずしも一致しているとは限ら
ないため、注目画素の近傍をエッジ抽出手段６で作成し
たエッジマップを参照して調べ、もしエッジが存在する
場合には、その画素をエッジ上の画素と見なすことにす
る。ここでは、注目画素と近傍の画素を参照する。

【００６６】まず、背景領域と接する領域を求め、求め
た全ての領域に対して上記条件により背景領域であるか
否かを判断する（ステップS5-2〜ステップS5-7）。

【００６７】背景領域と接する領域の外周画素のうち、
背景領域と接する画素数outpixを求める（ステップS5-
3）。次に求めた全ての画素に対して、エッジ抽出手段
６で作成したエッジマップを参照し、注目画素および各
画素の近傍の位置にエッジが存在するか否かを調べる。
そして、エッジが存在した画素数epixを求める（ステッ
プS5-4）。

【００６８】式８により領域が背景領域か否かを判断し
（ステップS5-5）、式８の条件を満たせばその領域を背
景領域とする（ステップS5-6）。

【００６９】背景領域と接する全ての領域に対してステ
ップS5-2〜ステップS5-7の処理を終了したとき、背景領
域を発見したならば、ステップS5-2に戻って処理を繰り
返す（ステップS5-8）。

【００７０】例えば、背景除去処理の前処理を行った結
果が図１４、エッジ抽出手段で抽出されたエッジマップ
１７が図１２であった場合、上記処理を行うことによ
り、図１５の結果２０が得られる。

【００７１】以上の人物像抽出手段7で行った背景除去
処理で最終的に残った領域を人物領域とし、抽出結果出
力手段8により人物領域を出力する。

【００７２】上述の実施の形態１によれば、以下に示す
効果が得られる。 （１）自動的に画像から人物像を抽出可能である。 （２）画像減色手段４および領域マップ作成手段５にお
いて色情報を基に領域分割することから、背景と人物の
境界が明確な場合、テクスチャを基にした領域分割に比
べ切出し精度が高い。 （３）画像減色手段４および領域マップ作成手段５で用
いられているアルゴリズムは単純であり、リアルタイム
に処理が可能である。 （４）領域マップ作成手段５において、ノイズ除去処理
を施し微小領域を除外することにより、結果として領域
分割後の領域数が減り、処理効率を向上させることがで
きる。 （５）エッジ抽出手段６において、R,G,Bの各プレーン
に対してエッジ抽出処理を行い、各画素の各プレーンに
おけるエッジ強度の最大値をその画素のエッジ強度に代
表させることにより、グレースケール画像からエッジを
抽出する際の「隣り合う画素の色相が異なるが、輝度が
同じ場合に適切なエッジ抽出ができない」問題を解消す
ることができる。 （６）人物像抽出手段７の背景除去の前処理に、画像の
左右の縁に接する領域が背景領域であるか否かを判断す
るための条件式に、縁に接する画素の座標に応じて変化
する重みを導入したことにより、例えば人物の肩から腕
にかけて、体の一部が画像の縁に接していても人物領域
として切り出すことができる。 （７）人物像抽出手段７の背景除去処理に、エッジ抽出
手段６で作成したエッジマップを参照しながら背景除去
処理を行うことから、均一な背景の前で撮影された画像
だけでなく、焦点が人物のみにあたり、背景がぼけてい
る画像であれば任意の背景でも人物像を適切に切り出す
ことが可能である。

【００７３】実施の形態２．上記実施の形態１では、人
物像抽出装置１の人物領域候補決定手段３が図１に示す
構成のものを示したが、ここでは、別の構成のものにつ
いて説明する。図１７は実施の形態２を示す図で、人物
像抽出装置の全体構成を示す図である。図１７に示すよ
うに、本実施の形態２における人物像抽出装置１の人物
領域候補決定手段３は、撮影ポーズの候補を提示するテ
ンプレート提示手段２２と、利用者が選択したテンプレ
ートを撮影された人物像に合わせて当てはめるテンプレ
ート当てはめ手段２３と、想定される人物の撮影ポーズ
を複数収めた人物ポーズテンプレートDB２４から構成さ
れる。

【００７４】また、本実施の形態２における人物像抽出
装置１は、実施の形態１における人物像抽出手段７とは
異なり、上記テンプレート情報を用いて人物像を抽出す
る人物像抽出手段２５を用いる。

【００７５】次に動作の概要を説明する。画像入力手段
2により人物像抽出装置１に画像が入力されると、実施
の形態１同様、画像減色手段4および領域マップ作成手
段５において領域分割および分割された領域にIDを付与
した領域マップが作成される。次に、テンプレート提示
手段２２により、画像から人物像を切り出すための人物
ポーズテンプレートを人物ポーズテンプレートDB２４か
ら取得し、利用者に提示する。利用者は、テンプレート
当てはめ手段２３で提示されたテンプレートから人物像
を画像から切り出すための最適なものを選び、画像に合
わせてテンプレートを当てはめる。テンプレートの当て
はめが終わると、人物像抽出手段２５において、テンプ
レートに沿って人物像を画像から切出し、抽出結果出力
手段８で結果を出力する。

【００７６】以下に、テンプレート提示手段２２の動作
の詳細を図１８〜図２１を用いて説明する。図１８〜図
２１は実施の形態２を示す図で、図１８はテンプレート
提示手段の動作を説明するためのフローチャート図、図
１９は人物ポーズテンプレートDBに格納されたテンプレ
ートデータを示す図、図２０は人物ポーズテンプレート
DBに収められたテンプレートの中から、被写体の人数に
応じたテンプレートを検索するためのダイアログを示す
図、図２１は検索したテンプレートを表示するテンプレ
ート表示ウインドウを示す図である。

【００７７】テンプレート提示手段２２は、まず利用者
に、撮影された被写体の人数に応じたテンプレートを提
示するために、被写体数入力ダイアログ２７を提示する
（ステップS6-2）。ここで、利用者が被写体の人数を入
力し、OKボタンを押すと、テンプレート提示手段２２
は、人物ポーズテンプレートDB２４に格納されたテンプ
レートデータ２６から被写体数に対応するテンプレート
データを取得し、テンプレート表示ウインドウにテンプ
レートを表示する（ステップS6-3、ステップS6-5、テン
プレートS6-6）。利用者がキャンセルボタンを押すと、
テンプレート提示手段２２は何もしないで、処理を終了
する（ステップS6-4、ステップS6-9）。このとき、人物
像抽出装置１の処理も同時に終了する。

【００７８】テンプレート表示ウインドウ２８に示され
たテンプレートの中から、利用者がテンプレートを１つ
選択すると、テンプレート提示手段２２はそのテンプレ
ートIDを記憶し（ステップS6-7、ステップS6-8）、テン
プレート当てはめ手段２３にIDを引き渡す。

【００７９】次に、テンプレート当てはめ手段２３の動
作を図２２〜図２５を用いて詳細に説明する。図２２〜
図２５は実施の形態２を示す図で、図２２はテンプレー
ト当てはめ手段の動作を説明するためのフローチャート
図、図２３は利用者がテンプレート表示ウインドウから
選択したテンプレートを被写体に合わせて当てはめるた
めのテンプレート当てはめダイアログを示す図、図２４
はテンプレートを原画像にオーバーラップさせる処理を
説明するためのフローチャート図、図２５はテンプレー
トデータを示す図である。

【００８０】テンプレート当てはめ手段２３は、テンプ
レート提示手段２２から入力されたテンプレートIDを基
に、対応するテンプレートデータを人物ポーズテンプレ
ートDB２４から取得し、原画像のサイズに合わせて拡大
縮小する（ステップS7-2）。

【００８１】次に、拡大縮小したテンプレートデータを
原画像にオーバーラップさせた画像を作成し、その画像
を図２３に示すテンプレート当てはめダイアログ２９と
ともに表示する（ステップS7-3、ステップS7-4）。

【００８２】利用者は、テンプレート当てはめダイアロ
グ２９に装備された拡大縮小、水平垂直方向の移動のた
めのツール（ここではスクロールバー）を用いて被写体
とテンプレートが合致するようにテンプレートデータを
変更する（ステップS7-5〜ステップS7-11）。そして、
最後にOKボタンを押すと、変更されたテンプレートデー
タを記憶し、人物像抽出手段２５にテンプレートデータ
と領域マップ作成手段５で作成した領域マップを引き渡
し、処理を終了する（ステップS7-12、ステップS7-1
3）。

【００８３】ここで、テンプレートデータを原画像にオ
ーバーラップさせる処理について図２４、図２５を用い
て詳細に説明する。テンプレートデータ３０は図２５に
示すように、テンプレートの境界の画素値が１、境界の
内側の画素値が２、境界の外側の画素値が０となってい
る。

【００８４】そこで、テンプレート当てはめ手段２３で
は、ステップS7-3において、まず原画像をテンプレート
当てはめダイアログ２９の画像表示バッファに原画像を
コピーし（ステップS8-2）、テンプレートデータ３０の
全ての画素に対して画素値が１である画素を求め（ステ
ップS8-3、ステップS8-4）、対応する表示バッファの画
素の色を予め設定しておいた色に変更することで（ステ
ップS8-5）、原画像にテンプレートの線画をオーバーラ
ップさせることができる。

【００８５】次に、利用者が設定したテンプレートデー
タに基づいて人物像を画像から抽出する処理を図２６を
用いて説明する。図２６は実施の形態２を示す図で、人
物像抽出手段の処理を説明するためのフローチャート図
である。人物像抽出手段２５は、テンプレートデータの
全ての画素に対してテンプレートデータの画素値が１、
あるいは２である画素に対応する領域マップの画素のID
（領域ID）を取得し（ステップS9-2、ステップS9-3）、
それを記憶する（ステップS9-4）。そして、記憶した全
てのIDに対応する領域を抽出することで人物像を抽出す
る（ステップS9-6）。

【００８６】上述の実施の形態２によれば、以下に示す
効果が得られる。実施の形態２における人物領域候補決
定手段３においてテンプレートを用いて人物像を抽出す
るように構成したことにより、手動ではあるが、 （１）背景の条件や人物の撮影条件に関係なく人物像を
抽出可能となる。 （２）バストショットだけでなく、立った人物でも抽出
可能である。 実施の形態１では均一な背景あるいは背景がぼけている
ことが条件であった、さらに、バストショットのみであ
った。

【００８７】実施の形態３．上記実施の形態１に示した
人物像抽出装置１は、人物像抽出手段７の抽出結果を抽
出結果出力手段８で出力するようにしたが、図２７に示
すように抽出結果修正手段を設け、抽出エラーを容易に
修正可能とするように構成しても良い。

【００８８】図２７は実施の形態３を示す図で、人物像
抽出装置の全体構成を示す図である。図２７に示すよう
に、抽出結果修正手段３１は人物像抽出手段７の抽出結
果に対して、もし誤抽出した領域が存在するときには、
その領域をポインティングデバイス、あるいはボタンな
どにより指示することで容易に修正を可能とするための
ものである。

【００８９】次に、実施の形態３における人物像抽出装
置１の動作を図２８〜図３２を用いて説明する。図２８
〜図３２は実施の形態３を示す図で、図２８は抽出結果
修正手段のユーザインタフェースの一例である抽出結果
修正ウインドウを示す図、図２９は抽出結果修正手段の
動作を説明するための部分的なフローチャート図、図３
０は抽出結果修正手段の動作を説明するための部分的な
フローチャート図、図３１は背景領域と人物領域の境界
にある領域を格納するための配列を示す図、図３２はあ
る抽出結果を修正するときの抽出結果修正手段の動作を
説明するための図である。

【００９０】人物像抽出装置１に画像入力手段２を介し
て人物画像を入力し、人物領域候補決定手段３において
人物領域の候補を決定し、人物像抽出手段７において人
物領域を抽出した結果が図２８の抽出結果修正ウインド
ウ３２に表示されたとする。抽出結果修正手段３１で
は、背景領域と人物領域の境界にある領域を順番に修正
対象領域とし、利用者に修正対象領域をハイライト表示
することで提示し、修正をうながす。

【００９１】図２８では、人物の左肩のあたりに修正対
象領域３３がハイライト表示されている。利用者は、ハ
イライト表示された修正対象領域３３が誤抽出領域であ
れば、その領域を入力デバイスで選択することにより、
背景領域を人物領域に、あるいは、人物領域を背景領域
に修正することができる。

【００９２】まず、背景領域と人物領域の境界に位置す
る領域のIDを全て求める（ステップS10-2）。これは、
人物像抽出手段７により決定した人物領域の外周画素
で、画像の下の縁に接する画素を除いたものを対象と
し、各画素の周辺画素も含めて人物領域候補決定手段３
において作成された領域マップを参照することで同領域
IDを求めることができる。

【００９３】次に、求めたIDを配列３４に格納する（ス
テップS10-3）。

【００９４】配列３４に格納した領域IDの中から、配列
の先頭に格納されたIDを修正対象領域とし（ステップS1
0-4）、その領域をハイライト表示する（ステップS10-
5）。

【００９５】もし、利用者が抽出結果修正ウインドウ３
２において次ボタンを選択すると（ステップS10-6）、
現在のIDが格納されている位置が配列の最後尾であるか
否かを判断し（ステップS10-7）、最後尾でなければ次
に格納されているIDを修正対象領域とし（ステップS10-
8）、ステップS10-5から処理を繰り返す。もし、現在の
格納位置が配列の最後尾であれば（ステップS10-7）、
ステップS10-4から処理を繰り返す。

【００９６】同様に、もし利用者が抽出結果修正ウイン
ドウ３２において前ボタンを選択すると（ステップS10-
11）、現在のIDが格納されている位置が配列の先頭であ
るか否かを判断し（ステップS10-12）、先頭でなければ
前に格納されているIDを修正対象領域とし（ステップS1
0-13）、ステップS10-5から処理を繰り返す。もし、現
在の格納位置が配列の先頭であれば（ステップS10-1
2）、修正対象領域を配列の最後尾に格納されたIDとし
（ステップS10-14）、ステップS10-5から処理を繰り返
す。

【００９７】もし、利用者が抽出結果修正ウインドウ３
２において選択ボタンを選択すると（ステップS10-
9）、選択された領域が人物領域か否かを判断する（ス
テップS10-10）。例えば、配列３４において人物領域
５、図３２の領域マップ３６において○で囲まれた人物
領域（ID=5）が選択されたとする。

【００９８】利用者が選択した領域（ID=5）が人物領域
であった場合、その領域に隣接する背景領域の中で配列
３４に格納されている領域を配列から削除する（ステッ
プS10-17）。図３１および図３２の例では、ID=6の領域
が配列から削除される。

【００９９】次に、利用者が選択した人物領域（ID=5）
に隣接する人物領域の中で、配列３４に格納されていな
い領域を求める（ステップS10-18）。図３２の領域マッ
プ３６の例では、ID=15が求まる。

【０１００】利用者が選択した人物領域（ID=5）を背景
領域に変更し（ステップS10-19）、その領域IDを配列３
４から削除する（ステップS10-20）。

【０１０１】次に、ステップS10-18で求めた人物領域(I
D=15）に隣接する背景領域の中で配列３４に格納されて
いない領域を求める（ステップS10-21）。図３２の領域
マップ３６の例では、ID=5の領域が求まる。

【０１０２】以上で求めた全ての領域ID（ID=15、ID=
5）を配列３４の修正対象領域IDが格納されていた位置
に挿入し（ステップS10-22）、ステップS10-5から処理
を繰り返す。図３１の例では、配列３４が配列３５とな
る。

【０１０３】同様に、ステップS10-10において利用者が
選択した領域が背景領域であった場合、まず、隣接する
人物領域の中で配列３４に格納されている領域を求め、
それらを配列３４から削除する（ステップS10-23）。

【０１０４】次に、隣接する背景領域の中で配列３４に
格納されていない領域を求め（ステップS10-24）、利用
者が選択した背景領域を人物領域に変更し（ステップS1
0-25）、配列３４からその領域のIDを削除する（ステッ
プS10-26）。

【０１０５】ステップS10-24で求めた背景領域と隣接す
る人物領域で、配列３４に含まれていない領域を求め
（ステップS10-27）、以上で求めた全ての領域を配列３
４の修正対象領域が格納されていた位置に挿入し（ステ
ップS10-22）、ステップS10-5から処理を繰り返す。

【０１０６】利用者が、抽出結果修正ウインドウ３２に
おいてOKボタンを選択した場合（ステップS10-15）、抽
出結果出力手段８において抽出結果を表示する。

【０１０７】なお、抽出結果修正ウインドウ３２の次ボ
タン、前ボタン、選択ボタン、OKボタンは、PCであれば
キーボードのキーに対応させても良い。また、携帯電話
であれば、ジョグボタンや確定ボタンなどに対応させて
も良い。

【０１０８】

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。

【０１０９】画像入力手段により入力された画像から、
自動的かつリアルタイムに人物像を抽出することができ
る。

【０１１０】また、画像減色手段および領域マップ作成
手段において色情報基に領域分割することから、背景と
人物の境界が明確な場合、テクスチャを基にした領域分
割に比べ切出し精度が高い。また、画像減色手段および
領域マップ作成手段で用いられているアルゴリズムは単
純であり、リアルタイムに処理が可能である。

【０１１１】また、領域マップ作成手段において、ノイ
ズ除去処理を施し微小領域を除外することにより、結果
として領域分割後の領域数が減り、処理効率を向上させ
ることができる。

【０１１２】また、エッジ抽出手段において、R,G,Bの
各プレーンに対してエッジ抽出処理を行い、各画素の各
プレーンにおけるエッジ強度の最大値をその画素のエッ
ジ強度に代表させることにより、グレースケール画像か
らエッジを抽出する際の「隣り合う画素の色相が異なる
が、輝度が同じ場合に適切なエッジ抽出ができない」と
いう問題点を解消することができる。

【０１１３】また、人物像抽出手段の背景除去の前処理
に、画像の左右の縁に接する領域が背景領域であるか否
かを判断するための条件式に、縁に接する画素の座標に
応じて変化する重みを導入したことにより、例えば人物
の肩から腕にかけて、体の一部が画像の縁に接していて
も人物領域として切り出すことができる。

【０１１４】また、人物像抽出手段の背景除去処理に、
エッジ抽出手段で作成したエッジマップを参照しながら
背景除去処理を行うことから、均一な背景の前で撮影さ
れた画像だけでなく、焦点が人物のみにあたり、背景が
ぼけている画像であれば任意の背景でも人物像を適切に
切り出すことが可能である。

【０１１５】また、テンプレートを用いて人物像を切り
出すようにすることにより、手動ではあるが、背景に関
係なく人物像を抽出でき、バストショットだけでなく、
立った人物でも抽出することができる。

【０１１６】また、抽出結果修正手段により、人物像抽
出結果を容易に修正することができる。

【０１１７】また、抽出結果修正手段は、人物領域抽出
結果の人物領域と背景領域との境界の領域から順に修正
対象領域を利用者に提示し、利用者はそれを選択するの
みで結果を容易に修正可能とすることにより、手動で人
物と背景の境界をなぞるなどの手法に比べて、容易であ
りかつ効率的である。

【図面の簡単な説明】

【図１】 実施の形態１を示す図で、人物像抽出装置の
全体構成を示す図である。

【図２】 実施の形態１を示す図で、人物像抽出装置の
処理の概要を説明するためのフローチャート図である。

【図３】 実施の形態１を示す図で、領域マップ作成手
段の動作を説明するフローチャート図である。

【図４】 実施の形態１を示す図で、画像減色手段で作
成されたインデックスマップに対して行うノイズ除去処
理を説明するための図である。

【図５】 実施の形態１を示す図で、作成されたインデ
ックスマップから特定のID（ここでは１）を持つ画素を
抽出した結果を示した図である。

【図６】 実施の形態１を示す図で、図５に対して領域
マップ作成手段が新たにIDを付与した結果を示した図で
ある。

【図７】 実施の形態１を示す図で、エッジ抽出手段の
動作を示すフローチャート図である。

【図８】 実施の形態１を示す図で、水平方向のSobel
オペレータのカーネルを示す図である。

【図９】 実施の形態１を示す図で、垂直方向のSobel
オペレータのカーネルを示す図である。

【図１０】 実施の形態１を示す図で、人物像抽出手段
における背景除去処理の前処理のフローチャート図であ
る。

【図１１】 実施の形態１を示す図で、人物像抽出手段
における背景除去処理のフローチャート図である。

【図１２】 実施の形態１を示す図で、エッジ抽出手段
により作成されたエッジマップの例を示した図である。

【図１３】 実施の形態１を示す図で、人物像抽出手段
の処理過程を示した図である。

【図１４】 実施の形態１を示す図で、人物像抽出手段
の処理過程を示した図である。

【図１５】 実施の形態１を示す図で、人物像抽出手段
の処理過程を示した図である。

【図１６】 実施の形態１を示す図で、人物の腕の部分
が画像の左右の縁に接した場合の画像を示す図である。

【図１７】 実施の形態２を示す図で、人物像抽出装置
の全体構成を示す図である。

【図１８】 実施の形態２を示す図で、テンプレート提
示手段の動作を説明するためのフローチャート図であ
る。

【図１９】 実施の形態２を示す図で、人物ポーズテン
プレートDBに格納されたテンプレートデータを示す図で
ある。

【図２０】 実施の形態２を示す図で、人物ポーズテン
プレートDBに収められたテンプレートの中から、被写体
の人数に応じたテンプレートを検索するためのダイアロ
グを示す図である。

【図２１】 実施の形態２を示す図で、検索したテンプ
レートを表示するテンプレート表示ウインドウを示す図
である。

【図２２】 実施の形態２を示す図で、テンプレート当
てはめ手段の動作を説明するためのフローチャート図で
ある。

【図２３】 実施の形態２を示す図で、利用者がテンプ
レート表示ウインドウから選択したテンプレートを被写
体に合わせて当てはめるためのテンプレート当てはめダ
イアログを示す図である。

【図２４】 実施の形態２を示す図で、テンプレートを
原画像にオーバーラップさせる処理を説明するためのフ
ローチャート図である。

【図２５】 実施の形態２を示す図で、テンプレートデ
ータを示す図である。

【図２６】 実施の形態２を示す図で、人物像抽出手段
の処理を説明するためのフローチャート図である。

【図２７】 実施の形態３を示す図で、人物像抽出装置
の全体構成を示す図である。

【図２８】 実施の形態３を示す図で、抽出結果修正手
段のユーザインタフェースの一例である抽出結果修正ウ
インドウを示す図である。

【図２９】 実施の形態３を示す図で、抽出結果修正手
段の動作を説明するための部分的なフローチャート図で
ある。

【図３０】 実施の形態３を示す図で、抽出結果修正手
段の動作を説明するための部分的なフローチャート図で
ある。

【図３１】 実施の形態３を示す図で、背景領域と人物
領域の境界にある領域を格納するための配列を示す図で
ある。

【図３２】 実施の形態３を示す図で、ある抽出結果を
修正するときの抽出結果修正手段の動作を説明するため
の図である。

【図３３】 従来の構図情報抽出装置の全体構成を説明
するための図である。

【符号の説明】

１ 人物像抽出装置、２ 画像入力手段、３ 人物領域
候補決定手段、４ 画像減色手段４、５ 領域マップ作
成手段５、６ エッジ抽出手段、７ 人物像抽出手段、
８ 抽出結果出力手段、９ 周囲の画素、１０ 注目画
素、１１〜１４領域、１５ 水平方向の微分オペレー
タ、１６ 垂直方向の微分オペレータ、１７ エッジマ
ップ、１８ 領域マップ、１９ 黒く塗りつぶされた領
域、２２テンプレート提示手段、２３ テンプレート当
てはめ手段、２４ 人物ポーズテンプレートDB、２５
人物像抽出手段、２６ テンプレートデータ、２７ 被
写体数入力ダイアログ、２８ テンプレート表示ウイン
ドウ、２９ テンプレート当てはめダイアログ、３０
テンプレートデータ、３１ 抽出結果修正手段、３２
抽出結果修正ウインドウ、３３ 修正対象領域、３４，
３５ 配列、３６領域マップ。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE02 CE09 CE16 DA08 DB02 DB06 DB09 DC16 DC19 DC33 5L096 AA02 CA02 EA05 EA37 EA45 FA06 FA35 GA08 HA07 JA09

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、 この画像入力手段により入力された画像から人物領域の
   候補を決定する人物領域候補決定手段と、この人物領域
   候補決定手段において決定した人物領域候補の中から人
   物像を構成する領域を選択し、人物像を画像から抽出す
   る人物像抽出手段と、 この人物像抽出手段の抽出結果を出力する抽出結果出力
   手段と、を備えたことを特徴とする人物像抽出装置。
2. 【請求項２】 前記人物領域候補決定手段は、入力画像
   のエッジ抽出を行うエッジ抽出手段と、入力画像の色を
   減色し、各色のIDに基づいて画像の各画素をIDで表した
   インデックスマップを作成する画像減色手段と、この画
   像減色手段で作成されたインデックスマップに基づいて
   領域マップを作成する領域マップ作成手段と、を備えた
   ことを特徴とする請求項１記載の人物像抽出装置。
3. 【請求項３】 前記領域マップ作成手段は、前記画像減
   色手段において作成されたインデックスマップの各画素
   に対して、ブロック単位にインデックスのヒストグラム
   を求め、ヒストグラムが最大となるインデックスで画素
   のインデックスを置き換えるノイズ除去処理を施し微小
   領域を除外することを特徴とする請求項２記載の人物像
   抽出装置。
4. 【請求項４】 前記エッジ抽出手段は、前記画像入力手
   段により入力された画像のR,G,Bの各プレーンに対して
   エッジ抽出処理を行い、各画素の各プレーンにおけるエ
   ッジ強度の最大値をその画素のエッジ強度とする処理を
   行うことでエッジ画像を求めることを特徴とする請求項
   ２記載の人物像抽出装置。
5. 【請求項５】 前記人物像抽出手段は、背景除去の前処
   理に、画像の左右の縁に接する領域が背景領域であるか
   否かを判断するための条件式に、左右の縁に接する画素
   の座標に応じて変化する重みを導入したことを特徴とす
   る請求項１記載の人物像抽出装置。
6. 【請求項６】 前記人物像抽出手段は、背景除去処理
   に、前記エッジ抽出手段で作成したエッジマップを参照
   しながら背景除去処理を行うことを特徴とする請求項１
   記載の人物像抽出装置。
7. 【請求項７】 前記人物領域候補決定手段は、テンプレ
   ートに応じて人物領域の候補を決定するようにしたこと
   を特徴とする請求項１記載の人物像抽出装置。
8. 【請求項８】 前記人物領域候補決定手段は、入力画像
   の色を減色し、各色のIDに基づいて画像の各画素をIDで
   表したインデックスマップを作成する画像減色手段と、
   この画像減色手段で作成されたインデックスマップに基
   づいて領域マップを作成する領域マップ作成手段と、人
   物像を切り出すためのテンプレートを提示するテンプレ
   ート提示手段と、利用者が選択したテンプレートを入力
   画像に合わせて修正するテンプレート当てはめ手段と、
   被写体の数に応じた様々な人物ポーズのテンプレートを
   格納した人物ポーズテンプレートDBと、を備えたことを
   特徴とする請求項７記載の人物像抽出装置。
9. 【請求項９】 前記人物像抽出手段における人物像抽出
   結果を容易に修正するための抽出結果修正手段を設けた
   ことを特徴とする請求項１記載の人物像抽出装置。
10. 【請求項１０】 前記抽出結果修正手段は、人物領域抽
    出結果の人物領域と背景領域との境界の領域から順に修
    正対象領域を利用者に提示し、利用者はそれを選択する
    のみで結果を容易に修正可能とすることを特徴とする請
    求項９記載の人物像抽出装置。