JP2000076455A - ３次元形状データ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 顔面模型を作成する際に必要とされる両眼領
域の正確な抽出処理を自動的に行うことができる機能を
有する３次元形状データ処理装置を得る。 【解決手段】形成位置、形成面積等に基づき両眼領域候
補とされたすべての穴領域ペアから、機能Ｆ７２によっ
て、「顔の略上下方向の位置が近い」、「顔の中心を境
に左右に別れている」、「面積の差が小さい」及び「色
の分散が小さい」ことを判断基準とした４つの推定が行
われる。そして、機能Ｆ７３は、機能Ｆ７２で行われた
４つの推定による推定ポイント合計値に基づき、最も両
眼として適格と判断される穴領域ペアを両眼領域として
採用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、実存する物体の
模型を作成するための３次元形状データ処理装置に関す
る。

【０００２】

【従来の技術】例えば、特開平９−１４５３１９号公報
に開示されるような可搬型の非接触式３次元計測装置
（３次元カメラ）が商品化され、ＣＧ（コンピュータグ
ラフィック）システムやＣＡＤシステムへのデータ入
力、身体計測、ロボットの視覚認識などに利用されてい
る。非接触の計測方法としては、スリット光投影法（光
切断法）が一般的であるが、他にもパターン光投影法、
ステレオ視法、干渉縞法などが知られている。

【０００３】また、パーソナルコンピュータで利用可能
な３次元ＣＧソフトウェア、及びホビー用の小型の３次
元切削マシンが市販されている。これらを用いれば、一
般家庭でも模型や創作物を手軽に製作することができ
る。

【０００４】一方、利用客の顔写真シールをその場で作
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。

【０００５】

【発明が解決しようとする課題】上述の３次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種物体の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。そこで、この３次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、３次元加工機と組み合わせれ
ば、人物の顔を計測してその場で適当な倍率の模型を作
成することが可能である。

【０００６】上述した非接触の３次元計測を用いてレン
ズファインダーで人物の眼の形状を測定すると、眼の反
射率が低い、眼の構造が複雑等の理由で、眼の領域の形
状データが正確に取得できず、顔の形状モデルに穴があ
いたり、その穴の周囲にバリが出たりする。

【０００７】このような状態の眼の形状モデルを有する
顔の形状データに基づき彫像等を作成するには、穴の周
囲からデータを補間して穴を埋め、さらにスムージング
で穴のバリを取り除く必要があるが、これらの処理を行
うと眼の形状特徴が失われ、彫像に眼を作成することが
困難となる。

【０００８】この発明は、顔面模型を作成する際に必要
とされる眼領域の正確な抽出処理を自動的に行うことが
できる機能を有する３次元形状データ処理装置を得るこ
とを目的とする。

【０００９】

【課題を解決するための手段】この発明にかかる請求項
１記載の３次元形状データ処理装置は、人物の２次元の
カラー画像データ及び計測基準点から前記人物の計測点
までの距離情報を含む３次元の距離画像データを入力し
て、これらのデータに基づき前記人物に関する所望の３
次元形状データを出力する装置であって、前記カラー画
像データと前記距離画像データとは２次元位置の対応づ
けが可能であり、前記３次元形状データ処理装置は、前
記カラー画像データ及び前記距離画像データに基づき、
前記人物の顔と判断される領域から、背景を除去して顔
の肌の色領域を有効とした顔の肌の色領域データを生成
する背景除去機能と、前記カラー画像データ及び前記顔
の肌の色領域データに基づき、前記カラー画像データに
おける両眼領域を推定し、該両眼領域を規定した両眼領
域画像データを生成する両眼領域推定機能とを有し、前
記両眼領域推定機能は、(a) 前記顔の肌の色領域データ
に基づき、前記顔の肌の色領域で周囲を囲まれ、自身は
肌の色領域を有さない複数の穴領域を検出するステップ
と、(b) 前記複数の穴領域から組合せ可能な少なくとも
１つの穴領域ペアそれぞれについて、穴領域ペア間の顔
の上下方向の位置関係に基づく第１の指標、穴領域ペア
が顔の左右に配置されているか否かに基づく第２の指
標、穴領域ペア間の面積差に基づく第３の指標、前記カ
ラー画像データを参照して得られる穴領域ペアの領域内
の色の分散に基づく第４の指標のうち、少なくとも１つ
の指標を求めるステップと、(c) 前記少なくとも１つの
指標に基づき、前記少なくとも１つの穴領域ペアのう
ち、最も両眼として適格と判断される穴領域ペアを前記
両眼領域として推定するステップとを備えている。

【００１０】また、請求項２記載の３次元形状データ処
理装置は、前記両眼領域画像データと前記距離画像デー
タとの対応関係から、前記両眼領域における２つの眼の
３次元座標に基づく基準面を設定し、該基準面が前記計
測基準点に対し正面に向くように、前記距離画像データ
で示される距離画像領域の座標を変換する座標変換機能
をさらに備えている。

【００１１】また、請求項３記載の３次元形状データ処
理装置は、前記両眼領域画像データ、前記カラー画像デ
ータ及び前記距離画像データのうち少なくとも前記両眼
領域に対応する領域のデータを含む部分距離画像データ
に基づき、疑似両眼形状データを生成する疑似両眼形状
設定機能をさらに備え、前記疑似両眼形状設定機能は、
(a) 前記両眼領域画像データと前記カラー画像データと
を対応させて、前記カラー画像データで示されるカラー
画像領域のうち前記両眼領域に対応する領域における各
画素の輝度と前記カラー画像領域のうち前記両眼領域外
の所定領域に対応する領域の輝度平均値との比較結果を
画素単位に得るステップと、(b) 前記部分距離画像デー
タで示される距離画像領域のうち前記両眼領域に対応す
る領域の各画素における顔の奥行き方向の座標を前記比
較結果に基づき変更して前記疑似両眼形状データを生成
するステップとを備えている。

【００１２】この発明における請求項４記載の３次元形
状データ処理装置は、人物のカラー画像を入力する手段
と、前記カラー画像から肌の色領域を抽出することによ
り前記人物の顔領域を抽出する抽出手段と、前記顔領域
内において、前記肌の色領域で周囲を囲まれ、自身は肌
の色ではない複数の穴領域を検出する検出手段と、前記
複数の穴領域から組合せ可能な少なくとも１つの穴領域
ペアそれぞれについて、穴領域ペア間の顔の上下方向の
位置関係に基づく第１の指標、穴領域ペアが顔の左右に
配置されているか否かに基づく第２の指標、穴領域ペア
間の面積差に基づく第３の指標、前記カラー画像データ
を参照して得られる穴領域ペアの領域内の色の分散に基
づく第４の指標のうち、少なくとも１つの指標を求め、
該少なくとも１つの指標に基づき、前記少なくとも１つ
の穴領域ペアのうち、最も両眼として適格と判断される
穴領域ペアを両眼領域として推定する推定手段とを備え
ている。

【００１３】

【発明の実施の形態】＜立体模型作成装置＞図１はこの
発明に係る立体模型作成装置１の外観図である。

【００１４】立体模型作成装置１は、物体形状を計測
し、その計測データに基づいて素材をその場で加工する
機能を有しており、利用客の顔をかたどった小物品の自
動販売機として使用される。作成される物品は、所定形
状（例えば四角形）の板面から顔面の模型が突き出た立
体である。板面（背景部分）に特定の起伏模様を付加す
ることも可能である。このような物品に適当な金具を取
り付ければ、ペンダント、ブローチ、キーホルダなどの
アクセサリーとなる。予め素材に金具を取り付けておい
てもよい。

【００１５】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、光学式３次元計測のための投光窓１２及び受光窓
１４が設けられている。受光窓１４は２次元のカラー撮
影にも用いられる。筐体１０の下半部は上半部よりも前
方側に張り出しており、その上面が操作パネル１８とな
っている。商品の取出口２０は下半部の前面に設けられ
ている。

【００１６】図２は操作パネル１８の平面図である。

【００１７】操作パネル１８には、スタートボタン１８
１、確認ボタン１８２、キャンセルボタン１８３、ジョ
イスティック１８４、及び硬貨の投入口１８５が設けら
れている。スタートボタン１８１はスタート操作手段で
あり、確認ボタン１８２は確認操作手段である。ジョイ
スティック１８４は模型の構図の変更指示に用いられ
る。左右に傾けるパーン操作、上下に傾けるチルト操
作、及びノブを回転させるロール操作に呼応して３次元
形状モデルの回転処理が行われ、処理結果が逐次表示さ
れる。また、キャンセルボタン１８３は、利用客が表示
された３次元形状モデルが気に入らないときなどに再計
測を指示するための操作手段である。ただし、キャンセ
ルボタン１８３には有効回数が設定されており、無制限
に再計測を指示することはできない。

【００１８】図３は立体模型作成装置１の機能ブロック
図である。

【００１９】立体模型作成装置１は、模型サイズの３次
元形状モデルを生成するモデリングシステム１Ａと、３
次元形状モデルを顕在化する加工システム１Ｂとから構
成されている。

【００２０】モデリングシステム１Ａは、オリジナル物
体である利用客の外観情報をディジタルデータに変換
（データ化）する撮影システム３０を含んでいる。撮影
システム３０は、スリット光投影法で形状情報をデータ
化して、３次元の距離画像データ（３次元画像データ）
ＤＳを出力する３次元計測装置３４、色情報をデータ化
して２次元のカラー画像データＤＣを出力するする２次
元撮影装置３６、及びコントローラ３８より構成されて
いる。

【００２１】ここで、距離画像データＤＳはＸＹＺの直
交座標系における座標値として与えられるデータであ
り、３次元計測装置３４内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。距離画像
データＤＳには、対象物からの反射光の計測データが得
られたか否かを示す有効フラグの情報も含まれる。

【００２２】他方、カラー画像データＤＣは、各画素の
３原色データ、即ち、Ｒ（レッド）、Ｇ（グリーン）、
Ｂ（ブルー）より成るデータである。例えば、撮影シス
テム３０を特開平９−１４５３１９号公報に開示されて
いる３次元カメラを用いて構成するときには、３次元計
測と２次元撮影とを同一視点から行うことができるた
め、距離画像データＤＳとカラー画像データＤＣとの対
応付けを極めて容易に行うことができる。なお、カラー
画像データＤＣは４００×４００画素データから構成さ
れ、距離画像データＤＳは２００×２００の画素データ
から構成される。

【００２３】勿論、３次元計測と２次元撮影とをそれぞ
れ異なる視点で行った場合でも、距離画像データＤＳ，
カラー画像データＤＣにはそれぞれ視点情報が付加され
ており、且つ３次元計測結果と２次元撮影結果との座標
の相対関係は既知であるため、距離画像データＤＳ，カ
ラー画像データＤＣとの対応付けを支障なく行うことが
できる。このような距離画像データＤＳ及びカラー画像
データＤＣは、後述する３次元形状データ処理装置４０
に入力される。

【００２４】なお、３次元計測法として、スリット光投
影法に代えて他の手法を用いてもよい。

【００２５】３次元形状データ処理装置４０は図示しな
い画像処理回路を備えており、本発明に特有のデータ修
正を含む各種のデータ処理を行い、本発明の中核部分で
ある。３次元形状データ処理装置４０のコントローラ４
２は、立体模型作成装置１の全体的な制御をも担い、撮
影システム３０のコントローラ３８及び加工システム１
Ｂのコントローラ１７６に適切な指示を与える。このコ
ントローラ４２には、ディスプレイ１６及び操作入力シ
ステム４４が接続されている。操作入力システム４４
は、上述の操作パネル１８と料金受領機構とからなる。

【００２６】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置１７２、材料の加工位置
への供給と加工品の取出口２０への搬送を行う材料供給
装置１７４、コントローラ１７６、及び取出口センサ１
７８を備えている。取出口センサ１７８の検出信号はコ
ントローラ４２に入力される。

【００２７】なお、撮影システム３０及び加工システム
１Ｂの制御をコントローラ４２に受け持たせ、コントロ
ーラ３８及びコントローラ１７６を省略した回路構成を
採用してもよい。

【００２８】＜立体模型作成装置の概略動作＞図４は立
体模型作成装置１の概略の動作を示すフローチャートで
ある。以下、同図を参照してその概略動作の処理手順を
説明する。

【００２９】電源が投入された後、利用客による操作を
待つ待機期間において、２次元撮影と撮影結果の表示と
を繰り返す（ＳＴ１０、ＳＴ１２、ＳＴ１４）。また、
定期的に案内メッセージを表示する。料金が投入されて
スタートボタン１８１が押されると、改めて２次元撮影
を行うとともに３次元計測を行う（ＳＴ１６、ＳＴ１
８）。所定のデータ処理を行い（ＳＴ２０）、得られた
３次元形状モデルを表示する（ＳＴ２２）。このとき、
影を付すといった公知のグラフィック手法を適用して見
栄えを高める。そして、指示操作を待つ。ただし、待ち
時間は有限であり、時限を過ぎれば確認操作が行われた
ものとみなす。

【００３０】ジョイスティック１８４が操作されると、
上述のように３次元形状モデルを操作に応じて回転させ
て表示する（ＳＴ２４、ＳＴ３８）。キャンセルボタン
１８３が押されると、待機期間の動作に戻る（ＳＴ４
０、ＳＴ１０）。ただし、この場合、利用客が料金を改
めて投入する必要はなく、スタートボタン１８１を押せ
ば、再計測が行われる。

【００３１】確認ボタン１８２が押されると（ＳＴ２
６）、３次元形状モデルに基づいて加工条件データベー
スを参照して加工制御用のデータを生成し（ＳＴ２
８）。材料の加工を行う（ＳＴ３０）。加工が終わる
と、商品を排出し（ＳＴ３２）、取出口センサ１７８に
よって商品が取り出されたのを確認して待機動作に戻る
（ＳＴ３４、ＳＴ１０）。

【００３２】＜顔面形状処理機能＞図５は、図４のステ
ップＳＴ２０のデータ処理をデータの流れを示すデータ
フロー図である。図５において、ハッチング付の太矢印
線はカラー画像データＤＣに基づくデータの流れを示し
ており、実線矢印は距離画像データＤＳに基づくデータ
の流れを示しており、破線矢印は２値画像データの流れ
を示している。

【００３３】また、各機能Ｆ１〜Ｆ９，ＳＦ１及びＳＦ
２は３次元形状データを生成するために、図３で示した
３次元形状装置データ処理装置４０で行われるデータ処
理機能を示している。特に、機能ＳＦ１及びＳＦ２は、
３次元形状データ中、顔面の両眼形状モデルのデータを
生成するための機能に該当している。以下、各機能Ｆ１
〜Ｆ３，ＳＦ１、ＳＦ２、Ｆ４〜Ｆ９をこの順で説明す
ることにするが、本発明の中核をなす機能は機能Ｆ２で
ある。

【００３４】（距離平滑化機能Ｆ１）距離平滑化機能Ｆ
１は、図３の３次元計測装置３４が出力する未加工の３
次元形状データである距離画像データＤＳに対してノイ
ズ除去してノイズ除去済みの距離画像データＤＳ１を得
る。

【００３５】（背景除去機能Ｆ２）距離平滑化機能Ｆ１
によってノイズ除去された距離画像データＤＳ１とカラ
ー画像データＤＣとに基づき、背景（髪の毛、首、耳を
含む）が除去された模型用顔領域を２次元で規定した顔
の肌領域２値画像データＤＢ１を得、さらに、顔の肌領
域２値画像データＤＢ１に対応する距離画像データＤＳ
１のみを有効にした距離画像データＤＳ２を生成する。
なお、背景除去機能Ｆ２については後に詳述する。

【００３６】（欠陥データ補間機能Ｆ３）背景除去機能
Ｆ２によって背景除去された距離画像データＤＳ２に対
して、データ欠落画素部分を周囲の画素を用いて補間す
る。補間の方法としては線形補間等がある。データ欠落
画素部分が生じる理由は主として次の２つが考えられ
る。

【００３７】３次元計測装置３４からの計測用のレーザ
光を対象物に照射してその反射光を計測する際、対象
物の黒色部分ではレーザ光の反射率が著しく低下するた
め、模型用顔領域中の黒色部分（黒目部分、眉等）のデ
ータが欠落する、上記計測方式では、対象物中、透光
側及び受光側の両方から見える部分だけのデータが得ら
れるにすぎないため、そうでない部分のデータが欠落し
てしまう。

【００３８】（カラー平滑化機能ＳＦ１）図３の３次元
計測装置３４が出力する未加工のカラー画像データＤＣ
に対してノイズ除去してノイズ除去済みのカラー画像デ
ータＤＣ１を得る。

【００３９】（両眼領域推定機能ＳＦ２）カラー平滑化
機能ＳＦ１によってノイズ除去されたカラー画像データ
ＤＣ１から、背景除去機能Ｆ２で得られた顔の肌領域２
値画像データＤＢ１に基づき、カラー画像データＤＣ１
における両眼領域を規定した両眼領域２値画像データＤ
Ｂ２を生成する。また、カラー画像データＤＣ１がその
ままカラー画像データＤＣ２して出力される。なお、両
眼領域推定機能ＳＦ２については後に詳述する。

【００４０】（ＣＦ（Ｃamera Ｆace）ＣＦ座標変換機
能Ｆ４）欠陥データ補間機能Ｆ３によって欠落データが
補間された距離画像データＤＳ３及び両眼領域推定機能
ＳＦ２によって推定された両眼領域２値画像データＤＢ
２とに基づき、眼の領域を基準として決定される顔形状
の向きが、丁度カメラに対して真正面に位置する状態に
なるように、距離画像データＤＳ３に対する座標変換を
行って距離画像データＤＳ４を生成する。

【００４１】すなわち、カメラ中心の座標系で表現され
ていた距離画像データＤＳ３が顔中心の座標系で表現さ
れる距離画像データＤＳ４に変換される。なお、カラー
画像データＤＣ２はそのままカラー画像データＤＣ４と
して出力される。また、ＣＦ座標変換機能Ｆ４について
は後に詳述する。

【００４２】（再標本化機能Ｆ５）ＣＦ座標変換機能Ｆ
４でＣＦ座標変換された距離画像データＤＳ４に対して
再標本化あるいは均等化というデータの座標変換処理を
行う。３次元計測装置３４が透視投影変換により得た距
離画像データＤＳを元データとする距離画像データＤＳ
４は不規則に画素が並んだデータとなっている。そこ
で、距離画像データＤＳ４を新たな視点から見たときに
均等に画素が並んでいる距離画像データに投影変換する
の再標本化処理である。

【００４３】再標本化機能Ｆ５の再標本化処理によって
距離画像データＤＳ４は３つの部分距離画像データに変
換される。すなわち、人の顔形状モデルを与えるための
第１の形状データＤＳ５１、疑似両眼形状モデルを生成
するための第２の形状データＤＳ５２、及び顔輪郭近傍
形状モデルを生成するための第３の形状データＤＳ５３
に変換される。

【００４４】（疑似両眼形状設定機能Ｆ６）ＣＦ座標変
換機能Ｆ４をスルーしたカラー画像データＤＣ４及び両
眼領域推定機能ＳＦ２で生成された両眼領域２値画像デ
ータＤＢ２と、再標本化機能Ｆ５で再標本化された疑似
両眼形状モデルの第２の形状データＤＳ５２とに基づ
き、第２の形状データＤＳ５２における両眼対応領域の
奥行き（切削深さ）を与えるように、第２の形状データ
ＤＳ５２を加工して疑似両眼形状データＤＳ６を生成す
る。なお、疑似両眼形状設定機能Ｆ６については後に詳
述する。

【００４５】（顔輪郭形状設定機能Ｆ７）再標本化機能
Ｆ５で再標本化された人の顔形状モデルを与えるための
第１の形状データＤＳ５１及び顔輪郭近傍形状モデルを
生成するための第３の形状データＤＳ５３に基づき、第
３の形状データＤＳ５３が与える形状モデルから、第１
の形状データＤＳ５１が与える形状モデルと重複した部
分のデータ削除を行い（差分処理）、顔輪郭形状データ
ＤＳ７を生成する。

【００４６】（外周平滑化機能Ｆ８）顔輪郭形状設定機
能Ｆ７で生成された顔輪郭形状データＤＳ７及び再標本
化機能Ｆ５で再標本化された第１の形状データＤＳ５１
に対して外周平滑化を行う。すなわち、顔面中、傾斜の
ある部分では距離画像データの変化が大きいため、かか
る傾斜面を顔面模型に顕出させる際に切削位置がバラツ
キやすいという問題が生じる。そこで、横方向から顔面
模型を眺めても傾斜面の切削位置が平滑化するように、
両データＤＳ５１及びＤＳ７をそれぞれ修正して第１の
形状データＤＳ８１及び顔輪郭形状データＤＳ８３す
る。

【００４７】（ＦＷ（Ｆace Ｗork）ＦＷ座標変換機能
Ｆ９）外周平滑化機能Ｆ８で外周平滑化処理された第１
の形状データＤＳ８１及び顔輪郭形状データＤＳ８３並
びに疑似両眼形状設定機能Ｆ６で生成された疑似両眼形
状データＤＳ６に対して、これらのデータが顔面を加工
するワークの大きさに応じた形状データとなるように座
標変換を施す。

【００４８】これにより、顔形状モデルを与える顔形
状データＤＳ９１，疑似両眼形状モデルを与える疑似
両眼形状データＤＳ９２、及び顔輪郭近傍形状モデル
を与える顔輪郭近傍形状データＤＳ９３が最終的に得ら
れる。これらの形状データＤＳ９１，ＤＳ９２及びＤＳ
９３を「３次元形状データ」とも総称する。

【００４９】＜背景除去機能Ｆ２の詳細＞ （概略のフロー）図６は図５の背景除去機能Ｆ２の処理
の手順の概略を示すフローチャートである。

【００５０】同図を参照して、まず、ステップＳ１で、
カラー画像データＤ１１（図５のカラー画像データＤＣ
１に相当）、マスク画像データＤ１２及び距離画像デー
タＤ１３（図５の距離画像データＤＳ１に相当）に基づ
き、模型用顔領域の候補となるカラー画像を指示する有
効領域設定済みカラー画像データＤ１４を出力する有効
領域設定処理を行う。

【００５１】そして、ステップＳ２で、距離画像データ
Ｄ１３、有効領域設定済みカラー画像データＤ１４及び
暫定サンプリング領域データＤ１５に基づき、有効領域
設定済みカラー画像データＤ１４で示されるカラー画像
のうち、肌の色に近い色を有する領域のみを指示する暫
定肌の色領域２値画像データＤ１７を出力するカラー画
像領域分割処理を行う。

【００５２】続いて、ステップＳ３で、距離画像データ
Ｄ１３、暫定肌の色領域２値画像データＤ１７及び顔の
肌の色のサンプリング領域データＤ１８に基づき、暫定
肌の色領域２値画像データＤ１７で指示された画像領域
から、耳、首の等の領域を取り除いて、さらに穴埋め処
理が施された模型用顔領域を指示する穴埋め済み顔の肌
領域２値画像データＤ２０（図５の顔の肌領域２値画像
データＤＢ１に相当）を出力する。

【００５３】最後に、ステップＳ４で、穴埋め済み顔の
肌領域２値画像データＤ２０で指示された模型用顔領域
に対応する距離画像領域を有効にするように、距離画像
データＤＳ１を加工して距離画像データＤＳ２を出力す
る。

【００５４】（有効領域設定処理（Ｓ１）の詳細）図７
は図６の有効領域設定処理（Ｓ１）を実行する各機能を
データフローとともに示した図である。

【００５５】同図を参照して、機能Ｆ２１において、カ
ラー画像データＤ１１（ＤＣ１）の全画像領域から、カ
ラー画像データＤ１１中の大まかな有効領域を示すマス
ク画像データＤ１２で指示されるマスク画像領域を取り
除いてマスク処理済みカラー画像データを得る。したが
って、図８の(a)に示すように、マスク画像領域５１の
中にあるカラー画像領域がマスク処理済みカラー画像領
域５０となり、この領域５０のみを有効としたマスク処
理済みカラー画像データが得られることになる。

【００５６】続いて、機能Ｆ２２において、機能Ｆ２１
で得られたマスク処理済みカラー画像領域と距離画像デ
ータＤ１３（ＤＳ１）とを対応させ、対応する距離画像
データの画素が無効を指示する距離画像無効領域を、上
記マスク処理済みカラー画像領域から取り除いたカラー
画像領域である有効カラー画像領域を指示する有効領域
設定済みカラー画像データＤ１４を生成する。

【００５７】したがって、図８の(b)に示すように、マ
スク処理済みカラー画像領域５０から距離画像無効領域
５２を除いた領域が有効カラー画像領域６２となり、こ
の領域６２のみを有効とした有効領域設定済みカラー画
像データＤ１４が得られることになる。

【００５８】（カラー画像領域分割処理（Ｓ２）の詳
細）図９は図６のカラー画像領域分割処理（Ｓ２）を実
行する各機能をデータフローとともに示した図である。
また、図１０及び図１１はカラー画像領域分割処理の理
解を容易にするための説明図であり、図１３は暫定肌の
色領域２値画像データＤ１７で示される２値画像の一例
を示した図である。

【００５９】これらの図を参照として、機能Ｆ３１は、
距離画像データＤ１３の有効な距離画像領域を暫定サン
プリング領域データＤ１５で指示された暫定サンプリン
グ領域でマスク処理してサンプリング領域探索領域を指
示するマスク処理済み距離画像データを生成する。すな
わち、図１０に示すように、有効な距離画像領域５３
（便宜上、矩形で示した）と、暫定サンプリング領域５
４との重複領域がサンプリング領域探索領域５４とな
る。

【００６０】そして、機能Ｆ３２は、マスク処理済み距
離画像データで指示されるサンプリング領域探索領域の
距離画像及びステップＳ１の有効領域設定処理で得た有
効領域設定済みカラー画像データＤ１４で指示される有
効カラー画像領域に基づき、有効カラー画像領域から、
鼻の頂点の上方に予め定められた大きさの矩形のサンプ
リング領域に対応するサンプリングカラー画像領域を抽
出して、当該サンプリングカラー画像領域を示すサンプ
リングカラー画像領域データＤ１８を出力する。

【００６１】機能Ｆ３２は部分機能Ｆ３２Ａ，Ｆ３２Ｂ
からなり、部分機能Ｆ３２Ａは、サンプリング領域探索
領域にある距離画像のうち、Ｚ軸方向（図１０参照）の
最大値を採る２次元座標を検出することにより、鼻の頂
点の２次元座標を認識する。

【００６２】そして、部分機能Ｆ３３Ｂは、部分機能Ｆ
３３Ａで認識した鼻の頂点の２次元座標の上方にサンプ
リング領域を設定する。すなわち、図１０に示すよう
に、鼻の頂点５７が部分機能Ｆ３１で認識されると、そ
の上方に矩形のサンプリング領域５６が設定される。さ
らに、部分機能Ｆ３３Ｂは、有効領域設定済みカラー画
像データＤ１４で指示される有効カラー画像領域から上
記サンプリング領域に対応する領域のみを有効とするマ
スク処理を行って、サンプリングカラー画像領域を示す
サンプリングカラー画像領域データＤ１８を得る。

【００６３】なお、部分機能Ｆ３２Ａがサンプリング領
域探索領域中のＺ軸方向の最大値を採る座標位置を鼻の
頂点位置と認識するため、カメラに対して顔が傾いてい
る場合は、サンプリング領域探索領域の周辺部を鼻の頂
点位置として誤認する危険性がある。

【００６４】例えば、図１１に示すように、部分機能Ｆ
３１がサンプリング領域探索領域５５の左上端部を鼻の
頂点位置６１と誤認した場合、部分機能Ｆ３２で設定し
たサンプリング領域６１（６０は鼻の頂点位置）が、サ
ンプリング領域探索領域５５をはみ出す。このように、
部分機能Ｆ３１が鼻の頂点位置を誤認した場合はサンプ
リング領域がサンプリング領域探索領域からはみ出す確
率が高い。

【００６５】そこで、部分機能Ｆ３２Ｂは、鼻の頂点位
置座標に基づき設定したサンプリング領域がサンプリン
グ領域探索領域からはみ出す時、そのサンプリング領域
を採用することなく、部分機能Ｆ３２Ａで認識された鼻
の頂点位置を無視して、サンプリング領域探索領域の中
央にサンプリング領域を設けるようにする。これによ
り、部分機能Ｆ３２Ａが鼻の頂点位置を誤認しても、か
なり高い確率で部分機能Ｆ３２Ｂで訂正することができ
る。

【００６６】機能Ｆ３３は、機能Ｆ３２によって得られ
たサンプリングカラー画像領域データＤ１８で示される
サンプリングカラー画像領域を統計対象として肌の色
（ＲＧＢ）のサンプリングを行ってサンプリング正規分
布データＤ１６を得る。

【００６７】まず、部分機能Ｆ３３Ａで、サンプリング
カラー画像領域内の色の平均値を求める。

【００６８】次に、部分機能Ｆ３３Ｂで、部分機能Ｆ３
３Ａで求めた平均値からの色距離をサンプリングカラー
画像領域における各画素ごとに算出する。

【００６９】続いて、部分機能Ｆ３３Ｃで、各画素のＲ
ＧＢそれぞれの色距離の分布を３次元正規分布に当ては
め、平均値を中心として１５σ（σ：標準偏差）に入ら
ない色距離を有する画素を除去し、残った画素からなる
サンプリングカラー画像領域を新たなサンプリングカラ
ー画像領域として再設定する。

【００７０】最後に、部分機能Ｆ３３Ｄで、部分機能Ｆ
３３Ｃで再設定されたサンプリングカラー画像領域を統
計対象として、各画素の色の平均値からの色距離の分布
を３次元正規分布に当てはめてサンプリング正規分布デ
ータＤ１６を得る。このサンプリング正規分布データＤ
１６得ることは色の共分散行列の逆行列と色の平均値と
を得たことと等価になる。

【００７１】機能Ｆ３４において、サンプリング正規分
布データＤ１６を参照して、有効領域設定済みカラー画
像データＤ１４で示される有効カラー画像領域から、平
均値を中心として１５σに入らない色を有する画素を除
去し、有効カラー画像領域において除去されずに残った
画素に対応する画素を有効（白色）にした、図１３の２
値画像７１のような暫定肌の色領域２値画像を示す暫定
肌の色領域２値画像データＤ１７を生成する。

【００７２】（顔の肌領域設定処理（Ｓ３）の詳細）図
１２は顔の肌領域設定処理（Ｓ３）を実行する各機能を
データフローとともに示した図である。また、図１４〜
図１６は肌領域設定処理の理解を容易にするための画像
の例を示した図である。

【００７３】これらの図を参照して、機能Ｆ４１は、サ
ンプリングカラー画像領域データＤ１８で示されるサン
プリングカラー画像領域を参照して、距離画像データＤ
１３で示される距離画像領域のうち、サンプリングカラ
ー画像領域に対応する領域を統計対象として、ピクセル
間距離のσ、平均値を求める。なお、ピクセル間距離と
は隣接する画素間の３次元座標系における距離である。

【００７４】そして、機能Ｆ４２において、機能Ｆ４１
の統計対象となった距離画像領域のうち、平均値から３
σの範囲入るピクセル間距離を有する画素のみを、新た
な統計対象とし、再び、ピクセル間距離のσ、平均値を
求める。

【００７５】次に、機能Ｆ４３で、距離画像データＤ１
３で示される全体の距離画像領域において、機能Ｆ４２
の統計処理で得られた平均値から３σの範囲に入らない
ピクセル間距離を有する画素ペアを検出している。すな
わち，画素がＸＹ平面上に等間隔に並んでいるためピク
セル間距離が長く、平均値から３σの範囲に入らない場
合は傾斜が急となっていると判断し、傾斜が急な部分と
認識される画素ペアを検出している。

【００７６】そして、機能Ｆ４４で、機能Ｆ４３で検出
された画素ペアのうち、顔の奥方向にある（Ｚ方向の値
が小さい）方の画素のみを白とする２値画像を得る。

【００７７】その後、機能Ｆ４５において、白の画素の
モルフォロジー処理（膨張処理）を行い、図１４に示す
ように、顔面の輪郭線を白で示したピクセル間距離評価
結果２値画像７２を得る。

【００７８】一方、機能Ｆ４６は、ステップＳ２のカラ
ー画像領域分割処理で得た暫定肌の色領域２値画像デー
タＤ１７で示される肌の色領域２値画像（図１３参照，
400×400画素）をＸ，Ｙ方向にそれぞれ１／２に縮小し
て、ピクセル間距離評価結果２値画像７２と同じ大きさ
（200×200画素）の縮小肌の色領域２値画像を得る。

【００７９】そして、機能Ｆ４７で、白を“１”，黒を
“０”として、縮小肌の色領域２値画像からピクセル間
距離評価結果２値画像を引き算処理して、図１５に示す
ような引き算済み２値画像７３を得る。このとき、図１
５に示すように、引き算済み２値画像は、頭に置かれた
手の領域、耳領域、首領域が、それぞれ顔領域と黒の画
素領域（顔面の輪郭線で引き算された領域）を境界とし
て完全に分離される。

【００８０】そして、機能Ｆ４８で、引き算済み２値画
像のうち、黒の画素で分離された白の画素の固まりを構
成する画素群であるクラスターをそれぞれラベリングす
る。

【００８１】次に、機能Ｆ４９で、ラベリングされた各
クラスターのうち、サンプリングカラー画像領域データ
Ｄ１８で示されるサンプリングカラー画像領域の中心部
近傍にあるクラスターのみを顔領域クラスターとして採
用する。

【００８２】そして、機能Ｆ５０で、顔領域クラスター
に対して白のモルフォロジー処理，クロシング（Closin
g）処理を行うことにより、顔領域クラスターの整形処
理を施して、図１６に示すような、穴埋めなし顔の肌領
域２値画像７４を示す穴埋めなし顔の肌領域２値画像デ
ータＤ１９を生成する。

【００８３】さらに、機能Ｆ５１は、穴埋めなし顔の肌
領域２値画像データＤ１９で示される穴埋めなし顔の肌
領域２値画像における黒の穴領域を白にする穴埋め処理
及び黒の入り江を埋める処理を行って穴埋め済み顔の肌
領域２値画像（模型用顔領域）を示す穴埋め済み顔の肌
領域２値画像データＤ２０を生成する。

【００８４】（背景除去機能Ｆ２による効果）ステップ
Ｓ２の有効領域設定処理は、距離画像データＤ１３に基
づき確実に顔と認識される領域でサンプリングされた肌
の色を判断基準として、肌の色の領域か否かを認識する
ため、純粋な肌の領域（顔の領域から、眼、口、鼻の
穴、まゆげ等が除かれた領域）を有効とした領域を示す
暫定肌の色領域２値画像データＤ１７を出力することが
できる。

【００８５】加えて、肌の色のサンプリング領域を鼻の
近傍領域に設定することにより、傾いた面における肌の
色も鼻の傾斜面から確実にサンプリングすることができ
るため、顔の輪郭近傍領域の色も確実に肌の色と認識す
ることができる。

【００８６】また、ステップＳ３の顔の肌領域設定処理
で、距離画像データＤ１３に基づき、顔領域において斜
面となる部分（ピクセル間距離が大きい画素ペア）を抽
出して顔面の輪郭線を得、暫定肌の色領域２値画像デー
タＤ１７で有効とされてい領域から、顔面の輪郭線で分
断される顔面外の領域を無効にして、依然有効とされて
いる領域を示す顔の肌領域２値画像データＤ１９，Ｄ２
０を生成するため、模型用顔領域では必要としないが、
ステップＳ２の有効領域設定処理では肌の色領域として
認識されてしまう、首、耳等の領域を確実に分離した顔
の肌領域２値画像データＤ１９，Ｄ２０を得ることがで
きる。すなわち、顔面模型を作成する際に必要とされる
模型用顔領域を正確に示した顔の肌の色領域２値画像デ
ータＤ１９，Ｄ２０を得ることができる。

【００８７】＜両眼領域推定機能ＳＦ２の詳細＞図１７
及び図１８は両眼領域推定機能ＳＦ２を実現するための
各機能をデータフローとともに示した図である。また、
図１９は両眼領域推定機能ＳＦ２の理解を容易にするた
めの説明図である。図２０は両眼領域を推定するための
判断材料となる両眼領域推定表を示す説明図である。

【００８８】これらの図を参照して、機能Ｆ６１で、穴
埋め済み顔の肌領域２値画像データＤ２０で示される穴
埋め済み顔の肌領域２値画像から、顔の肌領域を囲む矩
形を得る。例えば、図１９に示すように、顔の肌領域８
０が存在すれば、顔の肌領域０８を矩形で囲む矩形領域
８１が設定される。

【００８９】次に、機能Ｆ６２で、サンプリングカラー
画像領域データＤ１８より得られるサンプリング領域に
基づき、鼻（の頂点）より上の顔の肌領域を示す上部部
分矩形領域を得る。例えば、図１９に示すように、矩形
領域８１の上部領域に太線で示す上部部分矩形領域８２
を得る。

【００９０】そして、機能Ｆ６３で、ユーザ設定両眼領
域矩形データＤ２１より得られるユーザ指定矩形領域と
機能Ｆ６１で得た上部部分矩形領域との重複領域となる
矩形の両眼探索領域を得る。例えば、図１９に示すよう
に、上部部分矩形領域８２とユーザ指定矩形領域８３と
の重複領域となる斜線でハッチングした領域が両眼探索
領域８４となる。

【００９１】一方、機能Ｆ６４は、穴埋め済み顔の肌領
域２値画像データＤ２０で示される穴埋め済み顔の肌領
域２値画像から、穴埋めなし顔の肌領域２値画像データ
Ｄ１９で示される穴埋めなし顔の肌領域２値画像を引き
算し、顔の肌領域における穴画像を得る。上記引き算処
理は白を“１”，黒を“０”として行われる。

【００９２】そして、機能Ｆ６５は、機能Ｆ６３で得ら
れた両眼探索領域と機能Ｆ６４で得られた穴画像とに基
づき、両眼探索領域に存在する穴画像のみを有効とす
る。

【００９３】次に、機能Ｆ６６において、機能Ｆ６５で
有効とされた穴画像における各穴領域をラベリングして
識別可能にする。

【００９４】続いて、機能Ｆ６７で、各穴領域の面積の
顔の肌領域との面積比を評価して、基準より小さい面積
の穴領域を棄却し、棄却されずに残った穴領域を両眼候
補穴領域とする。

【００９５】その後、機能Ｆ６８で、両眼候補穴領域と
カラー画像データＤＣ１とを比較して、両眼候補穴領域
に対応するカラー画像中の画素の色の共分散行列の逆行
列と平均値を求める。

【００９６】そして、機能Ｆ６９で、各穴領域に対して
色の共分散行列の逆行列のトレース値を求める。なお、
色の共分散行列の逆行列のトレース値は、各穴領域の色
の分散を示す指標となる。

【００９７】一方、機能Ｆ７０で、機能Ｆ６７で両眼候
補穴領域とされた各穴領域を囲む矩形を得て、機能Ｆ７
１でその矩形の中心２次元座標を求める。

【００９８】そして、機能Ｆ７２では、機能Ｆ６７で得
られた両眼候補穴領域に関する情報、機能Ｆ６８，Ｆ６
９で求められた各穴領域における色の共分散行列の逆行
列のトレース値、機能Ｆ７０，Ｆ７１で求められた各穴
領域を囲む矩形及びその中心座標に関する情報に基づ
き、全穴領域おいて組合せ可能な穴領域のペアすべてに
ついて、部分機能Ｆ７２Ａ〜Ｆ７２Ｄにより４つの推定
を行う。なお、部分機能Ｆ７２Ａ〜Ｆ７２Ｄはそれぞれ
推定ポイントが少ない穴領域ペアを両眼領域候補として
有力であることを示している。

【００９９】部分機能Ｆ７２Ａ，７２Ｂは穴を囲む矩形
領域の中心座標に基づく推定である。中心座標はＸ軸，
Ｙ軸で決定される２次元上の座標であり、顔の略左右
（幅）方向の座標軸がＸ軸となり、顔の略上下（高さ）
方向の座標がＹ軸となる。

【０１００】部分機能Ｆ７２Ａは、各穴領域ペアの穴を
囲む矩形の中心座標について、推定指標Ｅ１＝「穴領域
ペア間のＹ座標値の差／穴領域ペアのＹ座標の平均値」
を各穴領域ペアについて求め、その後、各穴領域ペアを
推定指標Ｅ１の降順にならべ、順位の高い方から順に高
得点となる推定ポイントＡ１を各穴領域ペアに与える。
すなわち、顔の略上下方向の位置が近い穴領域ペアを有
力な両眼領域候補と推定している。

【０１０１】部分機能Ｆ７２Ｂは、穴埋めなし顔の肌領
域２値画像データＤ１９あるいは穴埋め済み顔の肌領域
２値画像データＤ２０等から、顔の肌領域を囲む矩形の
中心Ｘ座標（顔中心Ｘ座標）を求めた後、各穴領域ペア
の穴を囲む矩形の中心座標について、一方のＸ座標から
他方のＸ座標にいたる間に顔中心Ｘ座標が位置するか／
否かに基づき良／不良の推定指標Ｅ２を決定する。すな
わち、穴領域ペアが顔の左右に分かれているか否かに基
づき推定指標Ｅ２の良／不良を決定している。

【０１０２】ここで、推定指標Ｅ２が不良となった穴領
域ペアそれぞれに、推定ポイントＡ２＝「他の機能（Ｆ
７２Ａ，Ｆ７２Ｃ及びＦ７２Ｄ）の推定で与える総得点
／不良の推定指標Ｅ２の数」を与え、推定指標Ｅ２が良
となった穴領域ペアそれぞれに、推定ポイントＡ２＝
“０”を与える。したがって、顔の中心を境に左右に別
れている穴領域ペアを有力な両眼領域候補として推定し
ている。

【０１０３】部分機能Ｆ７２Ｃは、穴領域ペアそれぞれ
について、推定指標Ｅ３＝「穴領域ペアの面積の差／穴
領域ペアの面積の平均値」を求め、各穴領域ペアを推定
指標Ｅ３の降順にならべ、順位の高い方から順に高得点
となる推定ポイントＡ３を各穴領域ペアに与える。すな
わち、面積の差がより小さい穴領域ペアを有力な両眼領
域候補と推定している。

【０１０４】部分機能Ｆ７２Ｄは、穴領域ペアそれぞれ
について、推定指標Ｅ４＝「穴領域ペアの共分散行列の
逆行列のトレース値の和」を求め、各穴領域ペアを推定
指標Ｅ４の降順にならべ、順位の高い方から順に高得点
となる推定ポイントＡ４を各穴領域ペアに与える。すな
わち、色の分散がより小さい穴領域ペアを有力な両眼領
域候補としている。

【０１０５】機能Ｆ７２（Ｆ７２Ａ〜Ｆ７２Ｄ）による
４つの推定が終了すると、機能Ｆ７３で、各穴領域ペア
について、機能Ｆ７２（Ｆ７２Ａ〜Ｆ７２Ｄ）で求めた
推定ポイントＡ１〜Ａ４を加算して得られる推定ポイン
ト合計値を求め、推定ポイント合計値が最も少ない穴領
域ペアを両眼領域として採用する。

【０１０６】例えば、図２０に示すように、１〜４の穴
番号を有する穴領域における穴領域ペアは６通り（１−
２，１−３，１−４，２−３，２−４，３−４）であ
り、各穴領域ペアについて推定ポイント合計値を求めら
れる。

【０１０７】図２０の例では、推定ポイントＡ１〜Ａ４
それぞれに与えられる総得点は１５点であり、推定ポイ
ントＡ１，Ａ３及びＡ４それぞれは順位の高い穴領域ペ
アから“５”，“４”，“３”，“２”，“１”，
“０”の順で得点が与えられる。また、推定指標Ｅ２が
不良となった穴領域ペアは（１−２，１−３，２−４）
の３組存在したため、これらの穴領域ペアには推定ポイ
ントＡ２＝総得点／存在組数＝１５／３＝５点が与えら
れ、上記以外の穴領域ペアには推定ポイントＡ２＝
“０”点が与えられる。

【０１０８】したがって、図２０の両眼領域推定表から
は、推定ポイント合計値＝４と最小値を採る穴番号２−
３の穴領域ペアが両眼領域として採用される。

【０１０９】最後に、機能Ｆ７４は、採用した両眼領域
を示す２値画像を示す両眼領域２値画像データＤ３１
と、その両眼領域の各眼領域を囲む矩形を示す眼領域矩
形領域データＤ３２を求めて出力する。これら両眼領域
２値画像データＤ３１及び眼領域矩形領域データＤ３２
が両眼領域２値画像データＤＢ２に相当する。

【０１１０】このように、両眼領域推定機能ＳＦ２は、
背景除去機能Ｆ２より得られた模型用顔領域を２次元で
規定した顔の肌領域２値画像データＤＢ１（穴埋めなし
顔の肌領域２値画像データＤ１９及び穴埋め済み顔の肌
領域２値画像データＤ２０）に基づき、両眼領域候補と
して顔領域に存在する肌領域以外で周囲を肌領域で囲ま
れた穴領域を採用することにより、眼の形状特徴が損な
われない領域を両眼領域候補とすることができる。

【０１１１】また、両眼領域候補となるすべての穴領域
ペアから、「顔の略上下方向の位置が近い」、「顔の中
心を境に左右に別れている」、「面積の差が小さい」及
び「色の分散が小さい」ことを判断基準として、最も両
眼として適格と判断される穴領域ペアを両眼領域として
採用することにより、予め設けられた両眼モデル（テン
プレート）を用いた比較による不安定な推定に比べ、ロ
バスト性が高い両眼領域の推定を行うことができる。そ
の結果、両眼領域推定機能ＳＦ２によって、両眼領域の
正確な抽出処理を自動的に行うことができる。

【０１１２】なお、上記４つの判断基準は必ずしもすべ
て必要ではなく、少なくとも１つを用いることができれ
ば、比較的高精度に両眼領域を推定することができる。
特に、「色の分散が小さい」ことを判断基準とする部分
機能Ｆ７２Ｄによる推定は単独で用いてもかなりの高精
度な推定が期待できる。

【０１１３】（その他）なお、３次元形状データ処理装
置４０における背景除去機能Ｆ２及び両眼領域推定機能
ＳＦ２を機能表現要素からなる装置としてみた場合、カ
ラー画像から肌の色領域を抽出することにより人物の顔
領域を抽出する抽出手段（背景除去機能Ｆ２に相当）
と、顔領域内において、肌の色領域で周囲を囲まれ、自
身は肌の色ではない複数の穴領域を検出する検出手段
（機能Ｆ６１〜Ｆ６７に相当）と、複数の穴領域から組
合せ可能な少なくとも１つの穴領域ペアそれぞれについ
て、穴領域ペア間の顔の上下方向の位置関係に基づく第
１の指標、穴領域ペアが顔の左右に配置されているか否
かに基づく第２の指標、穴領域ペア間の面積差に基づく
第３の指標、前記カラー画像データを参照して得られる
穴領域ペアの領域内の色の分散に基づく第４の指標のう
ち、少なくとも１つの指標を求め、該少なくとも１つの
指標に基づき、上記少なくとも１つの穴領域ペアのう
ち、最も両眼として適格と判断される穴領域ペアを両眼
領域として推定する推定手段（機能Ｆ６８〜Ｆ７４に相
当）とから構成されていると解釈することができる。

【０１１４】＜ＣＦ座標変換（顔正対処理）機能Ｆ４の
詳細＞図２１はＣＦ座標変換機能Ｆ４の処理の流れを示
すフローチャートである。また、図２２及び図２３はＣ
Ｆ座標変換機能Ｆ４の理解を容易にするための説明図で
ある。

【０１１５】これらの図を参照して、まず、ステップＳ
１１で、両眼領域推定機能ＳＦ２より得られる両眼領域
２値画像データＤＢ２により、両眼領域を取得する。

【０１１６】そして、ステップＳ１２で、ステップＳ１
１で取得した両眼領域の２次元座標と距離画像データＤ
Ｓ３で示される距離画像とを対応づけることにより、両
眼領域における各画素の３次元座標（３Ｄ座標）を求
め、両眼領域を構成する各眼領域の３Ｄ平均座標を算出
する。なお、３Ｄ平均座標を求める際、メディアンフィ
ルタを用いてノイズを成分を除去する。また、３Ｄ平均
座標を算出するのは、１画素の３Ｄ座標を求める場合よ
りも信頼性を上げるためである。

【０１１７】続いて、ステップＳ１３で、顔の最大矩形
と両眼領域の２つの３Ｄ平均座標から、顔のあごの下端
と両眼領域との間に所定の比率で設けられた２つの補助
基準点を仮想的に設けて、補助基準点を含む所定の領域
からなる補助基準領域の３Ｄ平均座標を算出する。

【０１１８】以下、ステップＳ１３の処理内容について
図２２を例に挙げて詳述する。なお、図２２において、
右方向がＸ軸の正方向、上側がＹ軸の正方向となる。

【０１１９】両眼領域を構成する穴領域ペアの３Ｄ平均
座標をＰ１（ｘｅ１，ｙｅ１），Ｐ２（ｘｅ２，ｙｅ
２）とすると、図２２に示すように、座標Ｐ１，Ｐ２か
らそれぞれ負のＸ方向にｘ２，負のＹ方向にｙ１移動し
た座標Ｐ０３（ｘｅ１−ｘ２，ｙｅ１−ｙ１），Ｐ０４
（ｘｅ２−ｘ２，ｙｅ２−ｙ１）を求め、これらの座標
Ｐ０３，Ｐ０４を補助基準点の３Ｄ座標とする。

【０１２０】ただし、距離画像データＤＳ３の最大矩形
のＹ座標の最小値に基づき、あごラインＬ１が得られ、
パラメータｍ，ｎは事前に指定されているとする。

【０１２１】また、ｙ１は座標Ｐ１，Ｐ２の中点ｐ１０
のＹ座標とあごの下端のＹ座標ＡＬをｍ：ｎに分割した
ｍの比率を有する距離に設定されるため、次の(I)式で
表される。

【０１２２】y1=((ye1+ye2)/2-AL)・m/(m+n)…(I) そして、座標Ｐ１，Ｐ２の中点ｐ１０からあごラインＬ
１に降ろした垂線との交点ｐ１１と、座標Ｐ１，Ｐ２を
結ぶ直線に対する角度が直角になるようにして中点ｐ１
０から伸びる直線があごラインＬ１と交わる交点ｐ１２
とを設定する。このとき、交点ｐ１１，ｐ１２間のＸ座
標の変位を（ｘ１＋ｘ２）として、ｘ１：ｘ２＝ｎ：ｍ
となるように設定する。したがって、中点ｐ１０、交点
ｐ１１及びｐ１２を３頂点とした三角形８４と座標Ｐ
１、Ｐ２及び座標ｐ２０（ｘｅ１，ｙｅ２）を３頂点と
した三角形８５との相似関係から、ｘ２は次の（ＩＩ）
式で求められる。

【０１２３】 x2=((ye1+ye2)/2-AL)・(ye1-ye2)・m/((xe2-xe1)・(m+n))…(II) このようにして、両眼領域の座標Ｐ１，Ｐ２に基づき、
２つの補助基準点Ｐ０３，Ｐ０４を得ることができる。

【０１２４】そして、補助基準点Ｐ０３，Ｐ０４を含む
所定の領域からなる補助基準領域を仮想設定し、この領
域と距離画像データＤＳ３で示される距離画像とを対応
づけることにより、補助基準領域における各画素の３Ｄ
座標を求め、補助基準領域を構成する２つの領域それぞ
れの３Ｄ平均座標Ｐ３，Ｐ４（図２２では図示せず）を
算出する。なお、３Ｄ平均座標を算出するのは、１画素
の３Ｄ座標を求める場合よりも信頼性を上げるためであ
る。

【０１２５】図２１に戻って、ステップＳ１４で、４点
の３Ｄ平均座標Ｐ１〜Ｐ４から、顔を正対させるための
回転角を求める。以下、この処理について図２３を例に
挙げて説明する。

【０１２６】図２３において、Ｒ１，Ｒ２が両眼領域で
あり、Ｒ３，Ｒ４が補助基準領域である。また、ＰＬは
３Ｄ平均座標Ｐ１〜Ｐ４からなる多面体の基準面であ
り、Ｖ１は基準面ＰＬの法線ベクトルである。なお、基
準面ＰＬ及び法線ベクトルＶ１は３次元図形に関する既
存のアルゴリズムを用いて決定される。

【０１２７】そして、基準面ＰＬの法線ベクトルＶ１が
Ｚ軸に重なるための第１の回転角ＫＴ１を求める。その
後、第１の回転角ＫＴ１による回転後に両眼領域の両眼
形成方向ＥＤのＸＹ平面における傾きを解消するための
第２の回転角ＫＴ２を求める。

【０１２８】最後に、ステップＳ１５で、ステップＳ１
４で求めた第１及び第２の回転角ＫＴ１及びＫＴ２か
ら、３Ｄ座標変換行列を求めて、距離画像データＤＳ３
に対する座標変換を行って顔中心の座標系で表現される
距離画像データＤＳ４を生成する。同様にして、カラー
画像データＤＣ２を顔中心の座標系で表現されるカラー
画像データＤＣ４にＣＦ座標変換する。

【０１２９】このように、ＣＦ座標変換機能Ｆ４は、両
眼領域とあごの下端とから決定される基準面がＺ軸方向
に正面に向くように行う第１の回転と、両眼領域の両眼
形成方向ＥＤのＸＹ平面における傾きを解消するための
第２の回転とによって、基準面で判断される顔形状の向
きが、カメラに対して真正面に位置するように座標変換
して顔正対処理を行っている。

【０１３０】上述した基準面は両眼領域の３Ｄ平均座標
Ｐ１，Ｐ２とあごの下端位置及び両眼領域の形成位置か
ら設定された補助基準領域の３Ｄ平均座標Ｐ３，Ｐ４と
による多面体から設定され、両眼形成方向ＥＤは３Ｄ平
均座標Ｐ１，Ｐ２に基づき設定されており、顔の特徴部
である眼の向きを反映した面及び方向となるため、ＣＦ
座標変換機能Ｆ４によって人物の顔がカメラに対して精
度良く正面を向いた距離画像の距離画像データＤＳ４に
変換することができる。

【０１３１】また、基準面を決定する重要な要因となる
両眼領域は、両眼領域推定機能ＳＦ２によって精度良く
求められているため、より位置精度の高い距離画像デー
タＤＳ４を得ることができる。

【０１３２】＜疑似両眼形状設定機能Ｆ６の詳細＞図２
４及び図２６は疑似両眼形状設定機能Ｆ６を実現するた
めの各機能をデータフローとともに示した図である。ま
た、図２５及び図２７は疑似両眼形状設定機能Ｆ６の理
解を容易にするための説明図である。

【０１３３】これらの図を参照して、機能Ｆ８１で、両
眼領域２値画像データＤ３１及び眼領域矩形領域データ
Ｄ３２（図５の眼領域２値画像データＤＢ２に相当）並
びにカラー画像データＤＣ４に基づき、両眼領域を囲む
矩形領域内で、眼を示す領域外に対応する眼領域外カラ
ー画像を示す眼領域外カラー画像データを求める。図２
５では、眼領域を囲む矩形８６内で眼領域８７を除いた
領域８８が眼領域外となり、領域８８のカラー画像デー
タが求められることになる。

【０１３４】そして、機能Ｆ８２で、眼領域外カラー画
像データで示されるカラー画像の画素における輝度平均
値である眼領域外輝度平均値を求める。

【０１３５】一方、機能Ｆ８３で、両眼領域２値画像デ
ータＤ３１、眼領域矩形領域データＤ３２及びカラー画
像データＤＣ４に基づき、両眼領域を囲む矩形領域内
で、眼を示す領域に対応する眼領域カラー画像を示す眼
領域カラー画像データを求める。図２５では、眼領域を
囲む矩形８６内の眼領域８７のカラー画像データが求め
られることになる。

【０１３６】そして、機能Ｆ８４で、眼領域カラー画像
データで示されカラー画像における各画素の輝度を求
め、眼領域外輝度平均値との偏差を、両眼領域の各画素
毎に求める。

【０１３７】さらに、機能Ｆ８５で、眼領域外輝度平均
値からの各画素（眼領域内の画素）の輝度の偏差を正規
化して、眼の彫り込み量を輝度で表す画像を示すグレー
画像データＤ３３を生成する。なお、正規化とは各画素
の輝度の偏差の最大値と輝度１００％の状態と一致させ
る等により、機能Ｆ８４で求めたすべての画素の輝度の
偏差が、グレー画像の輝度で表示可能にすることを意味
する。

【０１３８】グレー画像データＤ３３が生成されると、
図２６で示す機能Ｆ９１で、再標本化後の距離画像デー
タである第２の形状データＤＳ５２と対応するように、
グレー画像データＤ３３で示されるグレー画像の各座標
に対し、ＣＦ座標変換機能Ｆ４及び再標本化機能Ｆ５で
行ったのと同じ座標変換及び投影変換を行って、変換グ
レー画像を示す変換グレー画像データＤ３４を得る。

【０１３９】そして、機能Ｆ９２で、第２の形状データ
ＤＳ５２と変換グレー画像データＤ３４とを比較するこ
とにより、第２の形状データＤＳ５２で示される距離画
像のうち両眼領域内のＺ座標（ＣＦ座標変換機能Ｆ４に
より顔正対処理が施されているため顔の奥行き方向を示
す座標となる）を、変換グレー画像データＤ３４に基づ
き変形量ΔＺで変形させて、疑似両眼形状データＤＳ６
を得る。

【０１４０】なお、予め設定される彫り込み最大量をＭ
Ｚ、変換グレー画像データＤ３４より示されるグレー画
像の各画素の輝度値をＧＬ、全画素のうちの最大輝度値
をＭＧＬとすると、変形量ΔＺは次の(III)式で表現さ
れる。

【０１４１】ΔＺ＝ＭＺ・ＧＤ／ＭＧＬ…(III) したがって、図２７に示すように、第２の形状データＤ
Ｓ５２で示される表面形状９２が疑似両眼形状データＤ
Ｓ６で示される表面形状９３のように変形される。ま
た、実際の加工時には、表面形状９２がエンドミル９１
等を用いて変形量ΔＺで彫り込まれ表面形状９３に加工
されることになる。

【０１４２】このように、眼の領域に対応するカラー画
像の輝度と、眼の領域外領域に対応するカラー画像の輝
度平均値である眼領域外輝度平均値との差に基づき、両
眼領域の彫り込み量を決定して疑似両眼形状を設定する
ため、疑似両眼形状データＤＳ６によって視覚的に実際
の眼に近い形で眼の領域以外との接続関係に違和感なく
眼の形状を表現することができる。

【０１４３】

【発明の効果】以上説明したように、この発明における
請求項１記載の３次元形状データ処理装置における両眼
領域推定機能は、顔の肌の色領域データに基づき、顔の
肌の色領域で周囲を囲まれ、自身は肌の色を有さない複
数の穴領域から組合せ可能な少なくとも１つの穴領域ペ
アを両眼領域候補とするため、眼の形状特徴が損なわれ
ない領域を両眼領域候補とすることができる。

【０１４４】加えて、穴領域ペア間の顔の上下方向の位
置関係に基づく第１の指標、穴領域ペアが顔の左右に配
置されているか否かに基づく第２の指標、穴領域ペア間
の面積差に基づく第３の指標、カラー画像データを参照
して得られる穴領域ペアの領域内の色の分散に基づく第
４の指標のうち、少なくとも１つの指標に基づき、少な
くとも１つの穴領域ペアのうち、最も両眼として適格と
判断される穴領域ペアを両眼領域と推定して、該両眼領
域を規定した両眼領域画像データを生成するため、両眼
領域の正確な抽出処理を自動的に行うことができる。

【０１４５】請求項２記載の３次元形状データ処理装置
における座標変換機能は、両眼領域画像データと距離画
像データとの対応関係から、両眼領域における２つの眼
の３次元座標に基づく基準面を設定し、該基準面が計測
基準点に対し正面に向くように、距離画像データで示さ
れる距離画像領域の座標を変換している。

【０１４６】上述した基準面は、両眼領域における２つ
の眼の３次元座標に基づき設定されており、顔の特徴部
である眼の向きを反映した面となるため、人物の顔が計
測基準点に対して精度良く正面を向いた距離画像に変換
することができる。

【０１４７】また、基準面を決定する重要な要因となる
両眼領域は、両眼領域推定機能によって精度良く求めら
れているため、より位置精度の高い距離画像に変換する
ことができる。

【０１４８】請求項３記載の３次元形状データ処理装置
における疑似両眼形状設定機能は、両眼領域に対応する
領域における各画素の輝度と両眼領域以外の所定領域に
対応する領域の輝度平均値との比較結果に基づき、部分
距離画像データで示される距離画像領域のうち両眼領域
に対応する領域の各画素における顔の奥行き方向の座標
を変更して疑似両眼形状データを生成することにより、
疑似両眼形状データによって視覚的に実際の眼に近い形
で眼の形状を表現することができる。

【０１４９】この発明における請求項４記載の３次元形
状データ処理装置における推定手段は、検出手段で検出
された複数の穴領域から組合せ可能な少なくとも１つの
穴領域ペアそれぞれについて、穴領域ペア間の顔の上下
方向の位置関係に基づく第１の指標、穴領域ペアが顔の
左右に配置されているか否かに基づく第２の指標、穴領
域ペア間の面積差に基づく第３の指標、カラー画像デー
タを参照して得られる穴領域ペアの領域内の色の分散に
基づく第４の指標のうちの少なくとも１つの指標に基づ
き、少なくとも１つの穴領域ペアのうち、最も両眼とし
て適格と判断される穴領域ペアを両眼領域と推定するた
め、両眼領域の正確な抽出処理を自動的に行うことがで
きる。

【図面の簡単な説明】

【図１】 この発明に係る実施の形態である立体模型作
成装置の外観図である。

【図２】 操作パネルの平面図である。

【図３】 立体模型作成装置の機能ブロック図である。

【図４】 立体模型作成装の概略の動作を示すフローチ
ャートである。

【図５】 ３次元顔面形状処理機能のデータフローを示
す図である。

【図６】 背景除去機能の処理の手順の概略を示すフロ
ーチャートである。

【図７】 図６の有効領域設定処理（Ｓ１）を実行する
機能をデータフローとともに示した図である。

【図８】 図７の動作説明用の説明図である。

【図９】 図６のカラー画像領域分割処理（Ｓ２）を実
行する機能をデータフローとともに示した図である。

【図１０】 カラー画像領域分割処理の理解を容易にす
るための説明図である。

【図１１】 カラー画像領域分割処理の理解を容易にす
るための説明図である。

【図１２】 顔の肌領域設定処理（Ｓ３）を実行する機
能をデータフローとともに示した図である。

【図１３】 暫定肌の色領域２値画像データで示される
２値画像例を示す図である。

【図１４】 肌領域設定処理の理解を容易にするための
画像を示した図である。

【図１５】 肌領域設定処理の理解を容易にするための
画像を示した図である。

【図１６】 肌領域設定処理の理解を容易にするための
画像を示した図である。

【図１７】 両眼領域推定機能を実現するための各機能
をデータフローとともに示した図である。

【図１８】 両眼領域推定機能を実現するための各機能
をデータフローとともに示した図である。

【図１９】 両眼領域推定機能の理解を容易にするため
の説明図である。

【図２０】 両眼領域推定機能の推定内容の理解を容易
にするための説明図である。

【図２１】 ＣＦ座標変換機能の処理の手順の概略を示
すフローチャートである。

【図２２】 ＣＦ座標変換機能の理解を容易にするため
の説明図である。

【図２３】 ＣＦ座標変換機能の理解を容易にするため
の説明図である。

【図２４】 疑似両眼形状設定機能を実現するための各
機能をデータフローとともに示した図である。

【図２５】 疑似両眼形状設定機能の理解を容易にする
ための説明図である。

【図２６】 疑似両眼形状設定機能を実現するための各
機能をデータフローとともに示した図である。

【図２７】 疑似両眼形状設定機能の理解を容易にする
ための説明図である。

【符号の説明】

１Ａ モデリングシステム、３４ ３次元計測装置、３
６ ２次元撮影装置、４０ ３次元形状データ処理装
置、ＤＣ カラー画像データ、ＤＳ 距離画像データ、
Ｆ２ 背景除去機能

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/38 Ｇ０６Ｆ 15/64 Ｍ 15/70 ３３０Ｚ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 人物の２次元のカラー画像データ及び計
   測基準点から前記人物の計測点までの距離情報を含む３
   次元の距離画像データを入力して、これらのデータに基
   づき前記人物に関する所望の３次元形状データを出力す
   る３次元形状データ処理装置であって、前記カラー画像
   データと前記距離画像データとは２次元位置の対応づけ
   が可能であり、 前記３次元形状データ処理装置は、 前記カラー画像データ及び前記距離画像データに基づ
   き、前記人物の顔と判断される領域から、背景を除去し
   て顔の肌の色領域を有効とした顔の肌の色領域データを
   生成する背景除去機能と、 前記カラー画像データ及び前記顔の肌の色領域データに
   基づき、前記カラー画像データにおける両眼領域を推定
   し、該両眼領域を規定した両眼領域画像データを生成す
   る両眼領域推定機能とを有し、 前記両眼領域推定機能は、 (a) 前記顔の肌の色領域データに基づき、前記顔の肌の
   色領域で周囲を囲まれ、自身は肌の色領域を有さない複
   数の穴領域を検出するステップと、 (b) 前記複数の穴領域から組合せ可能な少なくとも１つ
   の穴領域ペアそれぞれについて、穴領域ペア間の顔の上
   下方向の位置関係に基づく第１の指標、穴領域ペアが顔
   の左右に配置されているか否かに基づく第２の指標、穴
   領域ペア間の面積差に基づく第３の指標、前記カラー画
   像データを参照して得られる穴領域ペアの領域内の色の
   分散に基づく第４の指標のうち、少なくとも１つの指標
   を求めるステップと、 (c) 前記少なくとも１つの指標に基づき、前記少なくと
   も１つの穴領域ペアのうち、最も両眼として適格と判断
   される穴領域ペアを前記両眼領域として推定するステッ
   プと、を備える、 ３次元形状データ処理装置。
2. 【請求項２】 前記両眼領域画像データと前記距離画像
   データとの対応関係から、前記両眼領域における２つの
   眼の３次元座標に基づく基準面を設定し、該基準面が前
   記計測基準点に対し正面に向くように、前記距離画像デ
   ータで示される距離画像領域の座標を変換する座標変換
   機能をさらに備える、請求項１記載の３次元形状データ
   処理装置。
3. 【請求項３】 前記両眼領域画像データ、前記カラー画
   像データ及び前記距離画像データのうち少なくとも前記
   両眼領域に対応する領域のデータを含む部分距離画像デ
   ータに基づき、疑似両眼形状データを生成する疑似両眼
   形状設定機能をさらに備え、 前記疑似両眼形状設定機能は、 (a) 前記両眼領域画像データと前記カラー画像データと
   を対応させて、前記カラー画像データで示されるカラー
   画像領域のうち前記両眼領域に対応する領域における各
   画素の輝度と前記カラー画像領域のうち前記両眼領域外
   の所定領域に対応する領域の輝度平均値との比較結果を
   画素単位に得るステップと、 (b) 前記部分距離画像データで示される距離画像領域の
   うち前記両眼領域に対応する領域の各画素における顔の
   奥行き方向の座標を前記比較結果に基づき変更して前記
   疑似両眼形状データを生成するステップと、を備える、 請求項１あるいは請求項２記載の３次元形状データ処理
   装置。
4. 【請求項４】 人物のカラー画像を入力する手段と、 前記カラー画像から肌の色領域を抽出することにより前
   記人物の顔領域を抽出する抽出手段と、 前記顔領域内において、前記肌の色領域で周囲を囲ま
   れ、自身は肌の色ではない複数の穴領域を検出する検出
   手段と、 前記複数の穴領域から組合せ可能な少なくとも１つの穴
   領域ペアそれぞれについて、穴領域ペア間の顔の上下方
   向の位置関係に基づく第１の指標、穴領域ペアが顔の左
   右に配置されているか否かに基づく第２の指標、穴領域
   ペア間の面積差に基づく第３の指標、前記カラー画像デ
   ータを参照して得られる穴領域ペアの領域内の色の分散
   に基づく第４の指標のうち、少なくとも１つの指標を求
   め、該少なくとも１つの指標に基づき、前記少なくとも
   １つの穴領域ペアのうち、最も両眼として適格と判断さ
   れる穴領域ペアを両眼領域として推定する推定手段と、
   を備える３次元形状データ処理装置。