JP2000076454A - ３次元形状データ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 顔面模型を作成する際に必要とされる模型用
顔領域の正確な抽出処理を自動的に行うことができる機
能を有する３次元形状データ処理装置を得る。 【解決手段】 立体模型作成装置によって実行されるデ
ータ処理の１機能である背景除去機能は、ステップＳ２
で、カラー画像から距離画像に基づき肌の色部分が大部
分であると判断されるサンプリング領域を設定し、該サ
ンプリング領域におけるカラー画像の色の統計処理結果
を判断基準として、カラー画像全体から肌の色に近い色
を有する領域のみを指示する暫定肌の色領域２値画像デ
ータを出力する。続いて、ステップＳ３で、暫定肌の色
領域２値画像データで指示された画像領域における顔面
の輪郭線を距離画像に基づき認識し、該顔面の輪郭線で
分断される顔面外の領域を無効にすることにより、耳、
首等の領域を取り除いた模型用顔領域を指示する顔の肌
領域２値画像データを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、実存する物体の
模型を作成するための３次元形状データ処理装置に関す
る。

【０００２】

【従来の技術】例えば、特開平９−１４５３１９号公報
に開示されるような可搬型の非接触式３次元計測装置
（３次元カメラ）が商品化され、ＣＧ（コンピュータグ
ラフィック）システムやＣＡＤシステムへのデータ入
力、身体計測、ロボットの視覚認識などに利用されてい
る。非接触の計測方法としては、スリット光投影法（光
切断法）が一般的であるが、他にもパターン光投影法、
ステレオ視法、干渉縞法などが知られている。

【０００３】また、パーソナルコンピュータで利用可能
な３次元ＣＧソフトウェア、及びホビー用の小型の３次
元切削マシンが市販されている。これらを用いれば、一
般家庭でも模型や創作物を手軽に製作することができ
る。

【０００４】一方、利用客の顔写真シールをその場で作
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。

【０００５】

【発明が解決しようとする課題】上述の３次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種物体の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。そこで、この３次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、３次元加工機と組み合わせれ
ば、人物の顔を計測してその場で適当な倍率の模型を作
成することが可能である。

【０００６】上述した非接触の３次元計測では、人物の
顔を撮影すると、髪の毛、耳、首及び上半身の一部も同
時に撮影されてしまう場合もある。

【０００７】一方、顔面模型として必要とされる模型用
顔領域は、撮影された画像から髪の毛、耳、首、上半身
等の不要部分を除いた画像である。

【０００８】このため、模型用顔領域を得るためには、
撮影された画像から不要部分を正確に除去する必要があ
る。しかしながら、従来は、撮影された画像から不要部
分を正確に除去する作業を手動で行わなければならない
という問題点があった。しかも、上記作業を行う人には
画像に関する専門知識が必要であった。

【０００９】この発明は、顔面模型を作成する際に必要
とされる模型用顔領域の正確な抽出処理を自動的に行う
ことができる機能を有する３次元形状データ処理装置を
得ることを目的とする。

【００１０】

【課題を解決するための手段】この発明にかかる請求項
１記載の３次元形状データ処理装置は、人物の２次元の
カラー画像データ及び計測基準点から前記人物の計測点
までの距離情報を含む３次元の距離画像データを入力し
て、これらのデータに基づき前記人物に関する所望の３
次元形状データを出力する３次元形状データ処理装置で
あって、前記カラー画像データと前記距離画像データと
は２次元位置の対応づけが可能であり、前記データ処理
装置は、前記カラー画像データ及び前記距離画像データ
に基づき、前記人物の顔と判断される領域から、肌の色
と異なる領域、首及び耳を含む背景を除去した顔の肌領
域のみを有効とした顔の肌の色領域データを生成する背
景除去機能を有し、前記背景除去機能は、(a)前記カラ
ー画像データと前記距離画像データとの対応関係から、
前記人物の肌の色部分が大部分であると判断される２次
元の領域をサンプリング領域として認識するステップ
と、(b)前記サンプリング領域における前記カラー画像
データに基づき決定される肌の色を判断基準として、前
記カラー画像データで示されるカラー画像領域のうち、
肌の色と認められた領域を有効とする暫定肌の色領域デ
ータを生成するステップと、(c)前記距離画像データか
ら、顔領域の傾斜の急な２次元座標を認識して顔面の輪
郭線を抽出し、前記暫定肌の色領域データで有効とされ
ていた領域から、前記顔面の輪郭線で分断される顔面外
の領域を無効にして、依然有効とされている領域を示す
前記顔の肌の色領域データを生成するステップとを備え
ている。

【００１１】また、請求項２記載の３次元形状データ処
理装置において、前記サンプリング領域は前記人物の鼻
と判断される位置を基準として形成される鼻近傍領域を
含んでいる。

【００１２】この発明に係る請求項３記載の３次元形状
データ処理装置は、人物の２次元のカラー画像データ及
び計測基準点から前記人物の計測点までの距離情報を含
む３次元の距離画像データを入力して、これらのデータ
に基づき前記人物に関する所望の３次元形状データを出
力する装置であって、前記カラー画像データと前記距離
画像データとは２次元位置の対応づけが可能であり、前
記３次元形状データ処理装置は、前記カラー画像データ
に基づいて前記人物の肌色領域を抽出する第１の抽出手
段と、前記距離画像データに基づいて前記人物の顔の輪
郭を抽出する第２の抽出手段と、前記肌色領域から前記
顔の輪郭の外側を除去する除去手段とを備えている。

【００１３】

【発明の実施の形態】＜立体模型作成装置＞図１はこの
発明に係る立体模型作成装置１の外観図である。

【００１４】立体模型作成装置１は、物体形状を計測
し、その計測データに基づいて素材をその場で加工する
機能を有しており、利用客の顔をかたどった小物品の自
動販売機として使用される。作成される物品は、所定形
状（例えば四角形）の板面から顔面の模型が突き出た立
体である。板面（背景部分）に特定の起伏模様を付加す
ることも可能である。このような物品に適当な金具を取
り付ければ、ペンダント、ブローチ、キーホルダなどの
アクセサリーとなる。予め素材に金具を取り付けておい
てもよい。

【００１５】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、光学式３次元計測のための投光窓１２及び受光窓
１４が設けられている。受光窓１４は２次元のカラー撮
影にも用いられる。筐体１０の下半部は上半部よりも前
方側に張り出しており、その上面が操作パネル１８とな
っている。商品の取出口２０は下半部の前面に設けられ
ている。

【００１６】図２は操作パネル１８の平面図である。

【００１７】操作パネル１８には、スタートボタン１８
１、確認ボタン１８２、キャンセルボタン１８３、ジョ
イスティック１８４、及び硬貨の投入口１８５が設けら
れている。スタートボタン１８１はスタート操作手段で
あり、確認ボタン１８２は確認操作手段である。ジョイ
スティック１８４は模型の構図の変更指示に用いられ
る。左右に傾けるパーン操作、上下に傾けるチルト操
作、及びノブを回転させるロール操作に呼応して３次元
形状モデルの回転処理が行われ、処理結果が逐次表示さ
れる。また、キャンセルボタン１８３は、利用客が表示
された３次元形状モデルが気に入らないときなどに再計
測を指示するための操作手段である。ただし、キャンセ
ルボタン１８３には有効回数が設定されており、無制限
に再計測を指示することはできない。

【００１８】図３は立体模型作成装置１の機能ブロック
図である。

【００１９】立体模型作成装置１は、模型サイズの３次
元形状モデルを生成するモデリングシステム１Ａと、３
次元形状モデルを顕在化する加工システム１Ｂとから構
成されている。

【００２０】モデリングシステム１Ａは、オリジナル物
体である利用客の外観情報をディジタルデータに変換
（データ化）する撮影システム３０を含んでいる。撮影
システム３０は、スリット光投影法で形状情報をデータ
化して、３次元の距離画像データ（３次元画像データ）
ＤＳを出力する３次元計測装置３４、色情報をデータ化
して２次元のカラー画像データＤＣを出力するする２次
元撮影装置３６、及びコントローラ３８より構成されて
いる。

【００２１】ここで、距離画像データＤＳはＸＹＺの直
交座標系における座標値として与えられるデータであ
り、３次元計測装置３４内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。距離画像
データＤＳには、対象物からの反射光の計測データが得
られたか否かを示す有効フラグの情報も含まれる。

【００２２】他方、カラー画像データＤＣは、各画素の
３原色データ、即ち、Ｒ（レッド）、Ｇ（グリーン）、
Ｂ（ブルー）より成るデータである。例えば、撮影シス
テム３０を特開平９−１４５３１９号公報に開示されて
いる３次元カメラを用いて構成するときには、３次元計
測と２次元撮影とを同一視点から行うことができるた
め、距離画像データＤＳとカラー画像データＤＣとの対
応付けを極めて容易に行うことができる。なお、カラー
画像データＤＣは４００×４００画素データから構成さ
れ、距離画像データＤＳは２００×２００の画素データ
から構成される。

【００２３】勿論、３次元計測と２次元撮影とをそれぞ
れ異なる視点で行った場合でも、距離画像データＤＳ，
カラー画像データＤＣにはそれぞれ視点情報が付加され
ており、且つ３次元計測結果と２次元撮影結果との座標
の相対関係は既知であるため、距離画像データＤＳ，カ
ラー画像データＤＣとの対応付けを支障なく行うことが
できる。このような距離画像データＤＳ及びカラー画像
データＤＣは、後述する３次元形状データ処理装置４０
に入力される。

【００２４】なお、３次元計測法として、スリット光投
影法に代えて他の手法を用いてもよい。

【００２５】３次元形状データ処理装置４０は図示しな
い画像処理回路を備えており、本発明に特有のデータ修
正を含む各種のデータ処理を行い、本発明の中核部分で
ある。３次元形状データ処理装置４０のコントローラ４
２は、立体模型作成装置１の全体的な制御をも担い、撮
影システム３０のコントローラ３８及び加工システム１
Ｂのコントローラ１７６に適切な指示を与える。このコ
ントローラ４２には、ディスプレイ１６及び操作入力シ
ステム４４が接続されている。操作入力システム４４
は、上述の操作パネル１８と料金受領機構とからなる。

【００２６】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置１７２、材料の加工位置
への供給と加工品の取出口２０への搬送を行う材料供給
装置１７４、コントローラ１７６、及び取出口センサ１
７８を備えている。取出口センサ１７８の検出信号はコ
ントローラ４２に入力される。

【００２７】なお、撮影システム３０及び加工システム
１Ｂの制御をコントローラ４２に受け持たせ、コントロ
ーラ３８及びコントローラ１７６を省略した回路構成を
採用してもよい。

【００２８】＜立体模型作成装置の概略動作＞図４は立
体模型作成装置１の概略の動作を示すフローチャートで
ある。以下、同図を参照してその概略動作の処理手順を
説明する。

【００２９】電源が投入された後、利用客による操作を
待つ待機期間において、２次元撮影と撮影結果の表示と
を繰り返す（ＳＴ１０、ＳＴ１２、ＳＴ１４）。また、
定期的に案内メッセージを表示する。料金が投入されて
スタートボタン１８１が押されると、改めて２次元撮影
を行うとともに３次元計測を行う（ＳＴ１６、ＳＴ１
８）。所定のデータ処理を行い（ＳＴ２０）、得られた
３次元形状モデルを表示する（ＳＴ２２）。このとき、
影を付すといった公知のグラフィック手法を適用して見
栄えを高める。そして、指示操作を待つ。ただし、待ち
時間は有限であり、時限を過ぎれば確認操作が行われた
ものとみなす。

【００３０】ジョイスティック１８４が操作されると、
上述のように３次元形状モデルを操作に応じて回転させ
て表示する（ＳＴ２４、ＳＴ３８）。キャンセルボタン
１８３が押されると、待機期間の動作に戻る（ＳＴ４
０、ＳＴ１０）。ただし、この場合、利用客が料金を改
めて投入する必要はなく、スタートボタン１８１を押せ
ば、再計測が行われる。

【００３１】確認ボタン１８２が押されると（ＳＴ２
６）、３次元形状モデルに基づいて加工条件データベー
スを参照して加工制御用のデータを生成し（ＳＴ２
８）。材料の加工を行う（ＳＴ３０）。加工が終わる
と、商品を排出し（ＳＴ３２）、取出口センサ１７８に
よって商品が取り出されたのを確認して待機動作に戻る
（ＳＴ３４、ＳＴ１０）。

【００３２】＜顔面形状処理機能＞図５は、図４のステ
ップＳＴ２０のデータ処理をデータの流れを示すデータ
フロー図である。図５において、ハッチング付の太矢印
線はカラー画像データＤＣに基づくデータの流れを示し
ており、実線矢印は距離画像データＤＳに基づくデータ
の流れを示しており、破線矢印は２値画像データの流れ
を示している。

【００３３】また、各機能Ｆ１〜Ｆ９，ＳＦ１及びＳＦ
２は３次元形状データを生成するために、図３で示した
３次元形状データ処理装置４０で行われるデータ処理機
能を示している。特に、機能ＳＦ１及びＳＦ２は、３次
元形状データ中、顔面の両眼形状モデルのデータを生成
するための機能に該当している。以下、各機能Ｆ１〜Ｆ
３，ＳＦ１、ＳＦ２、Ｆ４〜Ｆ９をこの順で説明するこ
とにするが、本発明の中核をなす機能は機能Ｆ２であ
る。

【００３４】（距離平滑化機能Ｆ１）距離平滑化機能Ｆ
１は、図３の３次元計測装置３４が出力する未加工の３
次元形状データである距離画像データＤＳに対してノイ
ズ除去してノイズ除去済みの距離画像データＤＳ１を得
る。

【００３５】（背景除去機能Ｆ２）距離平滑化機能Ｆ１
によってノイズ除去された距離画像データＤＳ１とカラ
ー画像データＤＣとに基づき、背景（髪の毛、首、耳を
含む）が除去された模型用顔領域を２次元で規定した顔
の肌領域２値画像データＤＢ１を得、さらに、顔の肌領
域２値画像データＤＢ１に対応する距離画像データＤＳ
１のみを有効にした距離画像データＤＳ２を生成する。
なお、背景除去機能Ｆ２については後に詳述する。

【００３６】（欠陥データ補間機能Ｆ３）背景除去機能
Ｆ２によって背景除去された距離画像データＤＳ２に対
して、データ欠落画素部分を周囲の画素を用いて補間す
る。補間の方法としては線形補間等がある。データ欠落
画素部分が生じる理由は主として次の２つが考えられ
る。

【００３７】３次元計測装置３４からの計測用のレーザ
光を対象物に照射してその反射光を計測する際、対象
物の黒色部分ではレーザ光の反射率が著しく低下するた
め、模型用顔領域中の黒色部分（黒目部分、眉等）のデ
ータが欠落する、上記計測方式では、対象物中、透光
側及び受光側の両方から見える部分だけのデータが得ら
れるにすぎないため、そうでない部分のデータが欠落し
てしまう。

【００３８】（カラー平滑化機能ＳＦ１）図３の３次元
計測装置３４が出力する未加工のカラー画像データＤＣ
に対してノイズ除去してノイズ除去済みのカラー画像デ
ータＤＣ１を得る。

【００３９】（両眼領域推定機能ＳＦ２）カラー平滑化
機能ＳＦ１によってノイズ除去されたカラー画像データ
ＤＣ１から、背景除去機能Ｆ２で得られた顔の肌領域２
値画像データＤＢ１に基づき、カラー画像データＤＣ１
における両眼領域を規定した眼領域２値画像データＤＢ
２を生成する。また、カラー画像データＤＣ１がそのま
まカラー画像データＤＣ２して出力される。

【００４０】（ＣＦ（Ｃamera Ｆace）ＣＦ座標変換機
能Ｆ４）欠陥データ補間機能Ｆ３によって欠落データが
補間された距離画像データＤＳ３及び両眼領域推定機能
ＳＦ２によって推定された眼領域２値画像データＤＢ２
とに基づき、眼の領域を基準として決定される顔形状の
向きが、丁度カメラに対して真正面に位置する状態にな
るように、距離画像データＤＳ３に対する座標変換を行
って距離画像データＤＳ４を生成する。

【００４１】すなわち、カメラ中心の座標系で表現され
ていた距離画像データＤＳ３が顔中心の座標系で表現さ
れる距離画像データＤＳ４に変換される。なお、カラー
画像データＤＣ２はそのままカラー画像データＤＣ４と
して出力される。

【００４２】（再標本化機能Ｆ５）ＣＦ座標変換機能Ｆ
４でＣＦ座標変換された距離画像データＤＳ４に対して
再標本化あるいは均等化というデータの座標変換処理を
行う。３次元計測装置３４が透視投影変換により得た距
離画像データＤＳを元データとする距離画像データＤＳ
４は不規則に画素が並んだデータとなっている。そこ
で、距離画像データＤＳ４を新たな視点から見たときに
均等に画素が並んでいる距離画像データに投影変換する
の再標本化処理である。

【００４３】再標本化機能Ｆ５の再標本化処理によって
距離画像データＤＳ４は、人の顔形状モデルを与えるた
めの第１の形状データＤＳ５１、疑似両眼形状モデルを
第２の形状データＤＳ５２、及び顔輪郭近傍形状モデル
を生成するための第３の形状データＤＳ５３に変換され
る。

【００４４】（疑似両眼形状設定機能Ｆ６）ＣＦ座標変
換機能Ｆ４をスルーしたカラー画像データＤＣ４及び両
眼領域推定機能ＳＦ２で生成された眼領域２値画像デー
タＤＢ２と、再標本化機能Ｆ５で再標本化された疑似両
眼形状モデルの第２の形状データＤＳ５２とに基づき、
第２の形状データＤＳ５２における両眼対応領域の奥行
き（切削深さ）を与えるように、形状データＤＳ５２を
加工して疑似両眼形状データＤＳ６を生成する。

【００４５】（顔輪郭形状設定機能Ｆ７）再標本化機能
Ｆ５で再標本化された人の顔形状モデルを与えるための
第１の形状データＤＳ５１及び顔輪郭近傍形状モデルを
生成するための第３の形状データＤＳ５３に基づき、第
３の形状データＤＳ５３が与える形状モデルから、第１
の形状データＤＳ５１が与える形状モデルと重複した部
分のデータ削除を行い（差分処理）、顔輪郭形状データ
ＤＳ７を生成する。

【００４６】（外周平滑化機能Ｆ８）顔輪郭形状設定機
能Ｆ７で生成された顔輪郭形状データＤＳ７及び再標本
化機能Ｆ５で再標本化された第１の形状データＤＳ５１
に対して外周平滑化を行う。すなわち、顔面中、傾斜の
ある部分では距離画像データの変化が大きいため、かか
る傾斜面を顔面模型に顕出させる際に切削位置がバラツ
キやすいという問題が生じる。そこで、横方向から顔面
模型を眺めても傾斜面の切削位置が平滑化するように、
両データＤＳ５１及びＤＳ７をそれぞれ修正して第１の
形状データＤＳ８１及び顔輪郭形状データＤＳ８３す
る。

【００４７】（ＦＷ（Ｆace Ｗork）ＦＷ座標変換機能
Ｆ９）外周平滑化機能Ｆ８で外周平滑化処理された第１
の形状データＤＳ８１及び顔輪郭形状データＤＳ８３並
びに疑似両眼形状設定機能Ｆ６で生成された疑似両眼形
状データＤＳ６に対して、これらのデータが顔面を加工
するワークの大きさに応じた形状データとなるように座
標変換を施す。

【００４８】これにより、顔形状モデルを与える顔形
状データＤＳ９１，疑似両眼形状モデルを与える疑似
両眼形状データＤＳ９２、及び顔輪郭近傍形状モデル
を与える顔輪郭近傍形状データＤＳ９３が最終的に得ら
れる。これらの形状データＤＳ９１，ＤＳ９２及びＤＳ
９３を「３次元形状データ」とも総称する。

【００４９】＜背景除去機能Ｆ２の詳細＞ （概略のフロー）図６は図５の背景除去機能Ｆ２の処理
の手順の概略を示すフローチャートである。

【００５０】同図を参照して、まず、ステップＳ１で、
カラー画像データＤ１１（図５のカラー画像データＤＣ
１に相当）、マスク画像データＤ１２及び距離画像デー
タＤ１３（図５の距離画像データＤＳ１に相当）に基づ
き、模型用顔領域の候補となるカラー画像を指示する有
効領域設定済みカラー画像データＤ１４を出力する有効
領域設定処理を行う。

【００５１】そして、ステップＳ２で、距離画像データ
Ｄ１３、有効領域設定済みカラー画像データＤ１４及び
暫定サンプリング領域データＤ１５に基づき、有効領域
設定済みカラー画像データＤ１４で示されるカラー画像
のうち、肌の色に近い色を有する領域のみを指示する暫
定肌の色領域２値画像データＤ１７を出力するカラー画
像領域分割処理を行う。

【００５２】続いて、ステップＳ３で、距離画像データ
Ｄ１３、暫定肌の色領域２値画像データＤ１７及び顔の
肌の色のサンプリング領域データＤ１８に基づき、暫定
肌の色領域２値画像データＤ１７で指示された画像領域
から、耳、首の等の領域を取り除いて、さらに穴埋め処
理が施された模型用顔領域を指示する穴埋め済み顔の肌
領域２値画像データＤ２０（図５の顔の肌領域２値画像
データＤＢ１に相当）を出力する。

【００５３】最後に、ステップＳ４で、穴埋め済み顔の
肌領域２値画像データＤ２０で指示された模型用顔領域
に対応する距離画像領域を有効にするように、距離画像
データＤＳ１を加工して距離画像データＤＳ２を出力す
る。

【００５４】（有効領域設定処理（Ｓ１）の詳細）図７
は図６の有効領域設定処理（Ｓ１）を実行する各機能を
データフローとともに示した図である。

【００５５】同図を参照して、機能Ｆ２１において、カ
ラー画像データＤ１１（ＤＣ１）の全画像領域から、カ
ラー画像データＤ１１中の大まかな有効領域を示すマス
ク画像データＤ１２で指示されるマスク画像領域を取り
除いてマスク処理済みカラー画像データを得る。したが
って、図８の(a)に示すように、マスク画像領域５１の
中にあるカラー画像領域がマスク処理済みカラー画像領
域５０となり、この領域５０のみを有効としたマスク処
理済みカラー画像データが得られることになる。

【００５６】続いて、機能Ｆ２２において、機能Ｆ２１
で得られたマスク処理済みカラー画像領域と距離画像デ
ータＤ１３（ＤＳ１）とを対応させ、対応する距離画像
データの画素が無効を指示する距離画像無効領域を、上
記マスク処理済みカラー画像領域から取り除いたカラー
画像領域である有効カラー画像領域を指示する有効領域
設定済みカラー画像データＤ１４を生成する。

【００５７】したがって、図８の(b)に示すように、マ
スク処理済みカラー画像領域５０から距離画像無効領域
５２を除いた領域が有効カラー画像領域６２となり、こ
の領域６２のみを有効とした有効領域設定済みカラー画
像データＤ１４が得られることになる。

【００５８】（カラー画像領域分割処理（Ｓ２）の詳
細）図９は図６のカラー画像領域分割処理（Ｓ２）を実
行する各機能をデータフローとともに示した図である。
また、図１０及び図１１はカラー画像領域分割処理の理
解を容易にするための説明図であり、図１３は暫定肌の
色領域２値画像データＤ１７で示される２値画像の一例
を示した図である。

【００５９】これらの図を参照として、機能Ｆ３１は、
距離画像データＤ１３の有効な距離画像領域を暫定サン
プリング領域データＤ１５で指示された暫定サンプリン
グ領域でマスク処理してサンプリング領域探索領域を指
示するマスク処理済み距離画像データを生成する。すな
わち、図１０に示すように、有効な距離画像領域５３
（便宜上、矩形で示した）と、暫定サンプリング領域５
４との重複領域がサンプリング領域探索領域５４とな
る。

【００６０】そして、機能Ｆ３２は、マスク処理済み距
離画像データで指示されるサンプリング領域探索領域の
距離画像及びステップＳ１の有効領域設定処理で得た有
効領域設定済みカラー画像データＤ１４で指示される有
効カラー画像領域に基づき、有効カラー画像領域から、
鼻の頂点の上方に予め定められた大きさの矩形のサンプ
リング領域に対応するサンプリングカラー画像領域を抽
出して、当該サンプリングカラー画像領域を示すサンプ
リングカラー画像領域データＤ１８を出力する。

【００６１】機能Ｆ３２は部分機能Ｆ３２Ａ，Ｆ３２Ｂ
からなり、部分機能Ｆ３２Ａは、サンプリング領域探索
領域にある距離画像のうち、Ｚ軸方向（図１０参照）の
最大値を採る２次元座標を検出することにより、鼻の頂
点の２次元座標を認識する。

【００６２】そして、部分機能Ｆ３２Ｂは、部分機能Ｆ
３２Ａで認識した鼻の頂点の２次元座標の上方にサンプ
リング領域を設定する。すなわち、図１０に示すよう
に、鼻の頂点５７が部分機能Ｆ３１で認識されると、そ
の上方に矩形のサンプリング領域５６が設定される。さ
らに、部分機能Ｆ３２Ｂは、有効領域設定済みカラー画
像データＤ１４で指示される有効カラー画像領域から上
記サンプリング領域に対応する領域のみを有効とするマ
スク処理を行って、肌の色部分が大部分であると判断さ
れる２次元の領域であるサンプリングカラー画像領域を
示すサンプリングカラー画像領域データＤ１８を得る。

【００６３】なお、部分機能Ｆ３２Ａがサンプリング領
域探索領域中のＺ軸方向の最大値を採る座標位置を鼻の
頂点位置と認識するため、カメラに対して顔が傾いてい
る場合は、サンプリング領域探索領域の周辺部を鼻の頂
点位置として誤認する危険性がある。

【００６４】例えば、図１１に示すように、部分機能Ｆ
３１がサンプリング領域探索領域５５の左上端部を鼻の
頂点位置６１と誤認した場合、部分機能Ｆ３２で設定し
たサンプリング領域６１（６０は鼻の頂点位置）が、サ
ンプリング領域探索領域５５をはみ出す。このように、
部分機能Ｆ３１が鼻の頂点位置を誤認した場合はサンプ
リング領域がサンプリング領域探索領域からはみ出す確
率が高い。

【００６５】そこで、部分機能Ｆ３２Ｂは、鼻の頂点位
置座標に基づき設定したサンプリング領域がサンプリン
グ領域探索領域からはみ出す時、そのサンプリング領域
を採用することなく、部分機能Ｆ３２Ａで認識された鼻
の頂点位置を無視して、サンプリング領域探索領域の中
央にサンプリング領域を設けるようにする。これによ
り、部分機能Ｆ３２Ａが鼻の頂点位置を誤認しても、か
なり高い確率で部分機能Ｆ３２Ｂで訂正することができ
る。

【００６６】機能Ｆ３３は、機能Ｆ３２によって得られ
たサンプリングカラー画像領域データＤ１８で示される
サンプリングカラー画像領域を統計対象として肌の色
（ＲＧＢ）のサンプリングを行ってサンプリング正規分
布データＤ１６を得る。

【００６７】まず、部分機能Ｆ３３Ａで、サンプリング
カラー画像領域内の色の平均値を求める。

【００６８】次に、部分機能Ｆ３３Ｂで、部分機能Ｆ３
３Ａで求めた平均値からの色距離をサンプリングカラー
画像領域における各画素ごとに算出する。

【００６９】続いて、部分機能Ｆ３３Ｃで、各画素のＲ
ＧＢそれぞれの色距離の分布を３次元正規分布に当ては
め、平均値を中心として１５σ（σ：標準偏差）に入ら
ない色距離を有する画素を除去し、残った画素からなる
サンプリングカラー画像領域を新たなサンプリングカラ
ー画像領域として再設定する。

【００７０】最後に、部分機能Ｆ３３Ｄで、部分機能Ｆ
３３Ｃで再設定されたサンプリングカラー画像領域を統
計対象として、各画素の色の平均値からの色距離の分布
を３次元正規分布に当てはめてサンプリング正規分布デ
ータＤ１６を得る。このサンプリング正規分布データＤ
１６得ることは色の共分散行列の逆行列と色の平均値と
を得たことと等価になる。

【００７１】機能Ｆ３４において、サンプリング正規分
布データＤ１６を参照して、有効領域設定済みカラー画
像データＤ１４で示される有効カラー画像領域から、平
均値を中心として１５σに入らない色を有する画素を除
去し、有効カラー画像領域において除去されずに残った
画素に対応する画素を有効（白色）にした、図１３の２
値画像７１のような暫定肌の色領域２値画像を示す暫定
肌の色領域２値画像データＤ１７を生成する。

【００７２】（顔の肌領域設定処理（Ｓ３）の詳細）図
１２は顔の肌領域設定処理（Ｓ３）を実行する各機能を
データフローとともに示した図である。また、図１４〜
図１６は肌領域設定処理の理解を容易にするための画像
の例を示した図である。

【００７３】これらの図を参照して、機能Ｆ４１は、サ
ンプリングカラー画像領域データＤ１８で示されるサン
プリングカラー画像領域を参照して、距離画像データＤ
１３で示される距離画像領域のうち、サンプリングカラ
ー画像領域に対応する領域を統計対象として、ピクセル
間距離のσ、平均値を求める。なお、ピクセル間距離と
は隣接する画素間の３次元座標系における距離である。

【００７４】そして、機能Ｆ４２において、機能Ｆ４１
の統計対象となった距離画像領域のうち、平均値から３
σの範囲入るピクセル間距離を有する画素のみを、新た
な統計対象とし、再び、ピクセル間距離のσ、平均値を
求める。

【００７５】次に、機能Ｆ４３で、距離画像データＤ１
３で示される全体の距離画像領域において、機能Ｆ４２
の統計処理で得られた平均値から３σの範囲に入らない
ピクセル間距離を有する画素ペアを検出している。すな
わち，画素がＸＹ平面上に等間隔に並んでいるためピク
セル間距離が長く、平均値から３σの範囲に入らない場
合は場合は傾斜が急となっていると判断し、傾斜が急な
部分と認識される画素ペアを検出している。

【００７６】そして、機能Ｆ４４で、機能Ｆ４３で検出
された画素ペアのうち、顔の奥方向にある（Ｚ方向の値
が小さい）方の画素のみを白とする２値画像を得る。

【００７７】その後、機能Ｆ４５において、白の画素の
モルフォロジー処理（膨張処理）を行い、図１４に示す
ように、顔面の輪郭線を白で示したピクセル間距離評価
結果２値画像７２を得る。

【００７８】一方、機能Ｆ４６は、ステップＳ２のカラ
ー画像領域分割処理で得た暫定肌の色領域２値画像デー
タＤ１７で示される肌の色領域２値画像（図１３参照，
400×400画素）をＸ，Ｙ方向にそれぞれ１／２に縮小し
て、ピクセル間距離評価結果２値画像７２と同じ大きさ
（200×200画素）の縮小肌の色領域２値画像を得る。

【００７９】そして、機能Ｆ４７で、白を“１”，黒を
“０”として、縮小肌の色領域２値画像からピクセル間
距離評価結果２値画像を引き算処理して、図１５に示す
ような引き算済み２値画像７３を得る。このとき、図１
５に示すように、引き算済み２値画像は、頭に置かれた
手の領域、耳領域、首領域が、それぞれ顔領域と黒の画
素領域（顔面の輪郭線で引き算された領域）を境界とし
て完全に分離される。

【００８０】そして、機能Ｆ４８で、引き算済み２値画
像のうち、黒の画素で分離された白の画素の固まりを構
成する画素群であるクラスターをそれぞれラベリングす
る。

【００８１】次に、機能Ｆ４９で、ラベリングされた各
クラスターのうち、サンプリングカラー画像領域データ
Ｄ１８で示されるサンプリングカラー画像領域の中心部
近傍にあるクラスターのみを顔領域クラスターとして採
用する。

【００８２】そして、機能Ｆ５０で、顔領域クラスター
に対して白のモルフォロジー処理，クロシング（Closin
g）処理を行うことにより、顔領域クラスターの整形処
理を施して、図１６に示すような、穴埋めなし顔の肌領
域２値画像７４を示す穴埋めなし顔の肌領域２値画像デ
ータＤ１９を生成する。

【００８３】さらに、機能Ｆ５１は、穴埋めなし顔の肌
領域２値画像データＤ１９で示される穴埋めなし顔の肌
領域２値画像における黒の穴領域を白にする穴埋め処理
及び黒の入り江を埋める処理を行って穴埋め済み顔の肌
領域２値画像（模型用顔領域）を示す穴埋め済み顔の肌
領域２値画像データＤ２０を生成する。

【００８４】（背景除去機能Ｆ２による効果）ステップ
Ｓ２の有効領域設定処理は、距離画像データＤ１３に基
づき確実に顔と認識される領域でサンプリングされた肌
の色を判断基準として、肌の色の領域か否かを認識する
ため、純粋な肌の領域（顔の領域から、眼、口、鼻の
穴、まゆげ等が除かれた領域）を有効とした領域を示す
暫定肌の色領域２値画像データＤ１７を出力することが
できる。

【００８５】加えて、肌の色のサンプリング領域を鼻の
近傍領域に設定することにより、傾いた面における肌の
色も鼻の傾斜面から確実にサンプリングすることができ
るため、顔の輪郭近傍領域の色も確実に肌の色と認識す
ることができる。

【００８６】また、ステップＳ３の顔の肌領域設定処理
で、距離画像データＤ１３に基づき、顔領域において斜
面となる部分（ピクセル間距離が大きい画素ペア）を抽
出して顔面の輪郭線を得、暫定肌の色領域２値画像デー
タＤ１７で有効とされてい領域から、顔面の輪郭線で分
断される顔面外の領域を無効にして、依然有効とされて
いる領域を示す顔の肌領域２値画像データＤ１９，Ｄ２
０を生成するため、模型用顔領域では必要としないが、
ステップＳ２の有効領域設定処理では肌の色領域として
認識されてしまう、首、耳等の領域を確実に分離した顔
の肌領域２値画像データＤ１９，Ｄ２０を得ることがで
きる。すなわち、顔面模型を作成する際に必要とされる
模型用顔領域を正確に示した顔の肌の色領域２値画像デ
ータＤ１９，Ｄ２０を得ることができる。

【００８７】（その他）なお、３次元形状データ処理装
置４０による背景除去機能Ｆ２を機能表現要素からなる
装置としてみた場合、カラー画像データＤＣに基づいて
人物の肌色領域を抽出する第１の抽出手段（機能Ｆ２
１、Ｆ２２，Ｆ３１〜Ｆ３４に相当）と、距離画像デー
タＤＳに基づいて人物の顔の輪郭を抽出する第２の抽出
手段（機能Ｆ４１〜Ｆ４５に相当）と、肌色領域から顔
の輪郭の外側を除去する除去手段（機能Ｆ４６〜Ｆ５１
に相当）とから構成されると解釈することができる。

【００８８】

【発明の効果】以上説明したように、この発明における
請求項１記載の３次元形状データ処理装置が有する背景
除去機能におけるステップ(b)は、肌の色部分が大部分
であると判断される２次元領域であるサンプリング領域
におけるカラー画像データに基づき決定される肌の色を
判断基準として、カラー画像データで示されるカラー画
像領域のうち、肌の色と認められた領域を有効とする暫
定肌の色領域データを生成するため、肌の色と異なる領
域を除外して実際の肌の色に近い領域のみ有効とした領
域を示す暫定肌の色領域データを生成することができ
る。

【００８９】加えて、背景除去機能におけるステップ
(c)は、顔領域の傾斜の急な２次元座標を認識して顔面
の輪郭線を抽出し、暫定肌の色領域データで有効とされ
ていた領域から、顔面の輪郭線で分断される顔面外の領
域を無効にして、依然有効とされている領域を示す顔の
肌の色領域データを生成するため、肌の色を有している
が背景として除去が望まれる耳，首等の領域を確実に除
去した領域、すなわち、顔面模型を作成する際に必要と
される模型用顔領域を正確に示した顔の肌の色領域デー
タを生成することができる。

【００９０】また、請求項２記載の３次元形状データ処
理装置において、サンプリング領域は人物の鼻と判断さ
れる位置を基準として形成される鼻近傍領域を含んでい
る。したがって、傾いた面における肌の色も鼻の傾斜面
から確実にサンプリングすることができるため、傾斜の
ある顔の輪郭近傍領域の色も確実に肌の色と認識するこ
とができる。

【００９１】この発明における請求項３記載の３次元形
状データ処理装置は、除去手段によって、第１の抽出手
段で抽出された肌色領域から、第２の抽出手段で抽出さ
れた顔の輪郭の外側を除去することにより、肌色領域か
ら背景として除去が望まれる耳，首等の領域を確実に除
去した領域、すなわち、顔面模型を作成する際に必要と
される模型用顔領域を正確に示した肌色領域を得ること
ができる。

【図面の簡単な説明】

【図１】 この発明に係る実施の形態である立体模型作
成装置の外観図である。

【図２】 操作パネルの平面図である。

【図３】 立体模型作成装置の機能ブロック図である。

【図４】 立体模型作成装の概略の動作を示すフローチ
ャートである。

【図５】 ３次元顔面形状処理機能のデータフローを示
す図である。

【図６】 背景除去機能の処理の手順の概略を示すフロ
ーチャートである。

【図７】 図６の有効領域設定処理（Ｓ１）を実行する
機能をデータフローとともに示した図である。

【図８】 図７の動作説明用の説明図である。

【図９】 図６のカラー画像領域分割処理（Ｓ２）を実
行する機能をデータフローとともに示した図である。

【図１０】 カラー画像領域分割処理の理解を容易にす
るための説明図である。

【図１１】 カラー画像領域分割処理の理解を容易にす
るための説明図である。

【図１２】 顔の肌領域設定処理（Ｓ３）を実行する機
能をデータフローとともに示した図である。

【図１３】 暫定肌の色領域２値画像データで示される
２値画像例を示す図である。

【図１４】 肌領域設定処理の理解を容易にするための
画像を示した図である。

【図１５】 肌領域設定処理の理解を容易にするための
画像を示した図である。

【図１６】 肌領域設定処理の理解を容易にするための
画像を示した図である。

【符号の説明】

１Ａ モデリングシステム、３４ ３次元計測装置、３
６ ２次元撮影装置、４０ ３次元形状データ処理装
置、ＤＣ カラー画像データ、ＤＳ 距離画像データ、
Ｆ２ 背景除去機能。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/38 Ｇ０６Ｆ 15/64 Ｍ 15/70 ３３０Ｚ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 人物の２次元のカラー画像データ及び計
   測基準点から前記人物の計測点までの距離情報を含む３
   次元の距離画像データを入力して、これらのデータに基
   づき前記人物に関する所望の３次元形状データを出力す
   る３次元形状データ処理装置であって、前記カラー画像
   データと前記距離画像データとは２次元位置の対応づけ
   が可能であり、 前記３次元形状データ処理装置は、 前記カラー画像データ及び前記距離画像データに基づ
   き、前記人物の顔と判断される領域から、肌の色と異な
   る領域、首及び耳を含む背景を除去した顔の肌領域のみ
   を有効とした顔の肌の色領域データを生成する背景除去
   機能を有し、 前記背景除去機能は、 (a) 前記カラー画像データと前記距離画像データとの対
   応関係から、前記人物の肌の色部分が大部分であると判
   断される２次元の領域をサンプリング領域として認識す
   るステップと、 (b) 前記サンプリング領域における前記カラー画像デー
   タに基づき決定される肌の色を判断基準として、前記カ
   ラー画像データで示されるカラー画像領域のうち、肌の
   色と認められた領域を有効とする暫定肌の色領域データ
   を生成するステップと、 (c) 前記距離画像データから、顔領域の傾斜の急な２次
   元座標を認識して顔面の輪郭線を抽出し、前記暫定肌の
   色領域データで有効とされていた領域から、前記顔面の
   輪郭線で分断される顔面外の領域を無効にして、依然有
   効とされている領域を示す前記顔の肌の色領域データを
   生成するステップと、を備える、 ３次元形状データ処理装置。
2. 【請求項２】 前記サンプリング領域は前記人物の鼻と
   判断される位置を基準として形成される鼻近傍領域を含
   む、請求項１記載の３次元形状データ処理装置。
3. 【請求項３】 人物の２次元のカラー画像データ及び計
   測基準点から前記人物の計測点までの距離情報を含む３
   次元の距離画像データを入力して、これらのデータに基
   づき前記人物に関する所望の３次元形状データを出力す
   る３次元形状データ処理装置であって、前記カラー画像
   データと前記距離画像データとは２次元位置の対応づけ
   が可能であり、 前記３次元形状データ処理装置は、 前記カラー画像データに基づいて前記人物の肌色領域を
   抽出する第１の抽出手段と、 前記距離画像データに基づいて前記人物の顔の輪郭を抽
   出する第２の抽出手段と、 前記肌色領域から前記顔の輪郭の外側を除去する除去手
   段と、を備える、 ３次元形状データ処理装置。