JP2000348208A - ３次元データ生成装置および３次元データ生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 ２次元の画像データから適切な距離画像デー
タを生成する。 【解決手段】 ２次元のカラー画像データＤＣ１が規定
する人間の頭部の画像を領域分割部Ｆ１１により背景幕
領域、２次元肌領域、および、主として髪の領域となる
その他の領域に分割する。そして、切換部Ｆ１３により
変換方法を切り換えつつつ、部分距離画像生成部Ｆ１２
により各領域が部分距離画像に変換される。背景幕領域
は基準面からの高さが０の部分距離画像に変換され、２
次元肌領域およびその他の領域は所定の演算方法にて輝
度を基準面からの高さに変換することにより部分距離画
像に変換される。これにより、各領域が適切な部分距離
画像に変換され、適切な距離画像データが生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、物体の形状を表
す３次元データを生成するための３次元データ生成装置
および３次元データ生成方法に関する。

【０００２】

【従来の技術】従来より、２次元画像の輝度分布に基づ
いて物体の形状である３次元画像（以下、「距離画像」
という。）を生成する方法が知られている。この方法
は、視点から物体上のある微小領域までの距離と、この
微小領域の２次元画像中の輝度とに相関関係がある場合
に利用可能な方法であり、物体の表面状態や照明条件を
整えた場合には正確な形状測定も実現される。

【０００３】また、このような２次元画像の輝度分布に
基づいて物体の形状を求める方法は、直接距離画像を取
得する３次元計測装置（いわゆる、レンジファインダ）
が不要であり、さらに、一方向からの２次元画像のみか
ら距離画像を生成することができるため、低コストで物
体の形状を測定できる。

【０００４】

【発明が解決しようとする課題】しかしながら、物体の
２次元画像の輝度分布は物体の表面状態や色に大きく左
右される。したがって、物体の色を変更した場合や１つ
の物体に複数の色の領域が存在する場合には物体の距離
画像を正確に生成することができないという問題を有し
ている。

【０００５】例えば、図２５(a)に示すようにＸＹ面に
平行な白い平坦な面９０１の一部が暗い色の領域９１１
となっている場合、この面９０１の２次元画像は図２５
(b)のようになり、輝度分布から単純に距離画像を生成
すると、図２５(c)に示すように領域９１１がＺ方向に
窪んだ形状となってしまう。

【０００６】この発明は上記課題に鑑みなされたもので
あり、２次元画像を示す２次元データから適切な距離画
像を示す３次元データを生成することを目的としてい
る。

【０００７】

【課題を解決するための手段】請求項１の発明は、形状
を表す３次元データを生成する３次元データ生成装置で
あって、２次元データが規定する２次元画像の複数の領
域のそれぞれを３次元部分画像に変換することにより前
記３次元データを生成する変換手段と、前記変換手段に
よる変換方法を異なる変換方法に切り換える切換手段と
を備える。

【０００８】請求項２の発明は、請求項１に記載の３次
元データ生成装置であって、前記２次元画像から前記複
数の領域を決定する領域決定手段をさらに備える。

【０００９】請求項３の発明は、請求項１または２に記
載の３次元データ生成装置であって、前記２次元画像が
人間の頭部画像であり、前記複数の領域に前記頭部画像
の肌領域および髪領域が含まれる。

【００１０】請求項４の発明は、請求項１ないし３のい
ずれかに記載の３次元データ生成装置であって、前記変
換手段が、前記複数の領域の画素値から求められる基準
値に基づいて変換を行う。

【００１１】請求項５の発明は、請求項１ないし４のい
ずれかに記載の３次元データ生成装置であって、前記変
換手段が、前記複数の領域中の画素の輝度に基づいて変
換を行う。

【００１２】請求項６の発明は、請求項１ないし５のい
ずれかに記載の３次元データ生成装置であって、前記複
数の領域に対応する複数の３次元部分画像間の境界に基
づいて、前記複数の３次元部分画像の位置関係を決定す
る手段をさらに備える。

【００１３】請求項７の発明は、形状を表す３次元デー
タを生成する３次元データ生成方法であって、２次元デ
ータが規定する２次元画像の第１の領域に第１の変換を
施すことにより３次元部分画像を生成する工程と、前記
２次元画像の第２の領域に前記第１の変換とは異なる第
２の変換を施すことにより３次元部分画像を生成する工
程とを有する。

【００１４】

【発明の実施の形態】＜１． 立体模型作成装置の構成
＞図１はこの発明に係る立体模型作成装置１の外観図で
ある。

【００１５】立体模型作成装置１は、物体形状を２次元
画像に基づいて計測し、その計測データに基づいて素材
をその場で加工する機能を有しており、利用客の顔をか
たどった小物品の自動販売機として使用される。作成さ
れる物品は、所定形状（例えば四角形）の板面から顔面
の模型が突き出た立体である。板面（背景部分）に特定
の起伏模様を付加することも可能である。このような物
品に適当な金具を取り付ければ、ペンダント、ブロー
チ、キーホルダなどのアクセサリーとなる。予め素材に
金具を取り付けておいてもよい。

【００１６】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、２次元のカラー撮影用の受光窓１４が設けられて
いる。筐体１０の下半部は上半部よりも前方側に張り出
しており、その上面が操作パネル１８となっている。商
品の取出口２０は下半部の前面に設けられている。

【００１７】図２は操作パネル１８の平面図である。

【００１８】操作パネル１８には、スタートボタン１８
１、確認ボタン１８２、キャンセルボタン１８３、ジョ
イスティック１８４および硬貨の投入口１８５が設けら
れている。スタートボタン１８１はスタート操作手段で
あり、確認ボタン１８２は確認操作手段である。ジョイ
スティック１８４は模型の構図の変更指示に用いられ
る。左右に傾けるパーン操作、上下に傾けるチルト操
作、および、ノブを回転させるロール操作に呼応して３
次元形状モデルの回転処理が行われ、処理結果が逐次表
示される。また、キャンセルボタン１８３は、利用客が
表示された３次元形状モデルが気に入らないときなどに
再計測を指示するための操作手段である。ただし、キャ
ンセルボタン１８３には有効回数が設定されており、無
制限に再計測を指示することはできない。

【００１９】図３は立体模型作成装置１の機能ブロック
図である。

【００２０】立体模型作成装置１は、模型サイズの３次
元形状モデルを生成するモデリングシステム１Ａと、３
次元形状モデルを顕在化する加工システム１Ｂとから構
成されている。

【００２１】モデリングシステム１Ａは、オリジナル物
体である利用客の外観情報をデジタルデータに変換（す
なわち、データ化）する撮影システム３０を含んでい
る。撮影システム３０は、利用客の頭部を撮影し、得ら
れた色情報をデータ化して２次元のカラー画像データＤ
Ｃを出力するする２次元撮影装置３６、および、コント
ローラ３８より構成されている。

【００２２】カラー画像データＤＣは、各画素の３原色
データ、すなわち、Ｒ（レッド）、Ｇ（グリーン）、Ｂ
（ブルー）より成るデータである。また、カラー画像デ
ータＤＣは４００×４００の画素データから構成され
る。２次元撮影装置３６により取得されたカラー画像デ
ータＤＣは、後述する３次元形状データ処理装置４０に
入力される。

【００２３】３次元形状データ処理装置４０は図示しな
い画像処理回路を備えており、本発明に特有の３次元デ
ータ生成処理を含む各種のデータ処理を行い、本発明の
中核部分である。３次元形状データ処理装置４０のコン
トローラ４２は、立体模型作成装置１の全体的な制御を
も担い、撮影システム３０のコントローラ３８および加
工システム１Ｂのコントローラ１７６に適切な指示を与
える。このコントローラ４２には、ディスプレイ１６お
よび操作入力システム４４が接続されている。操作入力
システム４４は、上述の操作パネル１８と料金受領機構
とからなる。

【００２４】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置１７２、材料の加工位置
への供給と加工品の取出口２０への搬送を行う材料供給
装置１７４、コントローラ１７６、および、取出口セン
サ１７８を備えている。取出口センサ１７８の検出信号
はコントローラ４２に入力される。加工システム１Ｂ
は、３次元形状データ処理装置４０にて生成された３次
元形状データＤＭに基づいて材料の加工を行う。

【００２５】なお、撮影システム３０および加工システ
ム１Ｂの制御をコントローラ４２に受け持たせ、コント
ローラ３８およびコントローラ１７６を省略した回路構
成を採用してもよい。

【００２６】＜２． 立体模型作成装置の概略動作＞図
４は立体模型作成装置１の概略の動作の流れを示す流れ
図である。以下、同図を参照してその概略動作の処理手
順を説明する。

【００２７】電源が投入された後、利用客による操作を
待つ待機期間において、２次元撮影と撮影結果の表示と
を繰り返す（ステップＳＴ１０，ＳＴ１２，ＳＴ１
４）。また、定期的に案内メッセージを表示する。料金
が投入されてスタートボタン１８１が押されると、改め
て２次元撮影を行う（ステップＳＴ１６）。所定のデー
タ処理を行い（ステップＳＴ２０）、得られた３次元形
状モデルを表示する（ステップＳＴ２２）。このとき、
影を付すといった公知のグラフィック手法を適用して見
栄えを高める。そして、指示操作を待つ。ただし、待ち
時間は有限であり、時限を過ぎれば確認操作が行われた
ものとみなされる。

【００２８】ジョイスティック１８４が操作されると、
上述のように３次元形状モデルを操作に応じて回転させ
て表示する（ステップＳＴ２４，ＳＴ３８）。キャンセ
ルボタン１８３が押されると、待機期間の動作に戻る
（ステップＳＴ４０，ＳＴ１０）。ただし、この場合、
利用客が料金を改めて投入する必要はなく、スタートボ
タン１８１を押せば、再撮影が行われる。

【００２９】確認ボタン１８２が押されると（ステップ
ＳＴ２６）、３次元形状モデルに基づいて加工条件デー
タベースを参照して加工制御用のデータを生成し（ステ
ップＳＴ２８）。材料の加工を行う（ステップＳＴ３
０）。加工が終わると、商品を排出し（ステップＳＴ３
２）、取出口センサ１７８によって商品が取り出された
のを確認して待機動作に戻る（ステップＳＴ３４，ＳＴ
１０）。

【００３０】＜３． 顔面形状処理機能＞図５は、図４
のステップＳＴ２０のデータ処理の各機能とともにデー
タの流れを示す機能ブロック図である。図５において、
ハッチング付の太矢印線はカラー画像データＤＣに基づ
くデータの流れを示しており、実線矢印はカラー画像デ
ータＤＣから生成される距離画像データＤＳ３に基づく
データの流れを示しており、破線矢印は２値画像データ
の流れを示している。なお、図５に示す各機能は３次元
形状データ処理装置４０の動作ステップに相当し、機能
ブロック図におけるデータの流れは各機能が実行される
時系列順序に対応する。

【００３１】また、各機能Ｆ１，Ｆ４〜Ｆ９，ＳＦ１お
よびＳＦ２は加工済の３次元形状データを生成するため
に、図３で示した３次元形状データ処理装置４０で行わ
れるデータ処理機能を示している。特に、機能ＳＦ１お
よびＳＦ２は、加工済の３次元形状データ中、顔面の両
眼形状モデルのデータを生成するための機能に該当して
いる。以下、各機能ＳＦ１，Ｆ１，ＳＦ２，Ｆ４〜Ｆ９
をこの順で説明することにするが、本発明の中核をなす
機能は機能Ｆ１である。

【００３２】＜3.1 カラー平滑化機能ＳＦ１＞カラー
平滑化機能ＳＦ１は、図３の２次元撮影装置３６が出力
する未加工のカラー画像データＤＣに対してノイズを除
去してノイズ除去済みのカラー画像データＤＣ１を得
る。

【００３３】＜3.2 距離画像データ生成機能Ｆ１＞距
離画像データ生成機能Ｆ１は、カラー平滑化機能ＳＦ１
によりノイズ成分が除去されたカラー画像データＤＣ１
に基づき、利用客の頭部の形状を表す距離画像データＤ
Ｓ３を生成する。この機能により、３次元形状データ処
理装置４０は、この発明に係る３次元データ生成装置と
して機能する。なお、距離画像データ生成機能Ｆ１につ
いては後に詳述する。

【００３４】＜3.3 両眼領域推定機能ＳＦ２＞両眼領
域推定機能ＳＦ２は、カラー平滑化機能ＳＦ１によって
ノイズ除去されたカラー画像データＤＣ１から、カラー
画像データＤＣ１における両眼領域を規定した両眼領域
２値画像データＤＢ２を生成する。また、カラー画像デ
ータＤＣ１がそのままカラー画像データＤＣ２して出力
される。

【００３５】＜3.4 ＣＦ（Ｃamera Ｆace）座標変換機
能Ｆ４＞ＣＦ座標変換機能Ｆ４は、距離画像データ生成
機能Ｆ１によって生成された距離画像データＤＳ３およ
び両眼領域推定機能ＳＦ２によって推定された両眼領域
２値画像データＤＢ２とに基づき、眼の領域を基準とし
て決定される顔形状の向きが、丁度カメラに対して真正
面に位置する状態になるように、距離画像データＤＳ３
に対する座標変換を行って距離画像データＤＳ４を生成
する。

【００３６】すなわち、カメラ中心の座標系で表現され
ていた距離画像データＤＳ３が顔中心の座標系で表現さ
れる距離画像データＤＳ４に変換される。なお、カラー
画像データＤＣ２はそのままカラー画像データＤＣ４と
して出力される。

【００３７】＜3.5 再標本化機能Ｆ５＞再標本化機能
Ｆ５は、ＣＦ座標変換機能Ｆ４でＣＦ座標変換された距
離画像データＤＳ４に対して再標本化あるいは均等化と
いうデータの座標変換処理を行う。距離画像データＤＳ
４は顔中心の座標系では不規則に画素が並んだデータと
なっている。そこで、距離画像データＤＳ４を新たな視
点から見たときに均等に画素が並んでいる距離画像デー
タに投影変換するのが再標本化処理である。

【００３８】再標本化機能Ｆ５の再標本化処理によって
距離画像データＤＳ４は３つの部分距離画像データに変
換される。すなわち、人の顔形状モデルを与えるための
第１の形状データＤＳ５１、疑似両眼形状モデルを生成
するための第２の形状データＤＳ５２、および、顔輪郭
近傍形状モデルを生成するための第３の形状データＤＳ
５３に変換される。

【００３９】また、メダルなどの厚板上の材料にレリー
フとして人物像を形成する場合には、この再標本化処理
以降のいずれかの段階で距離画像データの撮影方向（す
なわち、立体模型作成装置１に向かう方向）に対する圧
縮処理が行われる。これにより、レリーフ状の３次元形
状モデルを規定する距離画像データとなる。なお、距離
画像データ生成機能Ｆ１において生成される距離画像デ
ータＤＳ３が、既に撮影方向に対する距離を圧縮した形
状を表すデータとなっていてもよい。

【００４０】＜3.6 疑似両眼形状設定機能Ｆ６＞疑似
両眼形状設定機能Ｆ６は、ＣＦ座標変換機能Ｆ４をスル
ーしたカラー画像データＤＣ４および両眼領域推定機能
ＳＦ２で生成された両眼領域２値画像データＤＢ２と、
再標本化機能Ｆ５で再標本化された疑似両眼形状モデル
の第２の形状データＤＳ５２とに基づき、第２の形状デ
ータＤＳ５２における両眼対応領域の奥行き（すなわ
ち、加工時の切削深さ）を与えるように、第２の形状デ
ータＤＳ５２を加工して疑似両眼形状データＤＳ６を生
成する。

【００４１】＜3.7 顔輪郭形状設定機能Ｆ７＞顔輪郭
形状設定機能Ｆ７は、再標本化機能Ｆ５で再標本化され
た人の顔形状モデルを与えるための第１の形状データＤ
Ｓ５１、および、顔輪郭近傍形状モデルを生成するため
の第３の形状データＤＳ５３に基づき、第３の形状デー
タＤＳ５３が与える形状モデルから、第１の形状データ
ＤＳ５１が与える形状モデルと重複した部分のデータ削
除（すなわち、差分処理）を行い、顔輪郭形状データＤ
Ｓ７を生成する。

【００４２】＜3.8 外周平滑化機能Ｆ８＞外周平滑化
機能Ｆ８は、顔輪郭形状設定機能Ｆ７で生成された顔輪
郭形状データＤＳ７、および、再標本化機能Ｆ５で再標
本化された第１の形状データＤＳ５１に対して外周平滑
化を行う。すなわち、顔面中、傾斜のある部分では距離
画像データの変化が大きいため、かかる傾斜面を顔面模
型に顕出させる際に切削位置がバラツキやすいという問
題が生じる。そこで、横方向から顔面模型を眺めても傾
斜面の切削位置が平滑化するように、両データＤＳ５
１，ＤＳ７をそれぞれ修正して第１の形状データＤＳ８
１および顔輪郭形状データＤＳ８３とする。

【００４３】＜3.9 ＦＷ（Ｆace Ｗork）座標変換機能
Ｆ９＞ＦＷ座標変換機能Ｆ９は、外周平滑化機能Ｆ８で
外周平滑化処理された第１の形状データＤＳ８１、顔輪
郭形状データＤＳ８３、および、疑似両眼形状設定機能
Ｆ６で生成された疑似両眼形状データＤＳ６に対して、
これらのデータが顔面を加工するワークの大きさに応じ
た形状データとなるように座標変換を施す。

【００４４】これにより、顔形状モデルを与える顔形状
データＤＳ９１、疑似両眼形状モデルを与える疑似両眼
形状データＤＳ９２、および、顔輪郭近傍形状モデルを
与える顔輪郭近傍形状データＤＳ９３が最終的に得られ
る。これらの形状データＤＳ９１，ＤＳ９２，ＤＳ９３
が加工済の３次元形状データとなる。

【００４５】＜４． 距離画像データ生成機能Ｆ１の詳
細＞ ＜4.1 機能の概略＞図６は図５の距離画像データ生成
機能Ｆ１の機能構成およびデータの流れの概略を示すブ
ロック図である。すなわち、３次元形状データ処理装置
４０は３次元データ生成装置として機能するために図６
に示す各構成を有している。なお、図６に示す構成は、
３次元形状データ処理装置４０内の専用の電気回路とし
て構築されていてもよく、汎用のコンピュータシステム
において所定のプログラムが実行されることにより実現
される構成となっていてもよい。

【００４６】図７は機能Ｆ１にて実行される処理の概略
を示す流れ図である。距離画像データの生成の際には、
まず、カラー画像データＤＣ１が示す２次元カラー画像
が領域分割部Ｆ１１により複数の領域に分割される（ス
テップＳ１）。すなわち、複数の領域が決定される。具
体的には、人物の背景に配置された背景幕に相当する領
域（以下、「背景幕領域」という。）、２次元カラー画
像中の人物の肌に相当する領域（以下、「２次元肌領
域」という。）、および、その他の領域に分割される。

【００４７】２次元カラー画像が複数の領域に分割され
ると、カラー画像データＤＣ１および各領域に関する情
報ＤＲが部分距離画像生成部Ｆ１２に入力され、各領域
が３次元の距離画像（以下、各領域に対応する距離画像
を「部分距離画像」という。）に変換される。これによ
り、２次元カラー画像が複数の部分距離画像により構成
される距離画像へと変換される。その結果、距離画像を
規定する距離画像データＤＳ３が生成される。なお、部
分距離画像の生成の際には、切換部Ｆ１３により各領域
ごとに異なった変換方法にて部分距離画像が生成され
る。

【００４８】その後、必要に応じて複数の部分距離画像
の位置関係が修正部Ｆ１４により修正され、最終的な距
離画像データＤＳ３とされる（ステップＳ２）。

【００４９】以下、図７中の各ステップについて詳説す
る。

【００５０】＜4.2 ２次元画像の領域分割＞図８は領
域分割部Ｆ１１により実行される２次元カラー画像の領
域分割（ステップＳ１）の処理のおおよその流れを示す
流れ図である。

【００５１】２次元画像の領域分割では、まず、人間の
頭部の背後に位置する背景幕（例えば、ブルーの背景
幕）に相当する２次元カラー画像中の領域が背幕幕領域
として抽出される（ステップＳ１１）。一方、背景幕領
域の抽出とは別に、頭部の肌に相当する領域が２次元肌
領域として抽出される（ステップＳ１３）。

【００５２】背景幕領域と２次元肌領域とが抽出される
と、最後に、これらの領域以外の領域としてその他の領
域が抽出される（ステップＳ１５）。なお、本実施の形
態の場合、２次元カラー画像が人間の頭部を撮影したも
のであることから、その他の領域は主として頭部の髪の
領域に相当する領域となる。

【００５３】以下、各領域の抽出処理について順に説明
する。なお、以下の説明に対応する流れ図中に各ステッ
プにて参照される情報も適宜示す。

【００５４】＜4.2.1 背景幕領域の抽出の詳細＞図９
は背景幕領域の抽出（図８：ステップＳ１１）における
処理の流れを示す流れ図である。背景幕領域の抽出で
は、まず、設定ファイルから背景とすべき色の統計デー
タと背景幕領域とすべきマハラノビス距離が読み込まれ
て参照され、２次元カラー画像の各画素について所定の
マハラノビス距離の範囲内にある画素の画素値を１と
し、他の画素の画素値を０とする２値画像が生成される
（ステップＳ１１１）。

【００５５】統計データとしては、背景幕のＲＧＢ空間
における色分布の平均値と共分散行列の逆行列が参照さ
れる。また、マハラノビス距離とは、対象となる画素の
ＲＧＢ各色の値を表す行列をｘ、各色の平均値を表す行
列をαとし（ｘ、αはいずれも３行１列であるものとす
る。）、ＲＧＢに関する共分散行列の逆行列をΣ^-1とし
て、

【００５６】

【数１】

【００５７】にて求められる距離である。すなわち、マ
ハラノビス距離とは画像中の各画素値のＲＧＢ空間にお
ける広がりを考慮した上での平均値からの距離を表す値
である。

【００５８】次に、生成された２値画像において、画素
値が１（または０）の画素に対する収縮処理および膨張
処理を行い、微小なノイズ成分を除去する（ステップＳ
１１２）。その後、ラベリング（画素値が１のクラスタ
にラベリングを行うものとし、以下同様である。）を行
い、独立した領域である各クラスタを識別可能とする
（ステップＳ１１３）。

【００５９】図１０はステップＳ１１３の段階での２値
画像を模式的に示す図である。なお、以下の説明におけ
る２値画像の図では、画素値が０の領域に平行斜線を付
す。

【００６０】図１０に示すように、２値画像中の左隅の
上下に伸びる矩形領域および右隅の上下に伸びる矩形領
域が背景幕判定用領域ＢＡ１，ＢＡ２として予め定めら
れている。そして、背景幕判定用領域ＢＡ１に掛かるク
ラスタＣＬ１中の画素値を１とし、他の領域の画素値を
全て０とする２値画像が求められる（ステップＳ１１
４）。図１１はこのようにして得られる２値画像を示す
図である。

【００６１】同様に、背景幕判定用領域ＢＡ２に掛かる
クラスタＣＬ２中の画素値を１とし、他の領域の画素値
を全て０とする２値画像が求められる（ステップＳ１１
５）。図１２はこのようにして得られる２値画像を示す
図である。

【００６２】その後、ステップＳ１１４およびステップ
Ｓ１１５で得られた２つの２値画像のＯＲ演算処理が行
われる（ステップＳ１１６）。図１３はＯＲ演算処理に
より得られる２値画像を示す図である。以上の処理によ
り、クラスタＣＬ１，ＣＬ２の双方に含まれない領域が
強制的に０とされ、図１０中の頭部に相当する領域にノ
イズ成分が存在していたとしても強制的に除去される。

【００６３】次に、ステップＳ１１６で得られた２値画
像に対して画素値が１の領域の膨張処理が行われる（ス
テップＳ１１７）。この処理により、頭部に対応する領
域の境界が図１４の符号Ｂ１１にて示す境界から符号Ｂ
１２にて示す境界へと移動する。その結果、２次元カラ
ー画像中において背景幕の色と頭部の色とが混ざってい
る領域が取り除かれ、背景側の領域となる。

【００６４】次に、ステップＳ１１７で得られた２値画
像の画素値を反転する（ステップＳ１１８）。そして、
得られた２値画像にラベリングを行い（ステップＳ１１
９）、図１５に示すように予め定められている肌領域判
定用領域ＦＡに掛かっているクラスタＣＬ３の画素値の
みを１とする２値画像を得る（ステップＳ１２０）。さ
らに、ステップＳ１２０で得られた２値画像の画素値を
反転し（ステップＳ１２１）、図１６に示すように背景
幕領域を画素値が１の領域として抽出する。ステップＳ
１１８〜Ｓ１２１の処理により、背景幕領域とすべき領
域内に存在しているノイズ成分が強制的に除去される。

【００６５】＜4.2.2 ２次元肌領域の抽出の詳細＞背
景幕領域の抽出が完了すると次に、２次元カラー画像の
２次元肌領域の抽出が行われる（図８：ステップＳ１
３）。図１７は２次元肌領域の抽出の流れを示す流れ図
である。図１７に示すように、２次元肌領域の抽出は背
景幕領域の抽出と類似した処理となっている。

【００６６】まず、所定の設定ファイルから２次元肌領
域の色の統計データ（すなわち、色の平均値および共分
散行列の逆行列）およびマハラノビス距離が参照され、
２次元カラー画像中において所定のマハラノビス距離以
下の距離となるＲＧＢ値を有する画素の画素値を１、他
の画素の画素値を０とする２値画像が生成される（ステ
ップＳ１３１）。そして、画素の収縮処理および膨張処
理が行われて微小なノイズ成分が除去される（ステップ
Ｓ１３２）。

【００６７】次に、得られた２値画像に対してラベリン
グを行い（ステップＳ１３３）、図１８に示すように肌
領域判定用領域ＦＡに掛かっているクラスタＣＬ４の画
素値のみを１とする２値画像を得る（ステップＳ１３
４）。また、以上の処理により得られた２値画像はステ
ップＳ１１で求めた背景幕領域と重なる領域を有するお
それがあるため、背景幕領域と重なる領域（図１８中、
符号ＦＥにて例示する。）が削除される（ステップＳ１
３５）。これにより、ほぼ２次元肌領域とすべき領域が
抽出される。なお、領域ＦＥは背景幕領域において削除
されてもよい。

【００６８】ほぼ２次元肌領域とすべき領域が抽出され
ると、画素値を反転した上で（ステップＳ１３６）、ス
テップＳ１１３〜Ｓ１１６と同様の処理をしてクラスタ
ＣＬ４内部に存在するノイズ成分が強制的に除去され
る。すなわち、ラベリングを行い（ステップＳ１３
７）、左隅の背景幕判定用領域ＢＡ１に掛かっているク
ラスタの画素値のみを１とする２値画像と、右隅の背景
幕判定用領域ＢＡ２に掛かっているクラスタの画素値の
みを１とする２値画像とを取得し（ステップＳ１３８，
Ｓ１３９）、これらの２値画像をＯＲ演算処理してクラ
スタＣＬ４内部の画素値を全て０とする（ステップＳ１
４０）。その後、得られた２値画像の画素値を反転する
ことにより、画素値が１の領域が２次元肌領域として抽
出される（ステップＳ１４１）。

【００６９】＜4.2.3 その他の領域の抽出の詳細＞背
景幕領域および２次元肌領域の抽出が完了すると、次
に、その他の領域の抽出が行われる（図８：ステップＳ
１５）。図１９はその他の領域の抽出の流れを示す流れ
図である。

【００７０】その他の領域の抽出では、まず、２次元カ
ラー画像の全領域から背景幕領域が除去される（ステッ
プＳ１５１）。すなわち、背景幕領域以外の領域の画素
値が１となる２値画像が生成される。これにより、およ
そ人物に相当する領域のみが抽出される。

【００７１】次に、得られた２値画像の画素値が１の領
域から２次元肌領域が除去される（ステップＳ１５
２）。これにより、背景幕領域および２次元肌領域以外
の領域の画素値が１の２値画像が得られる。本実施の形
態では、２次元カラー画像として人物の頭部の画像を扱
うので、以上の処理により、およそ頭部の髪の領域がそ
の他の領域として抽出される。

【００７２】＜５． 部分距離画像の生成＞２次元カラ
ー画像から画素値の性質（すなわち、色の分布）に基づ
いて背景幕領域、２次元肌領域およびその他の領域を示
す２値画像が生成されると、次に、これらの領域を部分
距離画像に変換することにより、２次元カラー画像が距
離画像に変換され、距離画像データＤＳ３が生成される
（図７：ステップＳ２）。２次元カラー画像の距離画像
への変換は各領域に対して異なる変換方法にて行われ
る。すなわち、図６に示す構成において、領域ごとに切
換部Ｆ１３が変換方法を切り換えつつ部分距離画像生成
部Ｆ１２による部分距離画像の生成が行われる。

【００７３】図２０は部分距離画像の生成の処理の流れ
の様子を示す流れ図であり、ステップＳ２２において背
景幕領域の変換が行われ、ステップＳ２３〜Ｓ２５にお
いて２次元肌領域の変換が行われ、ステップＳ２６，Ｓ
２７においてその他の領域の変換が行われる。

【００７４】部分距離画像の生成に際して、まず、２次
元カラー画像が輝度画像（いわゆる、グレー画像）に変
換される（ステップＳ２１）。輝度画像への変換は２次
元カラー画像の各画素のＲ，Ｇ，Ｂ値に所定の演算を施
して輝度値を求めることにより行われる。

【００７５】輝度画像が生成されると、次に、背景幕領
域についての部分距離画像が生成される（ステップＳ２
２）。背景幕領域は実際に材料が加工される際の人物の
背後に位置する面となる領域であり（図４：ステップＳ
Ｔ３０参照）、背景幕領域はこの面（以下、「基準面」
という。）からの高さが０の部分距離画像へと変換され
る。

【００７６】次に、輝度画像における２次元肌領域の輝
度の補正が行われる（ステップＳ２３）。この輝度の補
正は２次元肌領域の中間調の輝度変化を強調することで
生成される部分距離画像の凹凸を強調するために行われ
るものであり、具体的には、図２１に示すグラフ（補正
の際のルックアップテーブルとなる。）のように、輝度
として取りうる値の最小値を０と表現し、最大値を１０
０と表現する場合に、元の輝度および補正後の輝度をそ
れぞれ入力輝度および出力輝度として、

【００７７】

【数２】

【００７８】の画素の出力輝度を０とし、

【００７９】

【数３】

【００８０】の画素の出力輝度を１００とし、

【００８１】

【数４】

【００８２】の画素の出力輝度を、

【００８３】

【数５】

【００８４】とする。

【００８５】さらに、部分距離画像への変換のための基
準となる値（以下、「基準値」という。）として、２次
元肌領域の補正後の輝度画像における輝度の最大値およ
び最小値が取得される（ステップＳ２４）。これらの基
準値は２次元肌領域から部分距離画像を生成する際に用
いられるものであり、所定の記憶手段に記憶される。

【００８６】輝度補正および基準値の取得が完了する
と、補正された輝度画像の各画素の輝度が上述の基準面
からの高さに変換され、部分距離画像への変換が行われ
る（ステップＳ２５）。すなわち、

【００８７】

【数６】

【００８８】により、基準面からの最大の高さがｈとな
るように高さ０からｈまでの間に部分距離画像の画素が
生成される。これにより、図２２に示すように基準面６
１上に人間の頭部の肌の領域の形状が生成される。

【００８９】２次元肌領域の部分距離画像が生成される
と、最後に、その他の領域の部分距離画像への変換が行
われる（ステップＳ２６，Ｓ２７）。その他の領域の部
分距離画像への変換の際には、輝度画像の補正は行われ
ずにその他の領域の輝度の最大値および最小値が基準値
として取得され（ステップＳ２６）、これらの基準値を
用いて、

【００９０】

【数７】

【００９１】により基準面６１からの高さが求められ
る。なお、数７は数６と基準値が異なる点を除いて同様
であり、その他の領域は基準面６１に対する高さ０から
ｈまでの間の部分に収まる部分距離画像へと変換される
（ステップＳ２７）。

【００９２】なお、その他の領域は本実施の形態の場
合、主として頭部の髪の領域となることから、ステップ
Ｓ２７により図２２に示すように人間の髪の領域の形状
が生成される。

【００９３】以上の処理により、背景幕領域、２次元肌
領域およびその他の領域の部分距離画像が生成され、こ
れにより、頭部全体の距離画像を規定する距離画像デー
タＤＳ３が生成される。また、各領域の部分距離画像へ
の変換はそれぞれ異なる方法で行われる。これにより、
領域ごとに適切な部分距離画像が生成される。

【００９４】すなわち、背景幕領域は単に基準面６１か
らの高さが０となる部分距離画像に変換され、２次元肌
領域やその他の領域とは全く異なる変換が行われる。こ
れに対して、２次元肌領域の変換はその他の領域の変換
に比べて輝度画像の特性を変更してから変換を行うとい
う点で異なる。また、２次元肌領域の変換とその他の領
域の変換とは、それぞれ独立して変換パラメータとなる
基準値を求めた上で行われるので、各領域ごとに適切な
変換が行われる。

【００９５】なお、変換の際の基準値は各領域ごとに完
全に独立したものである必要はなく、他の領域の画素値
に基づく基準値が利用されてもよい。また、基準値は既
述のものに限定されるものでなく、どのようなものが利
用されてもよい。例えば、２次元肌領域とその他の領域
の輝度の平均値の逆数を基準値として用いることによ
り、２次元肌領域よりも暗いその他の領域を適切な高さ
に変換することができる。

【００９６】このように、変換の基本的方式あるいは変
換特性を領域ごとに変化させることにより、各領域が適
切な部分距離画像へと変換され、背景および人物の形状
全体を適切に表現する距離画像データＤＳ３を生成する
ことができる。

【００９７】距離画像データＤＳ３が生成されると、次
に、必要に応じて修正が行われる。具体的には、２次元
肌領域からの部分距離画像（以下、「肌領域距離画像」
という。）とその他の領域の部分距離画像（以下、「髪
領域距離画像」という。）の高さ方向の位置合わせが行
われる（ステップＳ２８）。既述のように、これらの部
分距離画像は基準面６１に対して高さ０からｈまでに収
まるように生成したものであり、肌領域距離画像と髪領
域距離画像との基準面６１に対する高さが不自然にずれ
ている可能性があるからである。

【００９８】距離画像データＤＳ３の修正としては、例
えば、図２３に示すように、肌領域距離画像における髪
領域距離画像側の境界線６３１と髪領域距離画像におけ
る肌領域距離画像側の境界線６３２との不一致により生
じる境界面（図２３中平行斜線を付す面）の面積が最小
となるように、肌領域距離画像と髪領域距離画像との高
さ方向の相対的位置関係が修正される。あるいは、図２
４に示すように、髪領域距離画像の境界線６３２の全て
が肌領域距離画像の境界線６３１の上側に位置するよう
に両距離画像の相対的位置関係が修正される。

【００９９】このように、部分距離画像間の境界に基づ
いて位置関係を修正することにより、肌領域距離画像が
髪領域距離画像から大きくずれてしまうことを防止する
ことができ、自然な距離画像を生成することができる。

【０１００】以上の処理により修正された距離画像デー
タＤＳ３は、その後、既に説明したようにさらなる処理
が施され（図５参照）、加工装置１７２による加工デー
タとして用いられる。

【０１０１】＜６． 変形例＞以上、この発明の実施の
形態について説明してきたが、この発明は上記実施の形
態に限定されるものではなく様々な変形が可能である。

【０１０２】例えば、上記実施の形態では２次元のカラ
ー画像データＤＣ１から背景幕領域や２次元肌領域の抽
出を行っているが、元となる２次元画像データはカラー
画像データに限定されるものではなく、モノクロ画像デ
ータであってもよい。この場合には、例えば、画像中の
各微小領域の空間周波数が背景幕領域や２次元肌領域と
すべき空間周波数の範囲内であるか否かにより領域を抽
出することができる。

【０１０３】また、上記実施の形態では、２次元肌領域
およびその他の領域の部分距離画像への変換の際に各領
域の輝度を利用しているが、輝度を求める方法は様々な
演算手法を適用することができる。また、変換の際に利
用される基準値も輝度から求められる基準値に限定され
るものではなく、各領域の画素の画素値に基づいて求め
られる基準値が利用可能である。また、変換の関数とし
ても様々なものが用いられてよく、例えば、人間の頭部
である対象物表面の拡散反射成分および正反射成分を考
慮した演算や照明条件を考慮した演算を採用してもよ
い。

【０１０４】また、輝度を基準面からの高さに変換する
変換も上記実施の形態に限定されるものではなく、例え
ば、輝度と高さとの関係が非線形になる変換を行い、基
準面からの高さが高いほど輝度の変化が部分距離画像の
形状に影響を与えにくくなるようにしてもよい。

【０１０５】また、２次元肌領域およびその他の領域の
輝度と基準面からの高さとの関係を実測にて予めデータ
化しておき、このデータに基づいてこれらの領域の部分
距離画像が生成されてもよい。

【０１０６】なお、レリーフ状の頭部の距離画像が生成
される場合には、カラー画像データＤＣ１から距離画像
データＤＳ３への変換の精度が低い場合であっても誤差
の影響は目立たなくなる。

【０１０７】また、上記実施の形態では、図６に示すよ
うに切換部Ｆ１３が変換方法を切り換えながら部分距離
画像生成部Ｆ１２により部分距離画像が生成されると説
明したが、実質的に同等の他の構成に変更することも可
能である。例えば、変換方法が異なる複数の部分距離画
像生成部Ｆ１２を設け、切換部Ｆ１３が領域ごとの画像
を切り換えながら複数の部分距離画像生成部Ｆ１２に与
えるようにしてもよい。もちろん、これらの構成は物理
的構成として明確に存在している必要はなく、各構成の
機能を実現する電気的回路あるいはソフトウェアにより
動作する構成が３次元形状データ処理装置４０に備えら
れていればよい。

【０１０８】

【発明の効果】請求項１に記載の発明では、複数の領域
のそれぞれを適切な３次元部分画像とすることができ、
適切な３次元データを生成することができる。

【０１０９】また、請求項２に記載の発明では、複数の
領域を決定することができ、請求項３に記載の発明で
は、人間の頭部画像から適切な３次元データを生成する
ことができる。

【０１１０】また、請求項４に記載の発明では、複数の
領域のそれぞれを３次元部分画像に変換する変換特性を
各領域の画素値に基づいて変更することができ、請求項
５に記載の発明では、輝度に基づいて適切な３次元デー
タを生成することができる。

【０１１１】さらに、請求項６に記載の発明では、複数
の３次元部分画像の位置関係を適切に決定することがで
きる。

【０１１２】請求項７に記載の発明では、第１および第
２の領域のそれぞれを適切な３次元部分画像とすること
ができ、適切な３次元データを生成することができる。

【図面の簡単な説明】

【図１】この発明に係る実施の形態である立体模型作成
装置の外観図である。

【図２】操作パネルの平面図である。

【図３】立体模型作成装置の機能ブロック図である。

【図４】立体模型作成装の概略の動作の流れを示す流れ
図である。

【図５】３次元形状データ処理機能を示すブロック図で
ある。

【図６】図５中の距離画像データ生成機能の構成を示す
ブロック図である。

【図７】距離画像データの生成処理の流れを示す流れ図
である。

【図８】２次元画像の領域分割処理の流れを示す流れ図
である。

【図９】図８中の背景幕領域の抽出処理の流れを示す流
れ図である。

【図１０】背景幕領域の抽出処理を説明するための図で
ある。

【図１１】背景幕領域の抽出処理を説明するための図で
ある。

【図１２】背景幕領域の抽出処理を説明するための図で
ある。

【図１３】背景幕領域の抽出処理を説明するための図で
ある。

【図１４】背景幕領域の抽出処理を説明するための図で
ある。

【図１５】背景幕領域の抽出処理を説明するための図で
ある。

【図１６】背景幕領域の抽出処理を説明するための図で
ある。

【図１７】図８中の２次元肌領域の抽出処理の流れを示
す流れ図である。

【図１８】２次元肌領域の抽出処理を説明するための図
である。

【図１９】図８中のその他の領域の抽出処理の流れを示
す流れ図である。

【図２０】図７中の距離画像への変換処理の流れを示す
流れ図である。

【図２１】輝度の変換特性を示すグラフである。

【図２２】複数の部分距離画像の例を示す断面図であ
る。

【図２３】部分距離画像間の位置関係の修正例を示す図
である。

【図２４】部分距離画像間の位置関係の修正例を示す図
である。

【図２５】(a)および(b)は２次元画像の例を示す図であ
り、(c)は２次元画像から生成される距離画像の例を示
す図である。

【符号の説明】

４０ ３次元形状データ処理装置 ６３１，６３２ 境界線 ＤＣ１ カラー画像データ ＤＳ３ 距離画像データ Ｆ１１ 領域分割部 Ｆ１２ 部分距離画像生成部 Ｆ１３ 切換部 Ｆ１４ 修正部 Ｓ２１〜Ｓ２７ ステップ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 形状を表す３次元データを生成する３次
   元データ生成装置であって、 ２次元データが規定する２次元画像の複数の領域のそれ
   ぞれを３次元部分画像に変換することにより前記３次元
   データを生成する変換手段と、 前記変換手段による変換方法を異なる変換方法に切り換
   える切換手段と、を備えることを特徴とする３次元デー
   タ生成装置。
2. 【請求項２】 請求項１に記載の３次元データ生成装置
   であって、 前記２次元画像から前記複数の領域を決定する領域決定
   手段、をさらに備えることを特徴とする３次元データ生
   成装置。
3. 【請求項３】 請求項１または２に記載の３次元データ
   生成装置であって、 前記２次元画像が人間の頭部画像であり、前記複数の領
   域に前記頭部画像の肌領域および髪領域が含まれること
   を特徴とする３次元データ生成装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の３
   次元データ生成装置であって、 前記変換手段が、前記複数の領域の画素値から求められ
   る基準値に基づいて変換を行うことを特徴とする３次元
   データ生成装置。
5. 【請求項５】 請求項１ないし４のいずれかに記載の３
   次元データ生成装置であって、 前記変換手段が、前記複数の領域中の画素の輝度に基づ
   いて変換を行うことを特徴とする３次元データ生成装
   置。
6. 【請求項６】 請求項１ないし５のいずれかに記載の３
   次元データ生成装置であって、 前記複数の領域に対応する複数の３次元部分画像間の境
   界に基づいて、前記複数の３次元部分画像の位置関係を
   決定する手段、をさらに備えることを特徴とする３次元
   データ生成装置。
7. 【請求項７】 形状を表す３次元データを生成する３次
   元データ生成方法であって、 ２次元データが規定する２次元画像の第１の領域に第１
   の変換を施すことにより３次元部分画像を生成する工程
   と、 前記２次元画像の第２の領域に前記第１の変換とは異な
   る第２の変換を施すことにより３次元部分画像を生成す
   る工程と、を有することを特徴とする３次元データ生成
   方法。