JP2000321050A

JP2000321050A - ３次元データ取得装置および３次元データ取得方法

Info

Publication number: JP2000321050A
Application number: JP11133622A
Authority: JP
Inventors: Shinichi Ban; 慎一伴; Koji Fujiwara; 浩次藤原
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1999-05-14
Filing date: 1999-05-14
Publication date: 2000-11-24

Abstract

(57)【要約】【課題】３次元計測装置により人間の頭部の計測形状
データを取得し、髪領域の計測不能な部分を２次元カラ
ー画像から生成した頭部髪領域形状データで補う際に形
状データの精度の相違から生じる髪領域内の段差をなく
す。【解決手段】合成の際に、計測形状データの主要部以
外の部分を削除し、さらに、計測形状データと頭部髪領
域形状データとの重複部分を計測形状データから削除し
た上で（ステップＳ１４１２）、計測形状データと頭部
髪領域形状データとを合成する（ステップＳ１４１
３）。これにより、頭部髪領域の形状を頭部髪領域形状
データにのみ基づく形状とすることができ、合成後の形
状データに基づく形状モデルにおいて髪領域内に段差が
生じない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物の形状を示
す３次元データを取得する３次元データ取得装置および
３次元データ取得方法に関するものであり、例えば、人
間の頭部の模型の作成に利用される。

【０００２】

【従来の技術】可搬型の非接触式３次元計測装置（いわ
ゆる、レンジファインダ）が商品化され、ＣＧシステム
やＣＡＤシステムへのデータ入力、身体計測、ロボット
の視覚認識などに利用されている。非接触の計測方法と
しては、スリット光投影法（または、光切断法）が一般
的であるが、他にもパターン光投影法、ステレオ視法、
干渉縞法などが知られている。

【０００３】一方、利用客の顔写真シールをその場で作
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画像を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。

【０００４】

【発明が解決しようとする課題】上述の３次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種物体の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。

【０００５】しかし、特にスリット光などの参照光を投
射する光学式の３次元計測では、人体の頭部の髪の領域
の形状を正確に計測できない場合がある。つまり、黒髪
では参照光の反射率が低いので、レンジファインダの受
光量が不十分になって計測値が欠落し易い。また、へア
ースタイルの影響も大きい。このため、人体頭部の形状
モデルの作成に際して、髪の領域が再現されなかったり
不完全になったりするという問題があった。

【０００６】そこで、髪の領域の３次元計測を他の手法
により行い、この他の手法により得られる３次元データ
を３次元計測装置からの高解像度の３次元データと合成
するという手法が考えられる。しかしながら、複数の異
なる手法により得られる３次元データは一般に解像度が
異なるため、３次元計測装置からの高解像度の３次元デ
ータを優先して合成すると、得られる形状モデルにおい
て合成の境界部分が不自然な形状となってしまう。

【０００７】例えば、３次元計測装置にて３次元計測を
行って図３７に例示するような高解像度の３次元データ
を取得し、さらに、２次元画像を用いて図３８に例示す
るような解像度の低い髪の領域の３次元データを生成
し、これらの３次元データを高解像度のデータを優先し
つつ合成すると図３９に例示する人間の頭部全体の３次
元形状モデルが得られる。

【０００８】ところが、図３７に示すように、３次元計
測装置による３次元計測では、符号Ｅ１にて示す髪飾り
部分、符号Ｅ２にて示す髪の一部、符号Ｅ３にて示す襟
の一部などにように、頭部の肌以外の領域も一部適切な
計測結果として取得される。したがって、高解像度の３
次元データが存在しない領域を解像度の低い３次元デー
タで補おうとすると、図３９に例示するように、髪の領
域には解像度の高い領域と解像度の低い領域とが存在す
ることとなり、これらの領域の境界（図３９中、符号Ｅ
４にて例示する。）には段差が生じる。その結果、最終
的に生成される形状モデルは不自然なものとなる。

【０００９】本発明は、上記問題に鑑みなされたもので
あり、複数の手法により得られる３次元データを合成す
るに際して、合成後の３次元データを適切なものとする
ことを目的としている。

【００１０】

【課題を解決するための手段】請求項１の発明は、対象
物の形状を表す３次元データを取得する３次元データ取
得装置であって、第１計測法にて前記対象物を計測し、
当該第１計測法にて有効な計測が可能である前記対象物
上の第１領域の３次元データを第１データとして取得す
る第１計測手段と、第２計測法にて前記対象物を計測
し、当該第２計測法にて有効な計測が可能である前記対
象物上の第２領域の３次元データを前記第１データより
も精度の低い第２データとして取得する第２計測手段
と、前記第１領域および前記第２領域の双方に含まれる
領域の少なくとも一部において前記第２データを優先さ
せつつ前記第１データおよび前記第２データを合成する
合成手段とを備える。

【００１１】請求項２の発明は、対象物の形状を表す３
次元データを取得する３次元データ取得装置であって、
第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測手段
と、第２計測法にて前記対象物を計測し、当該第２計測
法にて有効な計測が可能である前記対象物上の第２領域
の３次元データを前記第１データよりも精度の低い第２
データとして取得する第２計測手段と、前記第１データ
が表す形状の主要部に相当するデータと前記第２データ
とを合成する合成手段とを備える。

【００１２】請求項３の発明は、請求項１または２に記
載の３次元データ取得装置であって、前記第２計測手段
が、前記対象物の画像である２次元データを取得する手
段と、前記２次元データに基づいて前記第２データを生
成する手段とを有する。

【００１３】請求項４の発明は、請求項１ないし３のい
ずれかに記載の３次元データ取得装置であって、前記第
１領域および前記第２領域の双方に含まれる領域の前記
第２領域に対する割合に応じて前記合成手段による合成
を行うか否かを判断する手段をさらに備える。

【００１４】請求項５の発明は、前記対象物を人間の頭
部とする請求項１ないし４のいずれかに記載の３次元デ
ータ取得装置であって、前記第１領域が主として前記頭
部の肌領域であり、前記第２領域が前記頭部の髪領域で
ある。

【００１５】請求項６の発明は、請求項５に記載の３次
元データ取得装置であって、前記対象物上の合成後の前
記第１データに相当する領域と合成後の前記第２データ
に相当する領域との境界を前記対象物の内側または外側
へと変形するように前記合成手段により生成されたデー
タを修正する境界強調手段をさらに備える。

【００１６】請求項７の発明は、対象物の形状を表す３
次元データを取得する３次元データ取得方法であって、
第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測工程
と、第２計測法にて前記対象物を計測し、当該第２計測
法にて有効な計測が可能である前記対象物上の第２領域
の３次元データを前記第１データよりも精度の低い第２
データとして取得する第２計測工程と、前記第１領域お
よび前記第２領域の双方に含まれる領域の少なくとも一
部において前記第２データを優先させつつ前記第１デー
タおよび前記第２データを合成する合成工程とを有す
る。

【００１７】請求項８の発明は、対象物の形状を表す３
次元データを取得する３次元データ取得方法であって、
第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測工程
と、第２計測法にて前記対象物を計測し、当該第２計測
法にて有効な計測が可能である前記対象物上の第２領域
の３次元データを前記第１データよりも精度の低い第２
データとして取得する第２計測工程と、前記第１データ
の主要部に相当するデータと前記第２データとを合成す
る合成工程とを有する。

【００１８】

【発明の実施の形態】＜１．装置構成＞＜1.1 全体構成＞図１は本発明に係る３次元データ取
得装置として機能を含む立体模型作成装置１の外観図で
ある。立体模型作成装置１は、対象物である物体の形状
を計測し、その計測データに基づいて素材をその場で加
工する機能を有しており、利用客の顔をかたどった小物
品の自動販売機として使用される。作成される物品は、
所定形状（例えば、四角形）の板面から顔面（頭髪を含
む）の模型が突き出た立体である。板面（背景部分）に
特定の起伏模様を付加することも可能である。このよう
な物品に適当な金具を取り付ければ、ペンダント、ブロ
ーチ、キーホルダなどのアクセサリーとなる。あらかじ
め素材に金具を取り付けておいてもよい。

【００１９】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、投光窓１２および受光窓１４，１５Ａ，１５Ｂが
設けられている。投光窓１２および受光窓１４を用いて
光学式の３次元計測が行われる。受光窓１４は正面方向
の２次元カラー撮影にも用いられる。受光窓１５Ａ，１
５Ｂは本発明に特有の斜め方向の２次元カラー撮影に用
いられる。筐体１０の下半部は上半部よりも前方側に張
り出しており、その上面が操作パネル１８となってい
る。商品の取出口２０は下半部の前面に設けられてい
る。

【００２０】図２は立体模型作成装置１の使用状態の模
式図である。立体模型作成装置１の前方に例えばブルー
の背景幕２が配置されている。利用客３は背景幕２を背
にして立体模型作成装置１に向かって立ち、料金分の硬
貨を投入する。その後に利用客３がスタート操作を行う
と、立体模型作成装置１は正面の一定範囲内に存在する
物体の形状を計測して利用客３の頭部の３次元データを
取得するとともに、計測結果を示す３次元形状モデル
（例えば、サーフェスモデル）を表示する。そして、利
用客３が確認操作を行うと、立体模型作成装置１は計測
結果に応じた３次元加工を開始する。数分程度の時間で
商品が完成する。利用客３は取出口２０から商品を取り
出す。

【００２１】図３は操作パネル１８の平面図である。操
作パネル１８には、スタートボタン１８１、確認ボタン
１８２、キャンセルボタン１８３、ジョイスティック１
８４および硬貨の投入口１８５が設けられている。スタ
ートボタン１８１はスタート操作手段であり、確認ボタ
ン１８２は確認操作手段である。ジョイスティック１８
４は模型の構図の変更指示に用いられる。左右に傾ける
パーン操作、上下に傾けるチルト操作およびノブを回転
させるロール操作に呼応して３次元形状モデルの回転処
理が行われ、処理結果が逐次に表示される。また、キャ
ンセルボタン１８３は、利用客３が表示された３次元形
状モデルが気に入らないときなどに再計測を指示するた
めの操作手段である。ただし、キャンセルボタン１８３
には有効回数が設定されており、無制限に再計測を指示
することはできない。

【００２２】図４は立体模型作成装置１の機能ブロック
図である。立体模型作成装置１は、人間の頭部の形状を
表す３次元データを取得して模型サイズの３次元形状モ
デルを生成するモデリングシステム１Ａと、３次元形状
モデルを顕在化する加工システム１Ｂとから構成されて
いる。

【００２３】モデリングシステム１Ａは、オリジナル物
体である利用客３の外観情報をディジタルデータに変換
（以下、この変換を「データ化」という。）する撮影シ
ステム３０を含んでいる。撮影システム３０は、スリッ
ト光投影法で対象物の形状をデータ化する３次元計測装
置３４、色情報をデータ化する計３個の２次元撮影装置
（主カメラ３６、補助カメラ３７Ｌ，３７Ｒ）、およ
び、コントローラ３８からなる。なお、３次元計測にス
リット光投影法に代えて他の光学式手法を用いてもよ
い。３次元計測装置３４により取得される３次元データ
である形状データ（以下、「計測形状データ」とい
う。）ＤＳ、主カメラ３６の撮影情報であるカラー画像
データＤＣ１、および、各補助カメラ３７Ｌ，３７Ｒの
撮影情報であるカラー画像データＤＣ２，ＤＣ３はデー
タ処理装置４０に入力される。

【００２４】３次元計測と２次元撮影とのカメラ座標の
相対関係は既知であるので、計測形状データＤＳに基づ
く３次元形状モデルと２次元撮影像とを位置合わせする
ことは容易である。データ処理装置４０は後述するデー
タ処理部４４を備えており、本発明に特有のデータ処理
を含む各種のデータ処理を行う。すなわち、データ処理
装置４０（特に、データ処理部４４）は２次元のカラー
画像データから３次元の形状データを生成する手段であ
り、解像度（すなわち、精度）の異なる複数の形状デー
タを合成する手段でもある。そして、合成された形状デ
ータ（以下、「合成形状データ」という。）ＤＭは加工
システム１Ｂへと転送される。

【００２５】データ処理装置４０のコントローラ４２
は、立体模型作成装置１の全体的な制御をも担い、撮影
システム３０のコントローラ３８および加工システム１
Ｂのコントローラ７６に適切な指示を与える。このコン
トローラ４２には、ディスプレイ１６および操作入力シ
ステム８０が接続されている。操作入力システム８０
は、上述の操作パネル１８と料金受領機構とからなる。

【００２６】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置７２、材料の加工位置へ
の供給と加工品の取出口２０への搬送を行う材料供給装
置７４、コントローラ７６、および、取出口センサ７８
を備えている。取出口センサ７８の検出信号はコントロ
ーラ４２に入力される。なお、撮影システム３０および
加工システム１Ｂの制御をコントローラ４２に受け持た
せ、コントローラ３８およびコントローラ７６を省略し
た回路構成を採用してもよい。

【００２７】図５は加工システム１Ｂの機構構成の一例
を示す斜視図である。材料供給装置７４は、計８種の形
状の材料を収納するストック部２１０を有している。収
納空間は直線状の移送路２１２の両側に設けられ、各側
の収納空間に移送路２１２に沿って４個ずつエレベータ
２２０が配置されている。各エレベータ２２０に同一種
類の複数個の材料が積み重ねられ、最上の材料が所定高
さに位置するようにエレベータ２２０の上下移動制御が
行われる。作成しようとする模型に適した一種類の材料
が指定されると、指定された材料がワーク２１６として
押出しロッド２１８によって収納空間から移送路２１２
へ送り出される。そして、移送路２１２上のワーク２１
６は、チャック付き移送ロッド２１４によって加工装置
７２のテーブル２００に送り込まれる。

【００２８】テーブル２００において、ワーク２１６は
２個のストッパ２０２とクランプ治具２０４とによって
固定される。そして、上下・左右・前後に移動可能な回
転軸２０６に取り付けられたエンドミルなどの刃物２０
８によって切削される。

【００２９】３次元加工が終了すると、ワーク２１６は
移送ロッド２１４の先端のチャックで挟持されて移送路
２１２の排出側の端部へ運ばれ、排出口２２２に送り込
まれる。移送ロッド２１４によらず、滑り台形式でワー
ク２１６をテーブル２００から排出口２２２へ移動させ
てもよい。

【００３０】加工システム１Ｂの機構構成は例示に限ら
ない。例えば、多段の各棚に同一種類の材料を水平方向
に並ベ、その配列方向の一端にエレベータを配置し、棚
からエレベータに材料を押し出すようにすれば、エレベ
ータ数を低減することができる。アームロボットによっ
てワークを収納位置→加工位置→排出位置へと運んでも
よい。切削に代えて、光造形法に代表される積層造形
法、レーザー加工などの熱加工、加圧による成型加工な
どの手法で模型を作成することも可能である。また、材
料形状については、利用客３が好みの外形を選択できる
ようにしてもよいし、予め標準的な顔の模型を作り込ん
だ複数種の材料から加工時間が最も短くなるものを自動
選択するようにしてもよい。

【００３１】以上の構成の立体模型作成装置１において
は、人間の頭部の３次元的な髪の領域（以下、「頭部髪
領域」という。）の輪郭が正しく再現された自然な顔面
模型を作成するため、３次元計測で得られた３次元形状
モデルを自動的に変形するデータ修正がデータ処理装置
４０によって行われる。すなわち、頭部髪領域のうちの
有効な計測値の得られないデータ欠落箇所の形状が、後
述する手法により複数の２次元画像に基づいて復元され
る。

【００３２】図６は２次元撮影のカメラおよび背景幕２
の配置関係を示す模式図である。利用客３の立つ空間に
ＸＹＺ座標系を設定する。Ｘ軸を左右方向に、Ｙ軸を前
後方向に、Ｚ軸を上下方向にとる。撮影位置は標準的な
操作姿勢に合わせて定められ、図６においてＺ軸は利用
客３の頭の中心軸と一致しており、背景幕２はＸ−Ｚ面
に平行に配置される。

【００３３】主カメラ３６および補助カメラ３７Ｌ，３
７Ｒは、Ｚ軸周りに放射状に配置され、それぞれの視線
（すなわち、受光軸）はＺ軸上の１点（例えば、座標原
点）で交わる。主カメラ３６の視線はＹ軸と一致してい
る。主カメラ３６に対する補助カメラ３７Ｌの視線の傾
き角度θ１および補助カメラ３７Ｒの視線の傾き角度θ
２は同一である。ただし、必ずしも傾き角度θ１，θ２
を同一にする必要はない。

【００３４】このようなカメラ配置において、主カメラ
３６は利用客３を真正面から撮影し、補助カメラ３７Ｌ
は利用客３をその左斜め前方から撮影し、補助カメラ３
７Ｒは利用客３をその右斜め前方から撮影する。なお、
各視線を水平面に対して傾けてもよく、その傾き角度を
カメラ毎に異なる値としてもよい。

【００３５】＜1.2 データ処理部の構成＞図７は本発
明に係るデータ処理を行うデータ処理部４４の機能構成
を示すブロック図である。データ処理部４４は主カメラ
３６および２つの補助カメラ３７Ｌ，３７Ｒからのカラ
ー画像データＤＣ１〜ＤＣ３の領域を人間の肌に相当す
る画像領域（以下、「２次元肌領域」という。）や髪に
相当する画像領域（以下、「２次元髪領域」という。）
などに分割する領域分割部４４１、２次元髪領域の複数
の輪郭に基づいて、実際の頭部髪領域の３次元形状を表
す形状データ（以下、「頭部髪領域形状データ」とい
う。）ＤＳ１を生成する形状データ生成部４４２を有す
る。領域分割部４４１および形状データ生成部４４２は
主カメラ３６および補助カメラ３７Ｌ，３７Ｒとともに
複数のカラー画像データＤＣ１〜ＤＣ３を取得して３次
元データを生成する手段を構成する。

【００３６】また、データ処理部４４は、３次元計測装
置３４からの計測形状データＤＳを適宜修正する前処理
部４４３、計測形状データＤＳと頭部髪領域形状データ
ＤＳ１とを合成するか否かを判断する合成判断部４４
４、２つの形状データＤＳ，ＤＳ１の合成を行う合成処
理部４４５、合成された形状データの合成の際の境界を
強調する境界強調部４４６、および、最終的なデータ修
正を行う後処理部４４７を有する。

【００３７】以上のように、データ処理部４４には３つ
のカラー画像データＤＣ１〜ＤＣ３から頭部髪領域形状
データＤＳ１を生成し、この頭部髪領域形状データＤＳ
１と計測形状データＤＳとを合成して合成形状データＤ
Ｍを生成するための様々な構成を有するが、これらの構
成は機能の面から模式的に示したにすぎず、実際には、
ＣＰＵ、メモリ、専用の画像処理回路などを備えたコン
ピュータ・システムとほぼ同様のアーキテクチャにより
実現される。もちろん、図７に示す各機能構成を実現す
る専用の電気的回路によりデータ処理部４４が構築され
ていてもよい。なお、データ処理部４４の各構成の動作
の詳細については後述する。

【００３８】＜２．装置動作＞＜2.1 動作の概要＞次に、図４および図７に示した構
成を参照しつつフローチャートによって立体模型作成装
置１の動作を説明する。

【００３９】図８は概略の動作を示すメインフローチャ
ートである。電源が投入された後、利用客による操作を
待つ待機期間において、コントローラ４２，３８により
２次元撮影と撮影結果の表示とが繰り返し行われる（ス
テップＳ１０，Ｓ１２，Ｓ１４）。また、定期的に案内
メッセージが表示される。利用客により料金が投入され
てスタートボタン１８１が押されると、改めて２次元撮
影が行われるとともに３次元計測が行われる（ステップ
Ｓ１６，Ｓ１８）。

【００４０】その後、データ処理部４４により形状デー
タの合成などの所定のデータ処理が行われ（ステップＳ
２０）、得られた合成形状データＤＭに基づく３次元形
状モデルがコントローラ４２により表示される（ステッ
プＳ２２）。このとき、影を付すといった公知のグラフ
ィック手法を適用して見栄えが高められる。そして、利
用客による指示操作を待つ。ただし、待ち時間は有限で
あり、時限を過ぎれば確認操作が行われたものとみなさ
れる。

【００４１】ジョイスティック１８４が操作されると、
コントローラ４２により上述のように３次元形状モデル
が操作に応じて回転されて表示される（ステップＳ２
４，Ｓ３８）。キャンセルボタン１８３が押されると、
待機期間の動作に戻る（ステップＳ４０，Ｓ１０）。た
だし、この場合、利用客が料金を改めて投入する必要は
なく、スタートボタン１８１を押ぜば、再計測が行われ
る。

【００４２】確認ボタン１８２が押されると（ステップ
Ｓ２６）、データ処理装置４０または加工システム１Ｂ
が３次元形状モデルに基づいて加工条件データベースを
参照して加工制御用のデータを生成し（ステップＳ２
８）、加工装置７２が材料の加工を行う（ステップＳ３
０）。加工が終わると、商品が排出され（ステップＳ３
２）、取出口センサ７８によって商品の取り出しが確認
されて待機動作に戻る（ステップＳ３４，Ｓ１０）。

【００４３】図９はデータ処理部４４（図７参照）によ
り実行されるデータ処理（ステップＳ２０）の内容を示
すフローチャートである。このルーチンでは、３次元計
測装置３４からの計測形状データＤＳに対する前処理、
頭髪の形状をカラー画像データＤＣ１〜ＤＣ３から生成
して合成する処理、および、加工時間の短縮やデザイン
上の意図的な平面化のための奥行き方向の圧縮などを含
む後処理が行われる。

【００４４】前処理部４４３による前処理として、まず
平滑化処理が行われる。平滑化処理によりノイズによる
異常データが除かれるとともに、細かな凹凸まで過度に
再現されることが防止される（ステップＳ２０１）。次
に、顔が斜めを向いていた場合などにおいて、入力デー
タを加工方向に正対させるため、ある方向から平行投影
した等間隔の格子点により整列されたデータに変換する
再標本化処理が行われる（ステップＳ２０２）。この処
理により、例えば、人の顔の耳の下が陰になって計測で
きない場合、顔を上向きにして３次元計測をした後で、
通常の正面を向いた顔を表すようにデータを変換でき
る。

【００４５】なお、格子点が射影された位置に計測点が
ない場合には、その周囲の計測値により線形補間が行わ
れる。このとき、射影された方向が加工する際の鉛直上
方となり、それぞれの格子点は、高さのデータを持つ。
また、入力データが透視投影による場合でも、この処理
により入力データが平行投影データに変換される。

【００４６】さらに、データのない細かな欠損部分が補
間される（ステップＳ２０３）。補間手法としては、線
形補間、重み付け補間などの種々の手法が適用可能であ
る。例えば、データの欠損している部分がすべて固定値
で置き換えられる（いわゆる、単純補間）。その固定値
としては、設定値、最小の高さ、顔の外周位置の平均値
などが採用される。欠損部が有効データ部分で完全に囲
まれている場合は、周りのデータから線形補間が行われ
る。これにより顔面内の欠損部分（例えば、黒い眉や
瞳）の段差が修正され、自然な形状となる。

【００４７】以上の前処理が完了すると、データ処理部
４４による合成形状データＤＭの生成が行われる（ステ
ップＳ２０４）。すなわち、３次元計測装置３４からの
計測形状データＤＳと３つのカラー画像データＤＣ１〜
ＤＣ３から後述する手法にて求められる頭部髪領域形状
データＤＳ１との合成が行われる。このとき、形状モデ
ルの頭部髪領域に縞状の起伏を付加して質感を高めた
り、目、黒目部分、眉、唇、頬などの特定部分を若干盛
り上げる強調を行ったりすることも必要に応じて行われ
る。

【００４８】実物形状に忠実な合成形状データＤＭが得
られると、加工のための後処理が後処理部４４７により
行われる。後処理としては、まず、合成形状データＤＭ
が表す３次元形状モデルの高さ方向の圧縮処理を行っ
て、３次元形状モデルの奥行き寸法が縮められる（ステ
ップＳ２０５）。奥行き方向の高低差を小さくすること
により、加工時間が短縮され、また、ペンダントやメダ
ルに好適な平面的な模型とされる。圧縮には、一様圧縮
および非一様圧縮のどちらの手法も適用可能であり、こ
れらの手法は部分毎に使い分けられてもよい。

【００４９】次に、後処理部４４７は背景部分を他のデ
ータに置き換える背景変換を行う（ステップＳ２０
６）。なお、背景とすべき領域は合成形状データの生成
（ステップＳ２０４）にて求めらる。背景変換により、
例えば、極端に奥行きが深い背景部分が奥行きの浅いデ
ータに変換され、加工時間の短縮が図られる。置き換え
られるデータは、平面データでも花木などの絵柄や幾何
模様を表す立体面データでもよい。

【００５０】背景部分のデータの置き換えが行われる
と、実物大の３次元形状モデルを商品サイズに適合させ
るサイズ調整が行われる（ステップＳ２０７）。また、
加工装置７２の精度にデータ量を適合させる解像度変換
も行われる（ステップＳ２０８）。この処理は、所定格
子幅のメッシュを投影して格子点で再標本化するもので
あるが、投影する方向は加工時の鉛直方向に固定されて
いる。

【００５１】解像度変換（すなわち、データ数変換）の
要領としては、まず、加工用の形状モデルの構成点群を
点間ピッチとベクトル変化量とで定義し、ベクトル変化
量に対応する点間ピッチ範囲をあらかじめ記億されてい
る特性データテーブルから読み出して設定する。すなわ
ち、データを間引いてピッチを大きくしたり、データを
補間してピッチを小さくしたりする。計測の分解能が十
分に大きい場合には、間引きのみを行えばよい。解像度
変換機能を設けておけば、３次元計測装置３４の分解能
が限定されないので、用途に応じて計測手段を取り換え
るといった使用形態が許容されることになる。

【００５２】最後に、３次元形状モデルの基準位置が加
工の基準位置に合うように座標の原点を平行移動させる
位置合わせを行う（ステップＳ２０９）。なお、加工に
際して上述のように予め所定の凹凸が作り込まれた材料
を用いる場合には、確認操作に呼応した加工データ生成
処理（図８中のステップＳ２８）において、以上の処理
によって得られた３次元形状モデルと作り込まれている
凹凸とを比較して切削量が算出される。

【００５３】＜2.2 合成形状データ生成の概要＞図１
０は図９中のステップＳ２０４である合成形状データＤ
Ｍの生成の概要を示すフローチャートである。

【００５４】合成形状データＤＭの生成処理では、ま
ず、３つのカラー画像データＤＣ１〜ＤＣ３が表す画像
（以下、「２次元カラー画像」という。）のそれぞれに
おいて、画像全体の領域が背景幕２を示す領域（以下、
「背景幕領域」という。）、肌を示す領域である２次元
肌領域、髪を示す領域である２次元髪領域などの各領域
に分割される（ステップＳ２２１）。このとき、もし、
頭部が禿げた状態である場合には頭部髪領域が存在しな
いことから、計測形状データＤＳと頭部髪領域形状デー
タＤＳ１との合成は不要となり、合成形状データの生成
の以下の処理は省略される。

【００５５】次に、２次元髪領域の大きさに基づいて計
測形状データＤＳと頭部髪領域形状データＤＳ１との合
成を行うか否かを判断する（ステップＳ２２２）。例え
ば、金髪の頭部の場合、計測形状データＤＳには頭部髪
領域全体のデータも含まれることがあり、計測形状デー
タＤＳと頭部髪領域形状データＤＳ１との合成は不要と
なるからである。このような場合、形状データの合成処
理は省略される。

【００５６】ステップＳ２２２において合成の必要があ
ると判断された場合には、各２次元カラー画像中の２次
元髪領域の輪郭から頭部髪領域形状データＤＳ１が生成
される（ステップＳ２２３）。そして、計測形状データ
ＤＳと頭部髪領域形状データＤＳ１との合成が行われ
（ステップＳ２２４）、合成形状データＤＭが生成され
る。

【００５７】なお、この段階での合成形状データＤＭが
表す形状モデルは頭部髪領域と肌の領域との境界が不明
瞭となるため、頭部髪領域と肌の領域との境界を強調す
る境界強調がさらに行われる（ステップＳ２２５）。

【００５８】以上の一連の処理により、合成形状データ
ＤＭが生成されるが、以下、各処理について詳説する。

【００５９】＜2.3 領域分割＞図１１は図１０中の領
域分割（ステップＳ２２１）の処理の流れを示すフロー
チャートである。データ処理部４４の領域分割部４４１
が行う領域分割では、まず、各２次元カラー画像につい
て背景幕領域が抽出される（ステップＳ１００１）。な
お、背景幕２によって利用客の背面がブルーバックとさ
れ、背景幕領域が容易かつ確実に検出される。

【００６０】背景幕領域の抽出の後、各２次元カラー画
像の２次元肌領域および２次元髪領域の抽出が行われる
（ステップＳ１００２，Ｓ１００３）。さらに、背景幕
領域、２次元肌領域、２次元髪領域のいずれの領域にも
属しないその他の領域が求められる（ステップＳ１００
４）。

【００６１】以下、各領域の抽出について順に説明す
る。なお、以下の説明に対応するフローチャートの各ス
テップにて参照される情報も適宜図中に示す。

【００６２】図１２は背景幕領域の抽出（ステップＳ１
００１）における処理の流れを示すフローチャートであ
る。背景幕領域の抽出では、まず、設定ファイルから背
景とすべき色の統計データと背景幕領域とすべきマハラ
ノビス距離が読み込まれて参照され、２次元カラー画像
の各画素について所定のマハラノビス距離の範囲内にあ
る画素の画素値を１とし、他の画素の画素値を０とする
２値画像が生成される（ステップＳ１１１１）。

【００６３】統計データとしては、背景幕２のＲＧＢ空
間における色分布の平均値と共分散行列の逆行列が参照
される。また、マハラノビス距離とは、対象となる画素
のＲＧＢ各色の値を表す行列をｘ、各色の平均値を表す
行列をαとし（ｘ、αはいずれも３行１列であるものと
する。）、ＲＧＢに関する共分散行列の逆行列をΣ^-1と
して、

【００６４】

【数１】

【００６５】にて求められる距離である。すなわち、マ
ハラノビス距離とは画像中の各画素値のＲＧＢ空間にお
ける広がりを考慮した上での平均値からの距離を表す値
である。

【００６６】次に、生成された２値画像において、画素
値が１（または０）の画素に対する収縮処理および膨張
処理を行い、微小なノイズ成分を除去する（ステップＳ
１１１２）。その後、ラベリング（画素値が１のクラス
タにラベリングを行うものとし、以下同様である。）を
行い、独立した領域である各クラスタを識別可能とする
（ステップＳ１１１３）。

【００６７】図１３はステップＳ１１１３の段階での２
値画像を模式的に示す図である。なお、以下の説明にお
ける２値画像の図では、画素値が０の領域に平行斜線を
付す。

【００６８】図１３に示すように、２値画像中の左隅の
上下に伸びる矩形領域および右隅の上下に伸びる矩形領
域が背景幕判定用領域ＢＡ１，ＢＡ２として予め定めら
れている。そして、背景幕判定用領域ＢＡ１に掛かるク
ラスタＣＬ１中の画素値を１とし、他の領域の画素値を
全て０とする２値画像が求められる（ステップＳ１１１
４）。図１４はこのようにして得られる２値画像を示す
図である。

【００６９】同様に、背景幕判定用領域ＢＡ２に掛かる
クラスタＣＬ２中の画素値を１とし、他の領域の画素値
を全て０とする２値画像が求められる（ステップＳ１１
１５）。図１５はこのようにして得られる２値画像を示
す図である。

【００７０】その後、ステップＳ１１１４およびステッ
プＳ１１１５で得られた２つの２値画像のＯＲ演算処理
が行われる（ステップＳ１１１６）。図１６はＯＲ演算
処理により得られる２値画像を示す図である。以上の処
理により、クラスタＣＬ１，ＣＬ２の双方に含まれない
領域が強制的に０とされ、図１３中の頭部に相当する領
域にノイズ成分が存在していたとしても強制的に除去さ
れる。

【００７１】次に、ステップＳ１１１６で得られた２値
画像に対して画素値が１の領域の膨張処理が行われる
（ステップＳ１１１７）。この処理により、頭部に対応
する領域の境界が図１７中の符号Ｂ１１にて示す境界か
ら符号Ｂ１２にて示す境界へと移動する。その結果、２
次元カラー画像中において背景幕２の色と頭部の色とが
混ざっている領域が取り除かれ、背景側の領域となる。

【００７２】次に、ステップＳ１１１７で得られた２値
画像の画素値を反転する（ステップＳ１１１８）。そし
て、得られた２値画像にラベリングを行い（ステップＳ
１１１９）、図１８に示すように予め定められている肌
領域判定用領域ＦＡに掛かっているクラスタＣＬ３の画
素値のみを１とする２値画像を得る（ステップＳ１１２
０）。さらに、ステップＳ１１２０で得られた２値画像
の画素値を反転し（ステップＳ１１２１）、図１９に示
すように背景幕領域を画素値が１の領域として抽出す
る。ステップＳ１１１８〜Ｓ１１２１の処理により、背
景幕領域とすべき領域内に存在しているノイズ成分が強
制的に除去される。

【００７３】背景幕領域の抽出が完了すると次に、２次
元カラー画像のそれぞれについて２次元肌領域の抽出が
行われる（ステップＳ１００２）。図２０および図２１
は２次元肌領域の抽出の流れを示すフローチャートであ
る。

【００７４】２次元肌領域の抽出では、前段階の作業と
して２次元肌領域とすべき領域の色の統計データが取得
される。３次元計測装置３４にて有効に計測される領域
の大部分が肌の領域であることから、まず、各２次元カ
ラー画像において対応する計測形状データＤＳが存在す
る領域の画素値のみを１とする２値画像を求める（ステ
ップＳ１１３１）。なお、既述のように、主カメラ３
６、補助カメラ３７Ｌ，３７Ｒ、および、３次元計測装
置３４の配置情報に基づいて、各２次元カラー画像と計
測形状データＤＳとの対応関係は容易に求められる。

【００７５】その後、画素値が１（または０）の画素に
ついて収縮処理および膨張処理を行い、微小なノイズ成
分を除去する（ステップＳ１１３２）。また、ラベリン
グを行って接続している各クラスタを識別する（ステッ
プＳ１１３３）。

【００７６】次に、識別されたクラスタのうち、最大の
面積を有するクラスタの画素値のみを１とする２値画像
を求める（ステップＳ１１３４）。これにより、およそ
肌の領域の画素値を１とする２値画像が得られる。そし
て、得られた２値画像中の画素値が１の領域に対応する
２次元カラー画像中の領域の色の統計データ（すなわ
ち、ＲＧＢ各色の平均値、および、共分散行列）が３次
元の統計処理により求められる（ステップＳ１１３
５）。さらに、求められた共分散行列の逆行列が求めら
れる（ステップＳ１１３６）。

【００７７】統計データが求められると、ＲＧＢ各色の
平均値および共分散行列の逆行列を用いて、ステップＳ
１１３５にて統計処理の対象となった画素からマハラノ
ビス距離が３を超える画素を処理対象から除外し、残さ
れた画素を用いて再度統計処理を行い、ＲＧＢ各色の平
均値および共分散行列を再計算する（ステップＳ１１３
７）。そして、共分散行列の逆行列が求められる（ステ
ップＳ１１３８）。これにより、より限定された画素か
ら２次元肌領域を判断するための統計データが取得さ
れ、以下の処理において抽出される２次元肌領域のノイ
ズ成分が適切に取り除かれることとなる。

【００７８】統計データが求められると、この統計デー
タに基づいて２次元肌領域の抽出が行われるが、この処
理は背景幕領域の抽出とほぼ同様の処理となる。まず、
所定の設定ファイルから２次元肌領域とすべきマハラノ
ビス距離が参照され、２次元カラー画像中において所定
のマハラノビス距離以下の距離となるＲＧＢ値を有する
画素の画素値を１、他の画素の画素値を０とする２値画
像が生成される（ステップＳ１１３９）。そして、画素
の収縮処理および膨張処理が行われて微小なノイズ成分
が除去される（ステップＳ１１４０）。

【００７９】次に、得られた２値画像に対してラベリン
グを行い（ステップＳ１１４１）、図２２に示すように
肌領域判定用領域ＦＡに掛かっているクラスタＣＬ４の
画素値のみを１とする２値画像を得る（ステップＳ１１
４２）。また、以上の処理により得られた２値画像はス
テップＳ１００１で求めた背景幕領域と重なる領域を有
するおそれがあるため、背景幕領域と重なる領域（図２
２中、符号ＦＥにて例示する。）が削除される（ステッ
プＳ１１４３）。これにより、ほぼ２次元肌領域とすべ
き領域が抽出される。

【００８０】ほぼ２次元肌領域とすべき領域が抽出され
ると、画素値を反転した上で（ステップＳ１１４４）、
ステップＳ１１１３〜Ｓ１１１６と同様の処理をしてク
ラスタＣＬ４内部に存在するノイズ成分が強制的に除去
される。すなわち、ラベリングを行い（ステップＳ１１
４５）、左隅の背景幕判定用領域ＢＡ１に掛かっている
クラスタの画素値のみを１とする２値画像と、右隅の背
景幕判定用領域ＢＡ２に掛かっているクラスタの画素値
のみを１とする２値画像とを取得し（ステップＳ１１４
６，Ｓ１１４７）、これらの２値画像をＯＲ演算処理し
てクラスタＣＬ４内部の画素値を全て０とする（ステッ
プＳ１１４８）。その後、得られた２値画像の画素値を
反転することにより、画素値が１の領域が２次元肌領域
として抽出される（ステップＳ１１４９）。

【００８１】２次元肌領域が抽出されると、次に、２次
元髪領域の抽出が行われる（ステップＳ１００３）。図
２３および図２４は２次元髪領域の抽出の流れを示すフ
ローチャートである。

【００８２】２次元髪領域の抽出では、まず、図２５に
示すように２次元カラー画像全体から、背景幕領域（図
２５の例ではクラスタＣＬ１，ＣＬ２に相当する領域）
および２次元肌領域（クラスタＣＬ４に相当する領域）
が除かれる（ステップＳ１１６１）。そして、残された
領域のうち、２次元肌領域の重心ＦＧよりも上の領域
（図２５において平行斜線を付して示す領域）が髪の色
のサンプリング領域ＳＡとされる（ステップＳ１１６
２）。

【００８３】ここで、２次元髪領域が存在すると判断す
る面積の所定の限界値とサンプリング領域ＳＡの面積と
が比較され（ステップＳ１１６３）、サンプリング領域
ＳＡが所定の面積以下の場合には頭部が禿げた状態であ
り、２次元髪領域が存在しないとされる。この場合に
は、頭部髪領域の合成処理（図１０中のステップＳ２２
４）が不要であることから、合成形状データＤＭの生成
は行われず、図７に示す前処理部４４３にて前処理が行
われた計測形状データＤＳがそのままデータ処理部４４
から出力されて図９に示すステップＳ２０５へと移行す
る。

【００８４】ステップＳ１１６３にて２次元髪領域が存
在すると判断された場合には、各２次元カラー画像にお
いてサンプリング領域ＳＡ中の画素について色の統計処
理が行われ（ステップＳ１１６４）、ＲＧＢ各色の平均
値および共分散行列が求めあれる。さらに、共分散行列
の逆行列が求められる（ステップＳ１１６５）。

【００８５】そして、得られたＲＧＢ各色の平均値およ
び共分散行列の逆行列を用いて、２次元カラー画像のサ
ンプリング領域ＳＡ中の各画素について、マハラノビス
距離が３を超えるものをサンプリング領域ＳＡから除外
する。限定されたサンプリング領域ＳＡに対し、再度色
の統計処理が行われ（ステップＳ１１６６）、ＲＧＢ各
色の平均値および共分散行列が求められる。その後、共
分散行列の逆行列が求められる（ステップＳ１１６
７）。

【００８６】次に、所定の設定ファイルから２次元髪領
域とすべきマハラノビス距離が参照され、ステップＳ１
１６２の段階でのサンプリング領域ＳＡ内の画素のう
ち、ＲＧＢ値が所定のマハラノビス距離以下である画素
の画素値を１とし、他の画素の画素値を０とする２値画
像が生成される（ステップＳ１１６８）。

【００８７】その後、画素の収縮処理および膨張処理が
行われて微小なノイズ成分が除去され（ステップＳ１１
６９）、ラベリングによって識別可能なクラスタに分け
た後（ステップＳ１１７０）、面積の大きい順に２つ以
内のクラスタの画素値のみを１とする２値画像を生成す
る（ステップＳ１１７１）。以上の処理により、画素値
が１の領域として２次元髪領域が抽出される。

【００８８】２次元髪領域の抽出が完了すると、最後に
その他の領域の抽出（ステップＳ１００４）が行われ
る。図２６はその他の領域の抽出の処理の内容を示すフ
ローチャートである。具体的には、２次元カラー画像全
体の領域から背景幕領域、２次元肌領域および２次元髪
領域を取り除いた領域を画素値が１のその他の領域とす
る２値画像が生成される（ステップＳ１１８１）。

【００８９】以上の処理により、図１０中の領域分割
（ステップＳ２２１）が完了する。

【００９０】＜2.4 頭髪部分の合成＞２次元カラー画
像のそれぞれについて領域分割が完了すると、次に、頭
部髪領域形状データＤＳ１の生成に関する処理（ステッ
プＳ２２２〜Ｓ２２４）が行われる。

【００９１】既述のように、頭髪が金髪であったり、明
るい色に染められている場合には計測形状データＤＳに
頭部髪領域の適切な形状データが含まれることとなる。
したがって、まず、頭部髪領域形状データＤＳ１を２次
元カラー画像から生成して合成する必要があるか否かが
データ処理部４４の合成判断部４４４により判断される
（ステップＳ２２２）。

【００９２】図２７は、合成判断の処理の流れを示すフ
ローチャートである。合成判断に際し、まず、主カメラ
３６と同視点から計測形状データＤＳを投影して２次元
データに変換し、変換された計測形状データＤＳからカ
ラー画像データＤＣ１のその他の領域と重なる部分を削
除し、実計測領域を求める（ステップＳ１２１１）。

【００９３】ここで、合成を行う所定の限界値が参照さ
れ、実計測領域と２次元髪領域との重なる面積が２次元
髪領域の面積の所定の割合より小さいか否かが判断され
る（ステップＳ１２１２）。すなわち、実計測領域と２
次元髪領域との重なる面積は、頭部髪領域であるにもか
かわらず３次元計測装置３４にて適切な計測が可能であ
った領域に相当し、この領域が大きい場合には頭部髪領
域形状データＤＳ１として計測形状データＤＳをそのま
ま利用することが好ましくなる。そこで、頭部髪領域の
形状が３次元計測装置３４で計測可能であった判断され
た場合には、合成は行われずに合成後の処理（ステップ
Ｓ２２５）へと移行する。

【００９４】合成が必要であると判断された場合には、
合成すべき頭部髪領域形状データＤＳ１を生成する処理
へと移行する（ステップＳ２２３）。

【００９５】図２８ないし図３０は領域分割された２次
元カラー画像に基づいて頭部髪領域形状データＤＳ１を
生成する様子を説明するための図である。また、図３１
は頭部髪領域形状データＤＳ１を生成する処理の流れを
示すフローチャートである。以下、これらの図を参照し
て頭部髪領域形状データＤＳ１の生成について説明す
る。

【００９６】データ処理部４４の形状データ生成部４４
２では、領域分割部４４１が生成した各２次元カラー画
像（図２８中、符号Ｇ１〜Ｇ３を付す）の２次元髪領域
ｈの輪郭を抽出する（ステップＳ１３１１）。

【００９７】続いて、各２次元カラー画像Ｇ１，Ｇ２，
Ｇ３から抽出した２次元髪領域ｈのそれぞれの輪郭に対
応した物体（利用客３）上の位置の３次元的相対関係を
特定する。つまり、２次元カラー画像Ｇ１，Ｇ２，Ｇ３
またはそれらから抽出した２次元髪領域ｈを撮影条件に
合わせて仮想的に３次元空間に配置したときの、２次元
髪領域ｈの輪郭の座標を算定する。３次元空間への配置
に際しては、図２８で記号「＋」で示す画像の中心を一
致させ、かつ互いの配置角度関係を撮影時の視線および
画角の向きの関係に対応させるとともに、物体の縮尺率
が一致するように必要に応じて拡大または縮小する。

【００９８】画像の中心とは、撮影時の視線に対応する
画素の位置である。撮影システム３０では、撮影時の視
線が同一平面内にあるので、各２次元カラー画像Ｇ１，
Ｇ２，Ｇ３をＺ軸に沿わせ、２次元カラー画像Ｇ１に対
して２次元カラー画像Ｇ２，Ｇ３を角度θ１，θ２だけ
傾けて配置すれば、画角の向きが揃うことになる。ま
た、撮影倍率を同一に設定しておけば、拡大／縮小の必
要はない。なお、この段階の処理では２次元髪領域ｈの
相対位置関係が判ればよく、２次元髪領域ｈを物体（実
際の頭部）に相応する大きさにする必要はない。

【００９９】図２９は、仮想配置された計３つの２次元
髪領域ｈの輪郭をＺ軸に垂直な面（以下、「等高面」と
いう。）で切断したときの様子を示す図である。図２８
および図２９中に示す黒い菱形の印は、２次元髪領域ｈ
の輪郭と等高面との交点を示す。頭髪の外縁をモデル化
する際には、Ｚ軸から両側に最も離れた交点（図２９
中、符号ｐにて示す）の位置が基準となる。

【０１００】次に、交点ｐをＢスプライン曲線で結び、
頭部髪領域の等高線Ｌｈを算出する（ステップＳ１３１
２）。なお、図２９に示すように、主カメラ３６により
取得された２次元カラー画像Ｇ１に対応する２次元髪領
域ｈの輪郭と等高面との交点が２よりも多く存在する場
合には、２次元カラー画像Ｇ１に対応する２つの交点ｐ
に最も近い交点ｐ１から垂線ｅを伸ばし、スプライン曲
線の端がこの２つの垂線ｅの近傍で内側に曲がるように
適宜修正される。

【０１０１】そして、Ｚ軸方向の複数の位置の等高面を
用いて複数の等高線Ｌｈを求め、これらをスムージング
で連結して図３０に例示する頭部髪領域の形状モデルＵ
ｈを表す頭部髪領域形状データＤＳ１を生成する（ステ
ップＳ１３１３）。

【０１０２】頭部髪領域形状データＤＳ１の生成が完了
すると、次に、合成処理部４４５により計測形状データ
ＤＳと頭部髪領域形状データＤＳ１との合成が行われる
（ステップＳ２２４）。図３２は合成の様子を示す模式
図であり、図３２中の符号Ｕｆは計測形状データＤＳが
表す形状モデル（以下、「計測形状モデル」という。）
を示し、符号Ｕｈは頭部髪領域形状データＤＳ１が表す
形状モデル（以下、「頭部髪領域形状モデル」とい
う。）を示し、符号ＵＭは合成後の形状モデル（以下、
合成形状モデル」という。）を示す。また、図３３は合
成処理の流れを示すフローチャートである。

【０１０３】合成処理では、まず、両形状モデルの位置
合わせが行われる（ステップＳ１４１１）。位置合わせ
は３次元計測装置３４の位置と主カメラ３６などの位置
との関係に基づいて行われる。ここで、図３２に示すよ
うに、計測形状モデルＵｆは、主として肌の領域の形状
を表すものとなるが、頭部髪領域の一部（あるいは、髪
飾りなど）も適正な形状として含まれている場合があ
る。したがって、計測形状データＤＳと頭部髪領域形状
データＤＳ１とには一部重なる部分が存在する。そこ
で、合成処理部４４５では頭部髪領域形状データＤＳ１
を優先して合成を行う。

【０１０４】すなわち、合成に先立って、まず、計測形
状モデルＵｆの主要部以外が削除される（ステップＳ１
４１２）。例えば、頭髪の一部を明るい色に染めている
ために頭髪の一部の形状が独立した領域として３次元計
測装置３４により取得されたとしても、この処理により
取り除かれる。

【０１０５】さらに、計測形状モデルＵｆにおいて頭部
髪領域形状モデルＵｈと重なる部分が削除される（ステ
ップＳ１４１２）。なお、両形状モデルの各微小領域が
互いに重なるか否かの判断は、頭部の中心やＺ軸上の点
を基準に同方向に存在するか否かにより判断がなされた
り、あるいは、両微小領域を正面からの投影したときに
重なるか否かで判断される。

【０１０６】主要部以外の削除および重複部分の削除が
行われると両形状データの合成が行われ、合成形状モデ
ルＵＭを表す合成形状データＤＭが生成される（ステッ
プＳ１４１３）。なお、計測形状データＤＳの主要部以
外を削除して合成することは計測形状データＤＳの主要
部と頭部髪領域形状データＤＳ１とを合成することであ
り、計測形状データＤＳの重複部分を削除して頭部髪領
域形状データＤＳ１と合成を行うことは、計測形状デー
タＤＳと頭部髪領域形状データＤＳ１との重複部分にお
いて頭部髪領域形状データＤＳ１を優先して合成するこ
とに相当する。

【０１０７】一般に、計測形状データＤＳはカラー画像
データＤＣ１〜ＤＣ３から生成される頭部髪領域形状デ
ータＤＳ１よりも形状の再現特性（すなわち、計測精度
や距離画像としての画素密度など）が高いが、以上に説
明した合成処理部４４５の動作により、計測形状データ
ＤＳの一部に頭部髪領域の計測データが含まれていて
も、合成形状モデルＵＭにおいて頭部髪領域の一部のみ
が高精細な形状となってしまう不整合を防止することが
できる。これにより、合成形状モデルＵＭの頭部髪領域
内に存在する段差を取り除くことができ、頭部髪領域が
一様な精度でモデル化され、自然な形状モデルを作成す
ることが実現される。

【０１０８】なお、頭部髪領域と肌の領域との間には段
差が生じる可能性があるが、異なる領域間の段差は形状
モデルとして問題とはならない。また、計測形状データ
ＤＳの重複部分の削除は重複部分全体について行われる
のではなく、必要な部分についてのみ行われてもよい。
これにより、頭部髪領域内の不要な段差の少なくとも一
部を取り除くことができる。

【０１０９】また、上記説明では、合成の際に計測形状
データＤＳの主要部以外の削除を行うとともに頭部髪領
域形状データＤＳ１との重複部分についての計測形状デ
ータＤＳの削除も行うようにしているが、これらの削除
のいずれか一方のみを行うだけであっても、頭部髪領域
内の段差の発生を減少させるという効果を奏することが
できる。

【０１１０】＜2.5 境界強調＞合成形状データＤＭが
生成されると、次に、境界強調部４４６において頭部の
髪領域と肌領域との境界を明りょうとするためにエッジ
を付加する境界強調が行われる（ステップＳ２２５）。
図３４は境界強調の処理の流れを示すフローチャートで
ある。境界強調の処理では、まず、合成形状モデルＵＭ
の髪の領域と肌の領域との境界線が取得される（ステッ
プＳ１５１１）。髪と肌の領域の境界線は、合成の際の
境界から求められる。

【０１１１】次に、３つのカラー画像データＤＣ１〜Ｄ
Ｃ３に基づいて、境界線周辺の色が取得される。具体的
には、合成形状データＤＭが表す距離画像の境界線近傍
の各画素のＲＧＢ値がカラー画像データＤＣ１〜ＤＣ３
の対応する画素のＲＧＢ値に基づいて算出される。そし
て、境界線周辺のＲＧＢ値から境界線上の輝度の分散が
取得される（ステップＳ１５１２）。なお、合成形状デ
ータＤＭでは、計測形状データＤＳであった部分と頭部
髪領域形状データＤＳ１であった部分との距離画像とし
ての画素密度が同じになるように調整されているものと
する。

【０１１２】図３５は、境界線上の輝度の分布および輝
度の分散の例を示す図である。図３５に示す例では境界
線近傍のＺ軸方向に並ぶ５画素を基準に分散を求めるよ
うにしている。

【０１１３】境界線上の輝度の分散が求められると、次
に、輝度の分散を正規化してエッジ係数が求められる
（ステップＳ１５１３）。エッジ係数は、

【０１１４】

【数２】

【０１１５】で定義される係数であり、境界線上の輝度
の分散の各値を境界線上の輝度の分散の最大値と最小値
とにより正規化した値である。

【０１１６】境界線上の各画素についてエッジ係数が求
められると、境界線上の各画素が合成形状モデルＵＭの
内側にエッジ係数に比例した距離だけ移動するように合
成形状データＤＭが修正される（ステップＳ１５１
４）。また、この際に境界線上の画素の移動距離の最大
値に制限が加えられる。なお、頭部が背景に対して浮か
び上がる形状モデルを生成する場合には、境界線を強調
するために境界線上の画素を背景側に移動するようにし
てもよく、境界線上の画素がおおよそ形状モデルの内側
に移動されるのであればどのような移動手法を用いても
よい。

【０１１７】図３６は合成形状モデルＵＭにおける境界
線上の画素ＥＰが内側（または、背景側）に移動される
様子を例示する図である。このように移動させることに
より、合成形状モデルＵＭにおける髪の領域と肌の領域
との境界が明りょうに判別可能となる。また、画素の移
動量を輝度分散に基づくエッジ係数に比例させるので、
視覚的に明りょうな境界ほど形状としても明りょうな境
界とされ、刈り上げや髪の薄い部分のように視覚的に明
りょうでない境界ほど形状としても明りょうでない境界
とされる。その結果、人間の頭部の形状モデルとして好
ましい形状モデルとなる。なお、境界線上の画素ＥＰは
外側へと移動するように変形されてもよい。

【０１１８】境界強調処理が完了すると、図９にて既に
説明した後処理（ステップＳ２０５〜）へと移行し、そ
の後、合成形状データＤＭに基づいて頭部の形状が所定
の材料に彫り込まれ、加工物が排出される（図８参
照）。

【０１１９】＜３．変形例＞以上、本発明に係る立体
模型作成装置１について、データ処理部４４の処理内容
を中心に説明してきたが、本発明は上記実施の形態に限
定されるものではなく様々な変形が可能である。

【０１２０】上記実施の形態では、自動販売機としての
使用を想定した立体模型作成装置１を例示したが、本発
明に係るデータ処理は模型作成が有償であるか無償であ
るかを問わない。模型のサイズは縮小サイズに限らず、
実物大でも拡大サイズでもよい。複数の２次元カラー画
像に基づく頭部髪領域形状モデルＵｈと３次元計測デー
タに基づく計測形状モデルＵｆとの合成で得られた合成
形状モデルＵＭは、表示やアニメーション作成など模型
作成以外の種々に用途に用いることができる。

【０１２１】また、上記実施の形態では、スリット光投
影法による３次元計測装置３４にて有効な計測が可能で
ある頭部領域の計測形状データＤＳと３つのカメラによ
り有効な計測が可能である頭部領域の頭部髪領域形状デ
ータＤＳ１とを合成するようにしているが、これらの計
測方法は他の方法であってもよい。例えば、計測形状デ
ータＤＳをパターン光投影法、ステレオ視法、干渉縞法
などを用いて取得し、頭部髪領域形状データＤＳ１を１
つの２次元画像の輝度分布から求めるようにしてもよ
い。

【０１２２】また、異なる計測法により２つの形状デー
タを取得し、精度（すなわち、解像度や形状再現特性）
の低いものを部分的に優先しつつこれらの形状データを
合成して形状モデルを作成する手法は、人間の頭部を対
象とするものに限定されるものではなく、他の物体の計
測に利用することも可能である。

【０１２３】また、上記実施の形態では２つの形状デー
タを合成するようにしているが、３つ以上の形状データ
を合成する場合であっても、これらの形状データのいず
れか２つを合成する段階で本発明を利用することができ
る。

【０１２４】

【発明の効果】請求項１ないし８に記載の発明では、第
１データと第２データとから生成される３次元データが
表す形状に生じる段差の少なくとも一部を取り除くこと
ができる。

【０１２５】また、請求項３に記載の発明では、２次元
データから生成される第２データを適切に合成すること
ができる。

【０１２６】また、請求項４に記載の発明では、第２デ
ータの合成の必要性を適切に判断できる。

【０１２７】また、請求項５に記載の発明では、人間の
頭部の形状を適切に表す３次元データを取得することが
できる。

【０１２８】また、請求項６に記載の発明では、人間の
頭部の肌の領域と髪の領域との境界を明りょうかつ適切
に表す３次元データを取得することができる。

【図面の簡単な説明】

【図１】本発明に係る立体模型作成装置の外観図であ
る。

【図２】立体模型作成装置の使用状態の模式図である。

【図３】操作パネルの平面図である。

【図４】立体模型作成装置の機能ブロック図である。

【図５】加工システムの機構構成の一例を示す斜視図で
ある。

【図６】２次元撮影のカメラ配置の模式図である。

【図７】データ処理部の機能構成を示すブロック図であ
る。

【図８】概略の動作を示すメインフローチャートであ
る。

【図９】図８のデータ処理の内容を示すフローチャート
である。

【図１０】図９の合成形状データの生成の内容を示すフ
ローチャートである。

【図１１】図１０の領域分割の内容を示すフローチャー
トである。

【図１２】図１１の背景幕領域の抽出の内容を示すフロ
ーチャートである。

【図１３】図１２のステップＳ１１１３で得られる２値
画像の例を示す図である。

【図１４】図１２のステップＳ１１１４で得られる２値
画像の例を示す図である。

【図１５】図１２のステップＳ１１１５で得られる２値
画像の例を示す図である。

【図１６】図１２のステップＳ１１１６で得られる２値
画像の例を示す図である。

【図１７】図１２のステップＳ１１１７で得られる２値
画像の例を示す図である。

【図１８】図１２のステップＳ１１２０で得られる２値
画像の例を示す図である。

【図１９】図１２のステップＳ１１２１で得られる２値
画像の例を示す図である。

【図２０】図１１の２次元肌領域の抽出の内容を示すフ
ローチャートである。

【図２１】図１１の２次元肌領域の抽出の内容を示すフ
ローチャートである。

【図２２】図２１のステップＳ１１４２で得られる２値
画像の例を示す図である。

【図２３】図１１の２次元髪領域の抽出の内容を示すフ
ローチャートである。

【図２４】図１１の２次元髪領域の抽出の内容を示すフ
ローチャートである。

【図２５】図２３のステップＳ１１６２で得られる２値
画像の例を示す図である。

【図２６】図１１のその他の領域の抽出の内容を示すフ
ローチャートである。

【図２７】図１０の合成判断の内容を示すフローチャー
トである。

【図２８】２次元カラー画像に基づいて頭部髪領域形状
モデルを生成する要領を説明するための図である。

【図２９】頭部髪領域形状モデルの等高線を生成する要
領を説明するための図である。

【図３０】等高線から頭部髪領域形状モデルを生成する
要領を説明するための図である。

【図３１】図１０の頭部髪領域の形状データの生成の内
容を示すフローチャートである。

【図３２】形状モデルの合成の模式図である。

【図３３】図１０の形状データの合成の内容を示すフロ
ーチャートである。

【図３４】図１０の境界強調の内容を示すフローチャー
トである。

【図３５】境界線の輝度分布と輝度分散を例示する図で
ある。

【図３６】境界強調の様子を示す図である。

【図３７】３次元計測装置により取得される形状データ
に基づく形状モデルの例を示す図である。

【図３８】２次元画像から求められる形状モデルの例を
示す図である。

【図３９】従来の手法により合成された形状モデルの例
を示す図である。

【符号の説明】

１Ａモデリングシステム３４３次元計測装置３６主カメラ３７Ｌ，３７Ｒ補助カメラ４４１領域分割部４４２形状データ生成部４４４合成判断部４４５合成処理部４４６境界強調部ＤＣ１〜ＤＣ３カラー画像データＤＭ合成形状データＤＭＤＳ計測形状データＤＳ１頭部髪領域形状データＳ１６，Ｓ１８，Ｓ２０４，Ｓ２２１，Ｓ２２３Ｓ２
２４，Ｓ１４１１〜Ｓ１４１３ステップ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｇ０９Ｂ 23/00 Ｇ０６Ｆ 15/62 ４１５Ｆターム(参考） 2F065 AA04 AA12 AA53 BB05 CC16 DD00 EE00 FF01 FF02 FF04 FF09 HH05 JJ03 JJ05 JJ08 JJ09 QQ00 QQ04 QQ32 QQ34 QQ38 QQ41 QQ42 SS02 SS13 UU05 2F069 AA04 AA66 BB40 EE22 GG04 GG07 GG12 HH30 NN21 NN25 NN26 PP01 QQ01 QQ07 5B057 CE03 CE08 CF01 CF02 DA07 DB03 DB06 DC09 DC14 9A001 HH29 KK37

Claims

【特許請求の範囲】

【請求項１】対象物の形状を表す３次元データを取得
する３次元データ取得装置であって、第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測手段
と、第２計測法にて前記対象物を計測し、当該第２計測法に
て有効な計測が可能である前記対象物上の第２領域の３
次元データを前記第１データよりも精度の低い第２デー
タとして取得する第２計測手段と、前記第１領域および前記第２領域の双方に含まれる領域
の少なくとも一部において前記第２データを優先させつ
つ前記第１データおよび前記第２データを合成する合成
手段と、を備えることを特徴とする３次元データ取得装
置。
【請求項２】対象物の形状を表す３次元データを取得
する３次元データ取得装置であって、第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測手段
と、第２計測法にて前記対象物を計測し、当該第２計測法に
て有効な計測が可能である前記対象物上の第２領域の３
次元データを前記第１データよりも精度の低い第２デー
タとして取得する第２計測手段と、前記第１データが表す形状の主要部に相当するデータと
前記第２データとを合成する合成手段と、を備えること
を特徴とする３次元データ取得装置。
【請求項３】請求項１または２に記載の３次元データ
取得装置であって、前記第２計測手段が、前記対象物の画像である２次元データを取得する手段
と、前記２次元データに基づいて前記第２データを生成する
手段と、を有することを特徴とする３次元データ取得装
置。
【請求項４】請求項１ないし３のいずれかに記載の３
次元データ取得装置であって、前記第１領域および前記第２領域の双方に含まれる領域
の前記第２領域に対する割合に応じて前記合成手段によ
る合成を行うか否かを判断する手段、をさらに備えるこ
とを特徴とする３次元データ取得装置。
【請求項５】前記対象物を人間の頭部とする請求項１
ないし４のいずれかに記載の３次元データ取得装置であ
って、前記第１領域が主として前記頭部の肌領域であり、前記
第２領域が前記頭部の髪領域であることを特徴とする３
次元データ取得装置。
【請求項６】請求項５に記載の３次元データ取得装置
であって、前記対象物上の合成後の前記第１データに相当する領域
と合成後の前記第２データに相当する領域との境界を前
記対象物の内側または外側へと変形するように前記合成
手段により生成されたデータを修正する境界強調手段、
をさらに備えることを特徴とする３次元データ取得装
置。
【請求項７】対象物の形状を表す３次元データを取得
する３次元データ取得方法であって、第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測工程
と、第２計測法にて前記対象物を計測し、当該第２計測法に
て有効な計測が可能である前記対象物上の第２領域の３
次元データを前記第１データよりも精度の低い第２デー
タとして取得する第２計測工程と、前記第１領域および前記第２領域の双方に含まれる領域
の少なくとも一部において前記第２データを優先させつ
つ前記第１データおよび前記第２データを合成する合成
工程と、を有することを特徴とする３次元データ取得方法。
【請求項８】対象物の形状を表す３次元データを取得
する３次元データ取得方法であって、第１計測法にて前記対象物を計測し、当該第１計測法に
て有効な計測が可能である前記対象物上の第１領域の３
次元データを第１データとして取得する第１計測工程
と、第２計測法にて前記対象物を計測し、当該第２計測法に
て有効な計測が可能である前記対象物上の第２領域の３
次元データを前記第１データよりも精度の低い第２デー
タとして取得する第２計測工程と、前記第１データの主要部に相当するデータと前記第２デ
ータとを合成する合成工程と、を有することを特徴とす
る３次元データ取得方法。