JP2000076456A - 3次元形状データ処理装置 - Google Patents
3次元形状データ処理装置Info
- Publication number
- JP2000076456A JP2000076456A JP10245649A JP24564998A JP2000076456A JP 2000076456 A JP2000076456 A JP 2000076456A JP 10245649 A JP10245649 A JP 10245649A JP 24564998 A JP24564998 A JP 24564998A JP 2000076456 A JP2000076456 A JP 2000076456A
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional
- grid
- smoothing
- grid point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Coin-Freed Apparatuses For Hiring Articles (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
ツキを抑えることを可能とした3次元形状データ処理装
置を提供する。 【解決手段】 平滑化処理の対象となる輪郭部の格子点
が定まると、近傍格子点との座標値の重み付け平均化処
理が施され、輪郭部の格子点が平滑化される(ST6
1)。このステップにより輪郭が内側に小さくなるの
で、平滑化前と平滑化後の格子点で差分ベクトルの投影
方向成分を抽出し(ST62)、差分ベクトルの投影方
向成分と平滑化前の格子点の3次元座標ベクトルとを加
算することで、拘束処理後の格子点位置を求める(ST
63)。
Description
模型を作成するための3次元形状データ処理装置に関す
る。
に開示されるような可搬型の非接触式3次元計測装置
(3次元カメラ)が商品化され、CG(コンピュータグ
ラフィック)システムやCADシステムへのデータ入
力、身体計測、ロボットの視覚認識などに利用されてい
る。非接触の計測方法としては、スリット光投影法(光
切断法)が一般的であるが、他にもパターン光投影法、
ステレオ視法、干渉縞法などが知られている。
な3次元CGソフトウェア、およびホビー用の小型の3
次元切削マシンが市販されている。これらを用いれば、
一般家庭でも模型や創作物を手軽に製作することができ
る。
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。
によれば、写真をとるのと同程度の手軽さで人体を含む
各種物体の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。そこで、この3次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、3次元加工機と組み合わせれ
ば、人物の顔を計測してその場で適当な倍率の模型を作
成することが可能である。
中、傾斜のある輪郭部分では距離画像データの変化が大
きいため、輪郭部分を顔面模型に顕出させる際にギザギ
ザ状になるという問題があった。
めになされたもので、顔面模型の輪郭部分において切削
加工のバラツキを抑えることを可能とした3次元形状デ
ータ処理装置を提供することを目的とする。
載の3次元形状データ処理装置は、対象物を非接触で3
次元計測して得られる距離画像データに基づいて、前記
対象物の輪郭形状および凹凸形状をモデル化するための
3次元形状データを生成し、出力する3次元形状データ
処理装置であって、前記距離画像データのうち、前記対
象物の輪郭部に対応する境界データに重み付け平均化処
理を施して平滑化する外周平滑化部を備えている。
ータ処理装置は、前記距離画像データが、前記対象物を
所定の投影方向から標本化格子に投影し、前記対象物の
形状を3次元座標値として投影面上で格子状に配列した
データであって、前記標本化格子は、前記対象物に対応
した投影データを有する有効格子点と、前記対象物に対
応した投影データを有さない無効格子点とを含み、前記
境界データは、前記無効格子点と隣合っている有効格子
点のデータで規定され、前記重み付け平均化処理は、前
記境界データを構成する有効格子点の1つを平滑化対象
格子点とし、該平滑化対象格子点と前記平滑化対象格子
点に隣接する複数の有効格子点との間の距離に応じてそ
れぞれ設定される重み係数を、前記平滑化対象格子点の
データに積算し、その総和を取る処理を含んでいる。
ータ処理装置は、前記対象物の前記標本化格子に対する
投影が、前記所定の投影方向が1方向である正投影法に
よってなされる。
ータ処理装置は、前記対象物の前記標本化格子に対する
投影が、前記所定の投影方向が前記標本化格子の格子点
ごとに異なる透視投影法によってなされる。
ータ処理装置は、前記外周平滑化部が、前記重み付け平
均化処理の後に、前記重み付け平均化処理前の前記平滑
化対象格子点の3次元座標値と、前記重み付け平均化処
理後の前記平滑化対象格子点の3次元座標値との差分ベ
クトルを算出し、該差分ベクトルの前記所定の投影方向
成分のみを抽出して、前記重み付け平均化処理前の前記
平滑化対象格子点の3次元座標値に加算することで、前
記平滑化対象格子点の移動方向を、前記所定の投影方向
のみに拘束する拘束処理を行う機能を有している。
この発明に係る立体模型作成装置1の外観図である。立
体模型作成装置1は、物体形状を計測し、その計測デー
タに基づいて素材をその場で加工する機能を有してお
り、利用客の顔をかたどった小物品の自動販売機として
使用される。作成される物品は、所定形状(例えば四角
形)の板面から顔面の模型が突き出た立体である。板面
(背景部分)に特定の起伏模様を付加することも可能で
ある。このような物品に適当な金具を取り付ければ、ペ
ンダント、ブローチ、キーホルダなどのアクセサリーと
なる。予め素材に金具を取り付けておいてもよい。
利用客がポーズを確認するためのディスプレイ16とと
もに、光学式3次元計測のための投光窓12および受光
窓14が設けられている。受光窓14は2次元のカラー
撮影にも用いられる。筐体10の下半部は上半部よりも
前方側に張り出しており、その上面が操作パネル18と
なっている。商品の取出口20は下半部の前面に設けら
れている。
ち、料金分の硬貨を投入する。その後に利用客がスター
ト操作を行うと、立体模型作成装置1は正面の一定範囲
内に存在する物体の形状を計測するとともに、計測結果
を示す3次元形状モデル(例えばサーフェスモデル)を
表示する。そして、利用客が構図の決定を指示する確認
操作を行うと、立体模型作成装置1は計測結果に応じた
3次元加工を開始する。数分程度の時間で商品が完成す
る。利用客は取出口20から商品を取り出す。
作パネル18には、スタートボタン181、確認ボタン
182、キャンセルボタン183、ジョイスティック1
84、および硬貨の投入口185が設けられている。ス
タートボタン181はスタート操作手段であり、確認ボ
タン182は確認操作手段である。ジョイスティック1
84は模型の構図の変更指示に用いられる。左右に傾け
るパーン操作、上下に傾けるチルト操作、およびノブを
回転させるロール操作に呼応して3次元形状モデルの回
転処理が行われ、処理結果が逐次に表示される。また、
キャンセルボタン183は、利用客が表示された3次元
形状モデルが気に入らないときなどに再計測を指示する
ための操作手段である。ただし、キャンセルボタン18
3には有効回数が設定されており、無制限に再計測を指
示することはできない。
図である。立体模型作成装置1は、模型サイズの3次元
形状モデルを生成するモデリングシステム1Aと、3次
元形状モデルを顕在化する加工システム1Bとから構成
されている。
体である利用客の外観情報をディジタルデータに変換
(データ化)する撮影システム30を含んでいる。撮影
システム30は、スリット光投影法で形状情報をデータ
化して、3次元の距離画像データ(3次元画像データ)
DSを出力する3次元計測装置34、色情報をデータ化
して2次元のカラー画像データDCを出力するする2次
元撮影装置36、およびコントローラ38より構成され
ている。
交座標系における座標値として与えられるデータであ
り、3次元計測装置34内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。距離画像
データDSには、対象物からの反射光の計測データが得
られたか否かを示す有効フラグの情報も含まれる。
3原色データ、即ち、R(レッド)、G(グリーン)、
B(ブルー)より成るデータである。例えば、撮影シス
テム30を特開平9−145319号公報に開示されて
いる3次元カメラを用いて構成するときには、3次元計
測と2次元撮影とを同一視点から行うことができるた
め、距離画像データDSとカラー画像データDCとの対
応付けを極めて容易に行うことができる。なお、カラー
画像データDCは400×400画素データから構成さ
れ、距離画像データDSは200×200の画素データ
から構成される。
れ異なる視点で行った場合でも、距離画像データDS,
カラー画像データDCにはそれぞれ視点情報が付加され
ており、且つ3次元計測結果と2次元撮影結果との座標
の相対関係は既知であるため、距離画像データDS,カ
ラー画像データDCとの対応付けを支障なく行うことが
できる。このような距離画像データDSおよびカラー画
像データDCは、後述するデータ処理装置40に入力さ
れる。
影法に代えて他の手法を用いてもよい。
回路を備えており、本発明に特有のデータ修正を含む各
種のデータ処理を行い、本発明の中核部分である。デー
タ処理装置40のコントローラ42は、立体模型作成装
置1の全体的な制御をも担い、撮影システム30のコン
トローラ38および加工システム1Bのコントローラ1
76に適切な指示を与える。このコントローラ42に
は、ディスプレイ16および操作入力システム44が接
続されている。操作入力システム44は、上述の操作パ
ネル18と料金受領機構とからなる。
などの材料を切削する加工装置172、材料の加工位置
への供給と加工品の取出口20への搬送を行う材料供給
装置174、コントローラ176、および取出口センサ
178を備えている。取出口センサ178の検出信号は
コントローラ42に入力される。
ム1Bの制御をコントローラ42に受け持たせ、コント
ローラ38およびコントローラ176を省略した回路構
成を採用してもよい。
は立体模型作成装置1の概略の動作を示すフローチャー
トである。以下、同図を参照してその概略動作の処理手
順を説明する。
待つ待機期間において、2次元撮影と撮影結果の表示と
を繰り返す(ST10、ST12、ST14)。また、
定期的に案内メッセージを表示する。料金が投入されて
スタートボタン181が押されると、改めて2次元撮影
を行うとともに3次元計測を行う(ST16、ST1
8)。所定のデータ処理を行い(ST20)、得られた
3次元形状モデルを表示する(ST22)。このとき、
影を付すといった公知のグラフィック手法を適用して見
栄えを高める。そして、指示操作を待つ。ただし、待ち
時間は有限であり、時限を過ぎれば確認操作が行われた
ものとみなす。
上述のように3次元形状モデルを操作に応じて回転させ
て表示する(ST24、ST38)。キャンセルボタン
183が押されると、待機期間の動作に戻る(ST4
0、ST10)。ただし、この場合、利用客が料金を改
めて投入する必要はなく、スタートボタン181を押せ
ば、再計測が行われる。
6)、3次元形状モデルに基づいて加工条件データベー
スを参照して加工制御用のデータを生成し(ST2
8)、材料の加工を行う(ST30)。加工が終わる
と、商品を排出し(ST32)、取出口センサ178に
よって商品が取り出されたのを確認して待機動作に戻る
(ST34、ST10)。
図4のステップST20のデータ処理をデータの流れを
示すデータフロー図である。図5において、ハッチング
付の太矢印線はカラー画像データDCの流れを示してお
り、各機能F1〜F9、SF1およびSF2は3次元形
状データを生成するために、図3で示したデータ処理装
置40で行われるデータ処理機能を示している。特に、
機能SF1およびSF2は、3次元形状データ中、顔面
の両眼形状モデルのデータを生成するための機能に該当
している。以下、各機能F1〜F3、SF1、SF2、
F4〜F9をこの順で説明することにするが、本発明の
中核をなす機能は機能F8である。
理装置40は、図3の3次元計測装置34が出力する未
加工の3次元形状データである距離画像データDSに対
してノイズ除去してノイズ除去済みの距離画像データD
S1を得る。
タ処理装置40は、ノイズ除去後の距離画像データDS
1に対して、顔面領域を与えるデータの抽出処理を行
う。すなわち、データ処理装置40は後述するカラー平
滑化後のカラー画像データDC1が与えるカラー画像中
の顔面領域を3次元の距離画像データDS1に対応付け
ることにより、背景データが除去された顔面領域のみを
与える距離画像データDS2を生成する。ここで「顔面
領域」とは、髪の毛、首(顎の下)、耳を除いた顔の領
域を指す。
除去機能F2によって背景除去された距離画像データD
S2に対して、データ処理装置40は、データ欠落画素
部分を周囲の画素を用いて補間する。補間の方法として
は線形補間等がある。データ欠落画素部分が生じる理由
は主として次の2つが考えられる。
光を対象物に照射してその反射光を計測する際、対象
物の黒色部分ではレーザ光の反射率が著しく低下するた
め、模型用顔領域中の黒色部分(黒目部分、眉等)のデ
ータが欠落する、上記計測方式では、対象物中、投光
側および受光側の両方から見える部分だけのデータが得
られるにすぎないため、そうでない部分のデータが欠落
してしまう。
の3次元計測装置34が出力する未加工のカラー画像デ
ータDCに対してデータ処理装置40は、ノイズ除去し
てノイズ除去済みのカラー画像データDC1を得る。
タ処理装置40は、カラー平滑化機能SF1によってノ
イズ除去されたカラー画像データDC1より、両眼部分
の領域を与える2次元のデータDC2を抽出する。ここ
で両眼領域の抽出処理を行うのは、既述したように、距
離画像データから両眼の形状モデルを作成するためであ
る。そして、両眼の形状モデルを3次元形状データの1
つとして作成するのは、人の顔を認識する際の本質的な
部分である両眼(黒目部分)には凹凸形状がない反面、
両眼には色の変化があるため、この輝度情報を奥行きな
いしは深さ(凹凸)の情報として顔面模型に反映させる
ためである。
標変換機能F4>データ処理装置40は、3次元の距離
画像データDS3および2次元の両眼領域データDC2
に対してCF座標変換を施すことにより、3次元の両デ
ータDS4およびDC4を生成する。すなわちデータ処
理装置40は、距離画像データDS3および両眼領域デ
ータDC2がそれぞれ与える人の顔形状および両眼形状
が、カメラに対して真正面に向いた状態となるように座
標変換(正対処理)を行う。これにより、カメラ中心の
座標系で表現されていた両データDS3およびDC2
は、顔中心の座標系で表現されることになる。
装置40は、CF座標変換機能F4でCF座標変換され
た距離画像データDS4に対して再標本化あるいは均等
化というデータの座標変換処理を行う。3次元計測装置
34が透視投影変換により得た距離画像データDSを元
データとする距離画像データDS4は不規則に画素が並
んだデータとなっている。そこで、距離画像データDS
4を新たな視点から見たときに均等に画素が並んでいる
距離画像データに座標変換するのが再標本化処理であ
る。
距離画像データDS4は、人の顔形状モデルを与えるた
めの第1の形状データDS51、疑似両眼形状モデルを
第2の形状データDS52、および顔輪郭近傍形状モデ
ルを生成するための第3の形状データDS53に変換さ
れる。
ータ処理装置40は、CF座標変換機能F4でCF座標
変換されたカラー画像データDC4および再標本化機能
F5で再標本化された第2の形状データDS52とに基
づき、第2の形状データDS52における両眼対応領域
の奥行き(切削深さ)を与える疑似両眼形状データDS
6を生成する。
標本化機能F5で再標本化された人の顔形状モデルを与
えるための第1の形状データDS51および顔輪郭近傍
形状モデルを生成するための第3の形状データDS53
に基づき、第3の形状データDS53が与える形状モデ
ルから、第1の形状データDS51が与える形状モデル
と重複した部分のデータ削除を行い(差分処理)、顔輪
郭形状データDS7(境界データ)を生成する。
輪郭形状設定機能F7で生成された顔輪郭形状データD
S7および再標本化機能F5で再標本化された第1の形
状データDS51に対して外周平滑化を行う。すなわ
ち、顔面中、傾斜のある輪郭部分では距離画像データの
変化が大きいため、かかる傾斜面を顔面模型に顕出させ
る際にギザギザ状になるという問題が生じる。そこで、
横方向から顔面模型を眺めても傾斜面の切削位置が平滑
化するように、両データDS51およびDS7をそれぞ
れ修正して第1の形状データDS81および顔輪郭形状
データDS83を生成する。なお、本機能については後
に詳述する。
換機能F9>外周平滑化機能機能F8で外周平滑化処理
された第1の形状データDS81および顔輪郭形状デー
タDS83並びに疑似両眼形状設定機能F6で生成され
た疑似両眼形状データDS6に対して、これらのデータ
が顔面を加工するワークの大きさに応じた形状データと
なるように座標変換を施す。
状データDS91、疑似両眼形状モデルを与える疑似
両眼形状データDS92、および顔輪郭近傍形状モデ
ルを与える顔輪郭近傍形状データDS93が最終的に得
られる。これらの形状データDS91,DS92および
DS93を「3次元形状データ」とも総称する。なお、
本機能については後に詳述する。
詳細> <D−1.距離画像データの平滑化>まず、再標本化さ
れた距離画像データについて図6を用いて簡単に説明す
る。図6に示すように3次元オブジェクトOJに、ある
方向(図中においてはp方向)から正方格子(標本化格
子)MRXを正投影することにより再標本化されたデー
タは、投影面上で格子状に規則正しく配列されており、
各格子点には定められた3次元直交座標系における座標
値が格納されている。このような3次元点列データを再
標本化された距離画像データと称する。このデータは、
先述した再標本化機能F5によって得られた、第1の形
状データDS51および、第1の形状データDS51に
基づいて顔輪郭形状設定機能F7によって得られた、顔
輪郭形状データDS7(境界データ)として与えられ
る。
3次元データを有さない格子点(無効格子点k)には
「無効」を示す無効フラグが付加され、対応する3次元
データを有する格子点(有効格子点i)には「有効」を
示す有効フラグが付加されている。
格子点において、自分自身の3次元座標値、および格子
上で隣接する格子点(4近傍または8近傍)のうち、有
効フラグを持つものの3次元座標値の重み付け平均化処
理を行うことが距離画像データの平滑化である。
化>図7および図8に、それぞれ4近傍および8近傍の
格子点による平滑化のモデルを示す。図7においては、
4近傍の格子点による平滑化の一例として、平滑化対象
となる有効格子点iと、それに隣接する3つの有効格子
点j1、j2、j3と、隣接する無効格子点k1の5つが示
されている。なお、4近傍とは、平滑化対象となる有効
格子点iの他に、その周囲の4つの格子点を含んでいる
ことを意味している。
よる平滑化の一例として、平滑化対象となる有効格子点
iと、それに隣接する6つの有効格子点j1〜j6と、隣
接する2の無効格子点k1、k2の9つが示されている。
なお、8近傍とは、平滑化対象となる有効格子点iの他
に、その周囲の8つの格子点を含んでいることを意味し
ている。
示した理由は、本発明においては、顔面の外周、すなわ
ち輪郭部分に平滑化処理を施すことを特徴としているか
らである。すなわち、有効フラグを有する格子点におい
て顔面の輪郭を構成する格子点は、無効フラグを有する
格子点と隣合っている有効フラグを有する格子点であ
り、図7および図8においては有効格子点iがそれに該
当する。
顔面の輪郭を構成する格子点に対応する3次元座標値
(境界データ)の重み付け平均化処理を行うことで、顔
面の輪郭形状を平滑化し、傾斜のある輪郭部分を顔面模
型に顕出させる際に切削位置を平滑化することができ、
横方向から顔面模型を眺めた場合に滑らかな加工面を得
ることができる。
は以下に示す数式(1)によって行うことができる。
郭を構成する格子点のインデックスの集合をB、有効格
子点のインデックスの集合をE、平滑化対象となる格子
点i自身と、それに隣接する4点(4近傍)、または平
滑化対象となる格子点i自身と、それに隣接する8点
(8近傍)の格子点のインデックスの集合をNi、格子
点iの平滑化前の3次元座標ベクトルをVi、格子点i
および、その近傍の有効格子点の3次元座標ベクトルを
Vj、格子点iの平滑化後の3次元座標ベクトルをVi’
とする。
3次元空間における距離)に応じて設定される重み係数
であり、距離が大きくなるにつれて値が単調に減少する
ような関数によって設定される。
したような重み付け平均化処理(平滑化)を行った場
合、輪郭を構成する格子点(有効な格子点)が、輪郭の
周囲の無効な格子点の側から離れる方向に移動すること
になり、平滑化後の輪郭を見ると平滑化前よりも内側に
小さくなっている。
デルを示す。図9に示すように、平滑化対象となる有効
格子点iを平滑化すると、無効格子点kから離れるよう
に移動し、有効格子点i’となる。
画像として見た場合の一例を図10に示す。図10にお
いて平滑化前の輪郭C1は、平滑化後には輪郭C2とな
る。
行う際に、各格子点の3次元座標値が投影方向以外には
移動せず、あたかも視線に対して拘束されているように
すれば良い。すなわち、数式(1)で示される平滑処理
を輪郭を構成する格子点に対して施した後、移動後の格
子点の座標値と元(平滑化前)の格子点の座標値との差
分ベクトルを計算し、その差分ベクトルの投影方向成分
のみを取り出して元の格子点の座標値に加えれば良い。
この処理(拘束処理)を行うための数式(2)を以下に
示す。
次元単位ベクトルをp、その転置ベクトルをpTとし、
格子点iの平滑化前の3次元座標ベクトルをVi、格子
点iの平滑化後の3次元座標ベクトルをVi’、拘束処
理後の3次元座標ベクトルをVi”とする。
3次元座標ベクトルVi’を上記数式(2)で処理する
ことで視線拘束を行うことができる。なお、数式(2)
の右辺第2項は差分ベクトルの投影方向成分を表す。
いて示す。図11において、標本化格子MRXに投影さ
れた距離画像データのうち、輪郭を示す格子点iの平滑
化前の3次元座標ベクトルをVi、格子点iの平滑化後
の3次元座標ベクトルをVi’、拘束処理後の3次元座
標ベクトルをVi”として示している。図11に示すよ
うに、拘束処理により格子点iは投影方向に沿ってVi
からVi”に移動することになり、投影方向以外に移動
することは防止される。従って、標本化格子MRXに投
影された画像の輪郭が内側に小さくなることが防止され
ることになる。
以上説明した、輪郭部の距離画像データの平滑化(外周
平滑化処理)および拘束処理の一連の動作を図12に示
すフローチャートにまとめる。
トすると、ステップST60において平滑化処理の対象
が有効格子点であるか否かを確認する。これは、図5に
示すデータフロー図に示す顔輪郭形状設定機能F7で生
成された顔輪郭形状データDS7を対象とする動作であ
る。
格子点が定まると、近傍格子点との座標値の重み付け平
均化処理が施され、輪郭部の格子点が平滑化される(S
T61)。
第1の形状データDS51は、近傍格子点(有効格子
点)のデータとして利用される。
輪郭が内側に小さくなるので、数式(2)により拘束処
理を行う。そのために、まずステップST62において
数式(2)の右辺第2項に示す差分ベクトルの投影方向
成分を抽出する。
ベクトルの投影方向成分と平滑化前の格子点の3次元座
標ベクトルとを加算することで、拘束処理後の格子点位
置を求める。この格子点位置のデータが顔輪郭形状デー
タDS83となる。
を輪郭を構成する全ての格子点に対して施したか否かを
確認し(ST64)、未処理の格子点が存在すればステ
ップST60〜ST63の処理を繰り返し、全ての格子
点が処理されていれば外周平滑化処理を終了する。
滑化処理および拘束処理は、距離画像データの全ての方
向について処理を行う例を示したが、拘束処理によって
距離画像データは投射方向である1方向のみに移動する
ので、投影方向を座標軸のうちの1つと平行とし、その
座標成分のみに外周平滑化処理を行うようにしても良
い。
ならば、オブジェクトOJの投影方向pと、3次元座標
軸のZ軸方向とは一致していない。そこで、3次元座標
軸を回転させてZ軸と投影方向pとを一致させた後、輪
郭部を構成する格子点のZ座標のみについて重み付け平
均化処理を行い上述した3次元座標軸の回転変換を打ち
消すような逆の回転変換を加えることで、数式(1)と
同様の外周平滑化処理を行うことができる。
(5)を用いて表す。
のベクトルを、原点を同じくするもう1つの長さ1のベ
クトルに回転角度最小で重ね合わせ可能な回転行列Rを
求める式である。そして、数式(3)におけるR-1は行
列Rの逆行列である。また、数式(4)におけるIは単
位行列、pzは単位投影方向ベクトルpのZ座標であ
る。
ルpと3次元回転行列の外積により得られる3次元ベク
トルuを求める式である。なお、数式(4)におけるu
Tは、3次元ベクトルuの転置ベクトルである。
のデータフロー図に示すように、外周平滑化処理を再標
本化処理の後に行う場合を前提とした説明であったが、
外周平滑化処理を再標本化処理の前、図5に示すデータ
フロー図に即して言えば距離平滑化処理F1において行
うようにしても良い。この場合、距離画像データは入力
時のデータであり、透視投影により計測されることにな
る。
により計測する場合のモデルを図13に示す。図13に
示すように3次元オブジェクトOJに、投影中心eから
正方格子(標本化格子)MRX上に透視投影することに
より、データを投影面上で格子状に規則正しく配列する
ことができる。この場合、投影の方向を示す単位方向ベ
クトルは図中pi、pjで示すように格子点ごとに異な
る。
(6)のように変更しなくてはならない。
はpiは以下に示す数式(7)で表される。また、数式
(6)に示すpi Tはベクトルはpiの転置ベクトルであ
る。
(視点)の3次元座標位置ベクトルである。
理と、透視投影の場合の外周平滑化処理とではアルゴリ
ズム的に異なるが、透視投影の場合の外周平滑化処理の
アルゴリズムを準備しておけば、各格子点における単位
方向ベクトルを共通化することで、正投影の場合の外周
平滑化処理への適用も可能である。
F9についての詳細>図5に示す機能F1〜F8、SF
1および、SF2によって得られた第1の形状データD
S81、顔輪郭形状データDS83および疑似両眼形状
データDS6によって構成される「顔」を収容する立方
体をバウンディングボックスと称し、FW座標変換機能
F9には、このバウンディングボックスが顔面模型の加
工材料となる加工物直方体の大きさとほぼ合致するよう
にバウンディングボックスの座標変換を行うことが含ま
れる。以下、FW座標変換について図14〜図23を用
いて説明する。
図15に加工物直方体CCを示す。図14においては
「顔」がバウンディングボックスBBに収容された状態
を模式的に表している。図14において、バウンディン
グボックスBBのXWZ方向の各辺は、それぞれFW、
FL、FDで表され、図15において、加工物直方体C
CのXWZ方向の各辺は、それぞれWW、WL、WDで
表されている。
体構成>以下、FW座標変換を行うための処理フローに
ついて図16〜図18を用いて説明する。まず、FW座
標変換の処理フローの全体構成について図16を用いて
説明する。
第1の形状データDS81、顔輪郭形状データDS83
および疑似両眼形状データDS6によって構成される
「顔」を最小限の大きさで収容するようにバウンディン
グボックスBBを求める。
ディングボックスBBの辺FLの長さが加工物直方体C
Cの辺WLの長さに一致するようにスケール変更を行
う。
ディングボックスBBの辺FDおよび辺FWの長さが、
加工物直方体CCの辺WDおよび辺WWの長さより大き
いか否かの比較を行う。
ウンディングボックスBBの辺FDおよび辺FWの長さ
の補正処理(ST73)を行った後、「顔」に関するデ
ータを加工物直方体CCの座標に平行移動する(ST7
4)。なお、上記比較結果がノーの場合は、ステップS
T74の平行移動処理を行う。
の距離画像データのうち、加工物直方体CCの外部に位
置するピクセルのフラグを無効とすることで、一連の処
理が終了する。
ST75の詳細については後に説明する。
すステップST73の補正処理の詳細について、以下、
図17を用いて説明する。
バウンディングボックスBBと加工物直方体CCの辺F
Dおよび辺WDの長さの差(FD−WD)と、加工物直
方体CCの辺WDの長さとの比率であるDRateを算
出する。
teと、予め定めた閾値DThreshとの比較を行
い、DRateが大きい場合にはステップST82にお
いてDRate=DThreshとなるようにバウンデ
ィングボックスBBの各辺を変更するスケール値DSc
aleを算出する。
eshよりもDRateが小さいと判断された場合は、
バウンディングボックスBBのスケール値DScale
は1に設定する(ST83)。
ディングボックスBBと加工物直方体CCの辺FWおよ
び辺WWの長さの差(FW−WW)と、加工物直方体C
Cの辺WWの長さとの比率であるWRateを算出す
る。
teと、予め定めた閾値WThreshとの比較を行
い、WRateが大きい場合にはステップST86にお
いてWRate=WThreshとなるようにバウンデ
ィングボックスBBの各辺を変更するスケール値WSc
aleを算出する。
eshよりもWRateが小さいと判断された場合は、
バウンディングボックスBBのスケール値WScale
は1に設定する(ST87)。
aleとWScaleとの比較を行い、DScaleの
方が大きい場合にはWScaleでバウンディングボッ
クスBBの各辺のスケール変更を行い(ST89)、一
連の処理を終了する。
DScaleでバウンディングボックスBBの各辺のス
ケール変更を行い(ST90)、一連の処理を終了す
る。
に示すステップST74の平行移動処理の詳細につい
て、以下、図18〜図21を用いて説明する。
ャートであり、まず、図18に示すステップST100
において、バウンディングボックスBBおよび加工物直
方体CCの中心座標を算出する。
ンディングボックスBBの中心座標(X,Y座標のみ)
を、加工物直方体CCの中心座標(X,Y座標のみ)に
一致させるように平行移動させる。
ウンディングボックスBBのZ座標の最大値を、加工物
直方体CCのZ座標の最大値に合わせるようにZ方向の
平行移動を行う。
理を終了した状態を模式的に示す。図19においては、
加工物直方体CCのXZ面と「顔」、すなわちバウンデ
ィングボックスBBの位置関係を示している。
ボックスBB(図においては「顔」として表現)のZ座
標の最大値BMAX(図においては鼻の先端)が加工物
直方体CCのZ座標の最大値CMAXに一致している。
と加工物直方体CCのZ座標の最大値を一致させること
で、加工物直方体CCに顔面を彫り込んだ場合、後頭部
に相当する部分を板面BPとして残すことができ、板面
BPに装飾を施すなどして見栄えを高めることができ
る。
ップST102において、バウンディングボックスBB
のZ座標の最小値を、加工物直方体CCのZ座標の最小
値に合わせるようにZ方向の平行移動を行うようにして
も良い。
した状態を模式的に示す。図20においては、加工物直
方体CCのXZ面と「顔」、すなわちバウンディングボ
ックスBBの位置関係を示す。
BB(図においては「顔」として表現)のZ座標の最小
値BMIN(図においては後頭部)が加工物直方体CC
のZ座標の原点に一致している。
ップST102において、バウンディングボックスBB
のZ座標の中心値を、加工物直方体CCのZ座標の中心
値に合わせるようにZ方向の平行移動を行うようにして
も良い。
した状態を模式的に示す。図21においては、加工物直
方体CCのXZ面と「顔」、すなわちバウンディングボ
ックスBBの位置関係を示す。
BB(図においては「顔」として表現)のZ座標の中心
値BMIDが加工物直方体CCのZ座標の中心値CMI
Dに一致している。
以上説明した平行移動処理においては、バウンディング
ボックスBBを加工物直方体CCに重ね合わせる操作を
示したが、バウンディングボックスBBの大きさ、すな
わち顔の大きさの個人差に起因して、バウンディングボ
ックスBBの方が加工物直方体CCより大きくなってし
まう場合がある。図22にこのような状態を模式的に示
す。図22においては加工物直方体CCからはみ出すバ
ウンディングボックスBBを鎖線で示している。
ような場合に加工物直方体CCからはみ出す「顔」の距
離画像データを無効にする操作を示している。図23に
XY方向のバウンディングボックスBBおよび加工物直
方体CCを示す。加工物直方体CCの外部に位置するピ
クセルのフラグを無効とすることで、加工物直方体CC
には図23に示すように、「顔」の左右の端部の距離画
像データが反映されないことになる。
図6〜図23を用いた説明は、立体模型作成装置1の概
略の動作を示す図4のステップST20のデータ処理に
関連するものであり、ST20で処理したデータに基づ
いてステップST28において加工条件データベースを
参照して加工制御用のデータを生成することで加工作業
が実行される。
ップST28における加工データ生成に関連して補足的
に説明する。
施す状態を示す図であり、エンドミルなどの切削刃物E
Mが加工物直方体CCの上部、すなわち「顔」の上部を
切削している状態が示されている。なお、図24におい
ては、図16に示すステップST74の平行移動処理
で、バウンディングボックスBBのZ座標の最大値を、
加工物直方体CCのZ座標の最大値に合わせるようにし
た場合に相当しており、「顔」は板面BP上に形成され
ることになる。
いっぱい、すなわち加工物直方体CCの全体に渡って形
成される場合、「顔」とワークに挟まれた狭小部分には
切削刃物EMが入らないが発生することがある。
ためには、図25に示すように加工基準面WRPを加工
物直方体CCの外部にまで延長し、加工物直方体CCの
外部においても切削刃物EMが加工動作を行うように外
挿的に加工しろデータを生成すれば良い。
部および下部平面(XY平面)上を切削刃物EMが移動
できるように加工しろデータが設定された例を示してい
る。また、加工しろデータのY方向の大きさSは、切削
刃物EMの直径の半分に設定されている。
限定されず、加工物直方体CCの左右に相当するYZ平
面上に設定しても良い。
工しろデータを設定することで削り残しを防止すること
が可能となる。
データ処理装置によれば、外周平滑化部において、距離
画像データのうち、対象物の輪郭部に対応する境界デー
タに重み付け平均化処理を施して平滑化するので、例え
ば、対象物が人の顔であって、3次元形状データを用い
て顔面模型を製作する場合に、傾斜のある輪郭部分を顔
面模型に顕出させる際に切削位置を平滑化することがで
き、横方向から顔面模型を眺めた場合に滑らかな加工面
を得ることができる。
ータ処理装置によれば、平滑化対象格子点に隣接する複
数の有効格子点の重み係数を調整することで平均化の精
度を調整することができる。
ータ処理装置によれば、対象物の3次元計測が透視投影
法によりなされた場合、正投影法によって距離画像デー
タを均等に配列するための座標変換を行うが、外周平滑
化部においては対象物の標本化格子に対する投影に正投
影法を採用しているので、上記座標変換の後に外周平滑
化を行うことができる。
ータ処理装置によれば、外周平滑化部においては対象物
の標本化格子に対する投影に透視投影法を採用している
ので、透視投影法により得られた距離画像データに対し
て外周平滑化を行うことができ、透視投影法により得ら
れた距離画像データを正投影変換する前の比較的初期の
段階で外周平滑化を行うことが可能となる。
ータ処理装置によれば、平滑化対象格子点の移動方向
を、前記所定の投影方向のみに拘束する拘束処理を行う
ことができるので、対象物の輪郭が内側に縮まることを
防止でき、3次元形状データを用いて対象物の模型を製
作する場合に、当該模型の輪郭が縮んで、形状がいびつ
になることを防止できる。
成装置の外観図である。
ャートである。
す図である。
する図である。
する図である。
す図である。
する図である。
作を示すフローチャートである。
る。
る。
チャートである。
る。
ある。
終了した状態を模式的に示す図である。
終了した状態を模式的に示す図である。
終了した状態を模式的に示す図である。
り大きい状態を説明する図である。
り大きい場合の顔データを模式的に示す図である。
図である。
方体に切削加工を施す状態を示す図である。
Claims (5)
- 【請求項1】 対象物を非接触で3次元計測して得られ
る距離画像データに基づいて、前記対象物の輪郭形状お
よび凹凸形状をモデル化するための3次元形状データを
生成し、出力する3次元形状データ処理装置であって、 前記距離画像データのうち、前記対象物の輪郭部に対応
する境界データに重み付け平均化処理を施して平滑化す
る外周平滑化部を備える、3次元形状データ処理装置。 - 【請求項2】 前記距離画像データは、前記対象物を所
定の投影方向から標本化格子に投影し、前記対象物の形
状を3次元座標値として投影面上で格子状に配列したデ
ータであって、 前記標本化格子は、前記対象物に対応した投影データを
有する有効格子点と、前記対象物に対応した投影データ
を有さない無効格子点とを含み、 前記境界データは、前記無効格子点と隣合っている有効
格子点のデータで規定され、 前記重み付け平均化処理は、前記境界データを構成する
有効格子点の1つを平滑化対象格子点とし、該平滑化対
象格子点と前記平滑化対象格子点に隣接する複数の有効
格子点との間の距離に応じてそれぞれ設定される重み係
数を、前記平滑化対象格子点のデータに積算し、その総
和を取る処理を含む、請求項1記載の3次元形状データ
処理装置。 - 【請求項3】 前記対象物の前記標本化格子に対する投
影は、前記所定の投影方向が1方向である正投影法によ
ってなされる、請求項2記載の3次元形状データ処理装
置。 - 【請求項4】 前記対象物の前記標本化格子に対する投
影は、前記所定の投影方向が前記標本化格子の格子点ご
とに異なる透視投影法によってなされる、請求項2記載
の3次元形状データ処理装置。 - 【請求項5】 前記外周平滑化部は、前記重み付け平均
化処理の後に、 前記重み付け平均化処理前の前記平滑化対象格子点の3
次元座標値と、前記重み付け平均化処理後の前記平滑化
対象格子点の3次元座標値との差分ベクトルを算出し、
該差分ベクトルの前記所定の投影方向成分のみを抽出し
て、前記重み付け平均化処理前の前記平滑化対象格子点
の3次元座標値に加算することで、前記平滑化対象格子
点の移動方向を、前記所定の投影方向のみに拘束する拘
束処理を行う機能を有する、請求項2記載の3次元形状
データ処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24564998A JP3743171B2 (ja) | 1998-08-31 | 1998-08-31 | 3次元形状データ処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24564998A JP3743171B2 (ja) | 1998-08-31 | 1998-08-31 | 3次元形状データ処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000076456A true JP2000076456A (ja) | 2000-03-14 |
JP3743171B2 JP3743171B2 (ja) | 2006-02-08 |
Family
ID=17136790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24564998A Expired - Lifetime JP3743171B2 (ja) | 1998-08-31 | 1998-08-31 | 3次元形状データ処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3743171B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011033497A (ja) * | 2009-08-03 | 2011-02-17 | Honda Motor Co Ltd | 環境認識システム、環境認識方法およびロボット |
JP2013528790A (ja) * | 2010-05-10 | 2013-07-11 | ファロ テクノロジーズ インコーポレーテッド | 環境を光学的に走査および測定する方法 |
JP2017083956A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | 情報処理装置および情報処理方法、撮像装置およびプログラム |
JP2017537363A (ja) * | 2014-09-24 | 2017-12-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生体構造のボリュメトリック画像を視覚化すること |
JP2018036897A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110980276B (zh) * | 2019-12-30 | 2021-08-17 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
-
1998
- 1998-08-31 JP JP24564998A patent/JP3743171B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011033497A (ja) * | 2009-08-03 | 2011-02-17 | Honda Motor Co Ltd | 環境認識システム、環境認識方法およびロボット |
JP2013528790A (ja) * | 2010-05-10 | 2013-07-11 | ファロ テクノロジーズ インコーポレーテッド | 環境を光学的に走査および測定する方法 |
JP2017537363A (ja) * | 2014-09-24 | 2017-12-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生体構造のボリュメトリック画像を視覚化すること |
JP2017083956A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | 情報処理装置および情報処理方法、撮像装置およびプログラム |
JP2018036897A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3743171B2 (ja) | 2006-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10229483B2 (en) | Image processing apparatus and image processing method for setting an illumination environment | |
KR101613721B1 (ko) | 2d 이미지 시퀀스들로부터 3d 장면을 재구성하기 위한방법 | |
JP2000293687A (ja) | 3次元形状データ処理装置および3次元形状データ処理方法 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
US8537155B2 (en) | Image processing apparatus and method | |
US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
WO1999015945A2 (en) | Generating three-dimensional models of objects defined by two-dimensional image data | |
JP3743171B2 (ja) | 3次元形状データ処理装置 | |
JP2000076454A (ja) | 3次元形状データ処理装置 | |
JP2003090714A (ja) | 画像処理装置、及び画像処理プログラム | |
JP2000339498A (ja) | 3次元形状データ処理装置 | |
US7068835B1 (en) | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor | |
JP2001012922A (ja) | 3次元データ処理装置 | |
JP2000321050A (ja) | 3次元データ取得装置および3次元データ取得方法 | |
JP3341549B2 (ja) | 3次元形状データ処理装置 | |
JPH11312228A (ja) | 3次元形状データ処理装置 | |
Kaplan et al. | Producing Models From Drawings of Curved Surfaces. | |
JP2001209799A (ja) | 3次元形状データ処理装置、それを用いた3次元形状加工装置、3次元形状データ処理方法および記録媒体 | |
JP2000076455A (ja) | 3次元形状データ処理装置 | |
JPH11188183A (ja) | 3次元形状データ処理装置及びモデリングシステム | |
JP2001045519A (ja) | 3次元データ生成装置、3次元データ生成方法および記録媒体 | |
JPH11328444A (ja) | モデリングシステム | |
JP2000076452A (ja) | 3次元形状データ処理装置及び立体模型作成装置 | |
JP2001208521A (ja) | 3次元データ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081125 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |