JP2001074431A

JP2001074431A - 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置

Info

Publication number: JP2001074431A
Application number: JP25254299A
Authority: JP
Inventors: Tetsuya Katagiri; 哲也片桐; Hiroshi Uchino; 浩志内野
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1999-09-07
Filing date: 1999-09-07
Publication date: 2001-03-23

Abstract

(57)【要約】【課題】原画像に含まれる望ましくないデータを除去す
るとともに、原画像の枚数ができるだけ減少しないよう
にして精度の劣化をできるだけ抑えること。【解決手段】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して被写体における面の向きを抽出す
る抽出方法であって、各画素の強度データの中から所定
の値以上で且つ飽和してない画素の強度データを選択
し、選択した強度データを用いて小画像行列を生成する
小画像行列生成ステップと、各小画像行列に因子分解を
適用して被写体における面の向きを抽出する向き抽出ス
テップと、面向き抽出ステップで得られた面の向きを統
合する面向き統合ステップと、を有してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、いわゆる照度差ス
テレオ法における被写体の面の向きを抽出する方法、そ
れを用いた３次元データ生成方法及び装置に関する。

【０００２】

【従来の技術】従来より、被写体に対する光源の位置つ
まり照射方向を変えて撮像を行うことにより、同じ被写
体について複数の原画像を取得し、取得された複数の原
画像から被写体の３次元情報（３次元データ）を求める
方法、いわゆる照度差ステレオ法が提案されている。

【０００３】その例として、特開平６−３４１８１８号
には、複数の原画像に基づいて各強度データからなる画
像行列を構成する第１ステップ、構成された画像行列を
特異値分解を用いて２組の２行列の積の形に分解し、そ
の１組を選択する第２ステップ、その処理結果から、光
源の明るさ及び反射率に関する制約条件により適当な変
換行列を計算し、その変換行列を第２ステップの処理結
果に施すことによって、被写体の相対的な反射率や面の
向き及び相対的な光源の明るさや光源方向を抽出する第
３ステップからなる方法が開示されている。

【０００４】

【発明が解決しようとする課題】上に述べた従来の方法
においては、複数の原画像を元にして得られた画像行列
に因子分解を適用し、被写体の相対的な反射率や面の向
き及び相対的な光源の明るさや光源方向を抽出する。

【０００５】ところが、被写体の表面のうち、光源の照
射が届かない部分には影ができるので、その部分につい
ては被写体の情報が正しく得られない。また、影でない
部分についても、撮像により得られる原画像は、その画
素の全てが被写体の表面の状態つまり例えば輝度を正し
く反映するとは限らない。

【０００６】すなわち、被写体の表面で光源の照射光の
正反射が生じた場合には、その部分の画素が飽和してし
まう。また、照射光が弱かったり被写体の表面の反射率
が低い場合、又はそれらの条件が重なった場合には、そ
の部分の画素の強度データが低下し、雑音などの影響を
無視できなくなる。

【０００７】このように、原画像の全ての画素が被写体
の表面の情報を正しく伝えるものではなく、一部の画素
に望ましくないデータが生じてしまうことがある。しか
し、上に述べた従来の方法では、このような望ましくな
いデータを十分に除去することなく因子分解を行ってい
るので、それだけ精度が低下するという問題がある。

【０００８】また、望ましくないデータを含んだ原画像
を計算から除外してしまった場合には、それだけ原画像
の枚数が減少して精度が劣化するという問題がある。本
発明は、上述の問題に鑑みてなされたもので、原画像に
含まれる望ましくないデータを除去するとともに、原画
像の枚数ができるだけ減少しないようにして精度の劣化
をできるだけ抑えることを目的とする。

【０００９】

【課題を解決するための手段】請求項１の発明に係る方
法は、光源による照射方向を変えて被写体を撮像するこ
とによって複数の原画像を取得し、各原画像の各画素の
データによって画像行列を生成し、当該画像行列に因子
分解を適用して前記被写体における面の向きを抽出する
抽出方法であって、各画素の強度データの中から所定の
値以上で且つ飽和してない画素の強度データを選択し、
選択した強度データを用いて小画像行列を生成する小画
像行列生成ステップと、各小画像行列に因子分解を適用
して前記被写体における面の向きを抽出する向き抽出ス
テップと、前記面向き抽出ステップで得られた面の向き
を統合する面向き統合ステップと、を有してなる。

【００１０】請求項２の発明に係る方法は、各画素の強
度データの中から所定の値以上で且つ飽和してない画素
の強度データを選択し、選択した強度データを用いて小
画像行列を生成する小画像行列生成ステップと、各小画
像行列に因子分解を適用して前記被写体における面の向
きを抽出する向き抽出ステップと、前記面向き抽出ステ
ップで得られた面の向きを統合する面向き統合ステップ
と、統合した面の向きを絶対座標に変換する座標変換ス
テップと、を有してなる。

【００１１】請求項３の発明に係る方法では、前記小画
像行列生成ステップにおいて、選択した強度データの全
てを用いる。請求項４の発明に係る方法では、前記小画
像行列生成ステップにおいて、所定の枚数以上の原画像
を用いる。

【００１２】請求項５の発明に係る装置は、光源による
照射方向を変えて被写体を撮像することによって複数の
原画像を取得し、各原画像の各画素のデータによって画
像行列を生成し、当該画像行列に因子分解を適用して前
記被写体における面の向きを抽出し、抽出した面の向き
に基づいて前記被写体の３次元データを生成する３次元
データ生成装置であって、各画素の強度データの中から
所定の値以上で且つ飽和してない画素の強度データを選
択し、選択した強度データを用いて小画像行列を生成す
る小画像行列生成手段と、各小画像行列に因子分解を適
用して前記被写体における面の向きを抽出する向き抽出
手段と、前記面向き抽出手段で得られた面の向きを統合
する面向き統合手段と、統合した面の向きを絶対座標に
変換する座標変換手段と、を有してなる。

【００１３】

【発明の実施の形態】図１は本発明に係る３次元データ
生成装置１の概略の構成を示すブロック図、図２は３次
元データ生成装置１による面の向きの抽出処理の流れを
示すフローチャート、図３は４枚の画像Ｆ１，Ｆ２…,
Ｆ４の例を示す図、図４は図３に示す画像Ｆについての
画像行列Ｉの例を示す図である。

【００１４】図１において、３次元データ生成装置１
は、ＣＰＵ１０、カメラ１１、画像処理装置１２、光源
１３、及び光源移動装置１４から構成される。光源１３
が被写体Ｑを照射することによって、被写体Ｑが照明さ
れる。光源１３は光源移動装置１４によって移動可能で
あり、これによって、被写体Ｑへの照射方向及び照射位
置が可変される。カメラ１１は被写体Ｑを撮像する。光
源１３による照射方向を変えて被写体Ｑを撮像すること
により、複数の原画像を取得する。カメラ１１から得ら
れた画像データは、画像処理装置１２により処理され、
ＣＰＵ１０に入力される。

【００１５】ＣＰＵ１０は、光源移動装置１４を制御
し、光源１３を設定された位置又は操作によって指示さ
れた位置に移動させる。また、カメラ１１を制御し、光
源１３の照射位置が定まったタイミングで、又は光源１
３の移動中の適当なタイミングで、被写体Ｑの撮像を行
う。そして、入力されたデータに対し、後述のように被
写体の面の向きを抽出する処理、その他の処理を行い、
３次元データを生成する。

【００１６】ＣＰＵ１０及び画像処理装置１２は、パー
ソナルコンピュータ又はワークステーションなどを用い
て構成することが可能である。処理を実行するためのプ
ログラム及びデータは、ハードディスク、光磁気ディス
ク、フロッピィディスクなどの種々の記録媒体により提
供可能である。

【００１７】図２において、まず、被写体Ｑを撮像して
得たｍ枚の画像（原画像）Ｆを読み込み、画像行列Ｉを
生成する（＃１１）。すなわち、１回の撮像によって得
られる画像をＦｋ（ｋ＝１，２，３…ｍ）として、ｍ回
の撮像によってｍ枚の画像Ｆ１，Ｆ２…, Ｆｍを取得す
る。図３に示す例では、画像Ｆが４枚あり、つまりｍ＝
４であり、各画像Ｆ１，Ｆ２…, Ｆ４は５×５＝２５画
素からなる。これに基づく画像行列Ｉが図４に示されて
いる。図４において、各行には、各画像Ｆ１，Ｆ２…,
Ｆ４について同一の画素が配列される。各列には、それ
ぞれの画像Ｆ１，Ｆ２…, Ｆ４毎に、全ての画素がＰ１
からＰ２５まで順に配列される。

【００１８】なお、各画像Ｆ１〜ｍの中に示す数字は画
素番号である。これらの画像Ｆ１，Ｆ２…, Ｆｍに基づ
いて、次の（１）式に示すように画像行列Ｉを生成す
る。

【００１９】

【数１】

【００２０】なお、ｉ1 ，ｉ2 …, ｉm は、各画像Ｆ
１，Ｆ２…, Ｆｍの画像行列である。（１）式から理解
されるように、画像行列Ｉの各行は、画像Ｆ１，Ｆ２
…, Ｆｍの各座標点に、各列は、同じ位置の光源１３に
よる各画像Ｆ１，Ｆ２…, Ｆｍに、それぞれ対応する。

【００２１】そして、得られた画像行列Ｉの階数が３以
上であることを確認する。上の（１）式で示される各画
像行列Ｉは、被写体Ｑの表面を近似的に拡散反射面であ
ると見なすことによって、次に示す（２）式を満たす。

【００２２】

【数２】

【００２３】ここで、Ｎは面特性行列である。面特性行
列Ｎの行ベクトルを各座標点に関する面特性ベクトルと
いい、その大きさは反射率に、方向は面の法線方向に、
それぞれ対応する。Ｓは光源特性行列であり、光源特性
行列Ｓの列ベクトルを各画像に関する光源特性ベクトル
といい、その大きさは光源の明るさに、方向は光源の方
向に、それぞれ対応する。

【００２４】次に、画像行列Ｉの中から望ましいデータ
のみを抽出し、抽出したデータによって小画像行列Ｉｋ
（ｋ＝１, ２, …ｓ）を構成する（＃１２）。すなわ
ち、画像Ｆの各画素の強度データの中から、所定の値以
上で且つ飽和してない画素の強度データを選択し、選択
した強度データを用いて小画像行列Ｉｋを生成する。こ
こで、飽和とは、ある飽和値を超えている場合をいい、
飽和している画素が所定数以上連続している領域が飽和
領域である。したがって飽和領域では、データが飽和値
を超えて一定である。

【００２５】具体例を説明すると、図３に示す画像Ｆに
おいて、画像Ｆ１の第１画素〔Ｐ（１，１，１）〕及び
第２画素〔Ｐ（２，１，１）〕が望ましくないデータで
あったとする。望ましくないデータとは、データの値が
所定の値以下であったり、又はデータが飽和している場
合である。

【００２６】つまり、データの値が所定の値以下である
場合には、雑音などの影響を無視できなくなる。したが
って、所定値は、光源１３の明るさ、距離、被写体Ｑの
表面の状態、画像Ｆの状態などに応じて、雑音の影響の
度合いを考慮して経験的に決定される。

【００２７】また、データが飽和した場合には、表面の
形状が実際には変化している場合であっても強度データ
が変化しないので、その部分の形状を正しく求めること
ができない。

【００２８】したがって、このような望ましくないデー
タを除外して小画像行列Ｉｋを生成する。図４に示され
るように、画像Ｆ１の第１画素及び第２画素が望ましく
ないデータであるから、これら以外のデータが望ましい
データであり、望ましいデータのみで小画像行列Ｉｋを
生成する。小画像行列Ｉｋの生成方法については後で詳
細に説明する。

【００２９】図２のフローチャートに戻って、次に、小
画像行列Ｉｋを、特異値分解を用いて２組の２行列の積
に分解し、その１組を選択する。これが分解１である
（＃１３）。そして、光源１３の明るさ、又は被写体Ｑ
の反射率に関する条件により、適当な変換行列を計算
し、その変換行列をステップ＃１３での処理結果に施
す。これが分解２である（＃１４）。

【００３０】つまり、小画像行列Ｉｋは、Ｉｋ＝Ｒｋ・
Ｖｋ・Ｍｋ・Ｔｋに分解される。ここで、Ｒは物体表面
反射率、Ｖは物体表面の法線、Ｍは光源方向、Ｔは光源
の明るさである。

【００３１】すなわち、分解１の処理においては、ま
ず、画像行列Ｉに特異値分解を施すことによって、行列
Ｕ、対角化行列Σ、及び行列Ｖを求める。つまり、次に
示す（３）式を求める。

【００３２】Ｉ＝ＵΣＶ ……（３）そして、特異値分解により得られた３つの行列Ｕ，Σ，
Ｖから、それぞれの小行列Ｕ’、Σ’、Ｖ’を次の
（４）式のように抽出する。

【００３３】

【数３】

【００３４】なお、行列Ｕ、Σ、Ｖはそれぞれｍ列であ
るので、小行列Ｕ’及びΣ’は３列、小行列Ｕ”及び
Σ”は（ｍ−３）列、小行列Ｖ’及びＶ”はｍ列であ
る。また、小行列Ｕ’及びＵ”はｎ行、小行列Σ’及び
Ｖ’は３行、小行列Σ”及びＶ”は（ｍ−３）行であ
る。

【００３５】そして、２組の仮の面特性行列Ｎ’及び仮
の光源特性行列Ｓ’を次の（５）式のように求める。

【００３６】

【数４】

【００３７】上の（５）式において、符号が正の場合の
Ｎ’とＳ’の１つの組と、符号が負の場合のＮ’とＳ’
の他の１つの組との２組の行列が得られる。そして、こ
れらの２組の行列におけるそれぞれの積から１組を選択
する。

【００３８】例えば、光源に関する２つの解の行列Ｓ’
の中から、相対関係の分かっている光源の計算結果のみ
を取出して行列を生成し、その行列式を計算する。次
に、実際の相対関係から得られる行列式の符号と照らし
合わせて、符号の一致する解の行列Ｓ’を選択する。

【００３９】また、分解２の処理において、光源１３の
明るさが一定又はそれらの比が分かっている場合に、分
解１の処理で得られた仮の光源特性行列Ｓ’から、光源
の明るさが一定又はそれらの比が分かっている画像の光
源特性ベクトルｓ’のみを取り出す。光源１３の明るさ
が一定の場合には、次の（６）式を得る。

【００４０】

【数５】

【００４１】ここで、行列Ａは求めたい（３，３）の変
換行列である。（３，３）の対称行列Ｂ＝Ａ^TＡを用い
ると、次の（７）式を得る。

【００４２】

【数６】

【００４３】ここで、行列Ｂの各要素を線形最小二乗法
で求め、得られた行列Ｂについて特異値分解を施し、次
の（８）式のような変換行列Ａを求める。

【００４４】

【数７】

【００４５】そして、仮の光源特性行列Ｓ’と変換行列
Ａから、真の光源特性行列Ｓを次の（９）式で求める。Ｓ＝ＡＳ’ ……（９）さらに、仮の面特性行列Ｎ’及び変換行列の逆行列Ａ^-1
から、真の面特性行列Ｎを次の（１０）式で求める。

【００４６】Ｎ＝Ｎ’Ａ^-1 ……（１０）また、分解２の処理において、反射率が一定又はそれら
の比が分かっている場合に、分解１の処理で得られた仮
の面特性行列Ｎ’から、反射率が一定又はそれらの比が
分かっているような座標点の面特性ベクトルｎ’のみを
取り出す。反射率が一定の場合には、次の（１１）式を
得る。

【００４７】

【数８】

【００４８】ここで、（３，３）の対称行列Ｂ＝Ａ^TＡ
を用いると、次の（１２）式を得る。

【００４９】

【数９】

【００５０】そして、（７）式に対するのと同様に、行
列Ｂについて特異値分解を施して次の（１３）式のよう
な変換行列Ａを求める。

【００５１】

【数１０】

【００５２】そして、仮の面特性行列Ｎ’と変換行列Ａ
から、真の面特性行列Ｎを次の（１４）式で求める。Ｎ＝ＡＮ’ ……（１４）さらに、仮の光源特性行列Ｓ’及び変換行列の逆行列Ａ
^-1から、真の光源特性行列Ｓを次の（１５）式で求め
る。

【００５３】Ｓ＝Ｓ’Ａ^-1 ……（１５）そして、上に述べた分解１及び分解２の処理（＃１３、
１４）をｓ回繰り返す。その後、小画像行列Ｉｋより抽
出された被写体Ｑの面の向き全てを、ステップ＃１２の
逆の手順で並べ直す（＃１６）。

【００５４】すなわち、小画像行列Ｉｋ（ｋ＝１, ２,
…ｓ）から抽出された面の向きＮｋは、次のように表さ
れる。

【００５５】

【数１１】

【００５６】ここで、Ｎ１〜４は、それぞれ画像Ｆ１〜
４を因子分解して得られた面特性行列である。それぞれ
において、（Ｘ_j, Ｙ_j, Ｚ_j）の方向が面方向を示
す。そして、画像Ｆの全体の面の向きＮは次の（１６）
式のように表される。

【００５７】

【数１２】

【００５８】このようにして、画像Ｆの面の向きＮが求
められる。なお、上に述べた処理のうち、ステップ＃１
１、１３、１４については、特開平６−３４１８１８号
に詳しく記載されており、公知である。

【００５９】上のフローチャートにおいて、ステップ＃
１２が本発明の小画像行列生成ステップに、ステップ＃
１３及び１４が本発明の面向き抽出ステップに、ステッ
プ＃１６が本発明の面向き統合ステップに、それぞれ対
応する。

【００６０】なお、画像Ｆの全体の面の向きＮが求まっ
た後で、それを絶対座標に変換するために、種々の公知
の方法が用いられる。例えば、各画素についての位置及
び法線方向（面の向き）が求まった状態で、隣接画素の
法線方向を積分していくことにより３次元形状（３次元
データ）が求められる。

【００６１】さて、次に、小画像行列Ｉｋの生成方法に
ついて、図５乃至図８を参照して説明する。図５は画像
Ｆの他の例を示す図、図６乃至図８は図５に示す画像Ｆ
についての画像行列Ｉ及び小画像行列Ｉｋの例を示す図
である。

【００６２】ここでは、図５に示す６画素の７枚の画像
Ｆ１〜７に基づいて処理を行うこととする。図６の右側
に示すように、画像行列Ｉは、各画像Ｆ１〜７の画像行
列ｉ1 ，ｉ2 …, ｉ7 からなる。画像行列Ｉにおいて、
各行には、各画像Ｆ１，Ｆ２…, Ｆ７について同一の画
素が配列される。各列には、それぞれの画像Ｆ１，Ｆ２
…, Ｆ７毎に、全ての画素がＰ１からＰ６まで順に配列
される。図に斜線で示すように、画像Ｆ１の第１画素、
画像Ｆ５の第３画素及び第４画素、並びに画像Ｆ６の第
３画素に、それぞれ望ましくないデータが存在するとす
る。

【００６３】そこで、画像行列Ｉの各行から望ましいデ
ータを選択して小画像行列Ｉｋ（ｋ＝１, ２, …ｓ）を
構成する。その際に、各行における「望ましいデータ」
領域が最大となるようにする。以下において、小画像行
列Ｉｋの３つの構成例について説明する。〔小画像行列Ｉｋの構成例１〕この構成例１では、各画
素について、ある画像の組み合わせが可能であるなら
ば、その画像の組み合わせによって小画像行列Ｉｋを構
成する。同じ画素が複数の小画像行列Ｉｋに重複して用
いられることもある。

【００６４】すなわち、まず、各行について、「望まし
いデータ」領域が最大となるように画像の組み合わせを
選択する。そうすると、図６（Ａ）〜（Ｄ）に示すよう
に、画像の組み合わせは４種類となる。

【００６５】つまり、図６（Ａ）の左側の図において、
第１画素（Ｐ１）について見ると、望ましくないデータ
が画像Ｆ１（画像行列ｉ1 ）に存在するので、画像Ｆ１
を除外し、他の画像Ｆ２〜７を組み合わせとして選択す
る。他の画素（Ｐ２〜６）については、第３画素（Ｐ
３）及び第４画素（Ｐ４）に望ましくないデータが存在
するのでこれを除外する。結局、第１画素（Ｐ１）、第
２画素（Ｐ２）、第５画素（Ｐ５）、第６画素（Ｐ６）
の４つについて、画像Ｆ２〜７（画像行列ｉ2 〜ｉ7 ）
が選択される。これらの「望ましいデータ」領域である
「Ａ」及び「Ｂ」によって、図６（Ａ）の右側の図に示
すような小画像行列Ｉ１が構成される。

【００６６】また、図６（Ｂ）の左側の図において、第
２画素（Ｐ２）について見ると、全部の画像Ｆ１〜７
（画像行列ｉ1 〜ｉ7 ）が「望ましいデータ」領域であ
る。第５画素（Ｐ５）及び第６画素（Ｐ６）について
も、画像Ｆ１〜７が「望ましいデータ」領域である。こ
れらの「望ましいデータ」領域である「Ｃ」及び「Ｄ」
によって、図６（Ｂ）の右側の図に示すような小画像行
列Ｉ２が構成される。

【００６７】同様に、図６（Ｃ）については、「望まし
いデータ」領域である「Ｅ」及び「Ｆ」によって小画像
行列Ｉ３が構成され、図６（Ｄ）については、「望まし
いデータ」領域である「Ｇ」及び「Ｈ」によって小画像
行列Ｉ４が構成される。〔小画像行列Ｉｋの構成例２〕この構成例２では、上に
述べた構成例１で得られる４種類の画像の組み合わせに
対し、組み合わせが可能な画素の全てから画素を選択す
るが、小画像行列Ｉｋの構成に１度でも用いられた画素
は、２度と選択されない。このように、小画像行列Ｉｋ
の要素の個数を低減することによって、処理の高速化が
図られる。

【００６８】また、所定の枚数に達していれば、全ての
「望ましいデータ」を選択しなくても良い。但し、構成
される小画像行列Ｉｋの行の数が「３」に満たない場合
は、他の画素を重複して選択することを許す。行の数が
「３」以上でなければ、小画像行列Ｉｋに基づいてｘ，
ｙ，ｚの各方向の成分を求めることができないからであ
る。

【００６９】各画素について、５枚以上の画像数を満た
せば十分であるとすると、図７に示すように、小画像行
列Ｉｋは２つとなる。「望ましいデータ」領域である
「Ｃ」及び「Ｄ」では、行数が「２」であり、これは
「３」未満であるので、第３画素（Ｐ３）及び第４画素
（Ｐ４）以外の画素から同じ画像の組み合わせの部分を
取ってきて、小画像行列Ｉ２の行数を「３」とする。

【００７０】小画像行列Ｉ２を構成する際に、第１画素
（Ｐ１）については、画像Ｆ１が望ましくないデータで
あるので取ってくることはできない。残りの第２画素
（Ｐ２）、第５画素（Ｐ５）、又は第６画素（Ｐ６）の
いずれかから取ってくることとなる。その際に、第３画
素（Ｐ３）及び第４画素（Ｐ４）に対して画素間距離が
できるだけ遠いものを選択するのがよい。その理由は、
画素間距離の近い画素によって小画像行列Ｉｋを構成し
た場合には、行列中に似たような法線方向が多くなる可
能性があり、その状態で因子分解を行うと法線の抽出精
度が低下するからである。しかし、画素間距離の計算が
煩雑である場合には、それにこだわらず、ランダムに選
択を行ってもよい。〔小画像行列Ｉｋの構成例３〕この構成例３では、構成
例１で得られる４種類の画像の組み合わせに対し、組み
合わせの画素数の多い画素から順に小画像行列Ｉｋを構
成する。これによって無駄を最小にすることができる。
この場合も、小画像行列Ｉｋの構成に１度でも用いられ
た画素は、２度と選択されない。但し、構成された画像
行列Ｉの画素数が「３」に満たない場合は、他の画素を
重複して選択することを許す。

【００７１】図８に示すように、小画像行列Ｉ２，Ｉ３
では、「望ましいデータ」領域である「Ｃ」又は「Ｄ」
の行数がそれぞれ「１」であるので、他の画素から同じ
画像の組み合わせの部分をそれぞれ取ってきて、小画像
行列Ｉ２，Ｉ３の行数をそれぞれ「３」とする。

【００７２】なお、上の３つの構成例において、ステッ
プ＃１６での各画素の面の向きを決定する際に、小画像
行列Ｉｋついて重複しない画素はそのまま法線を決定す
る。重複する画素については、画像数が最大の法線を選
択するか、又は平均を求めて法線を決定すればよい。

【００７３】上に述べたように、本実施形態によると、
画像行列Ｉから「望ましいデータ」領域を切り出し、
「望ましいデータ」によって小画像行列Ｉｋを構成する
ことにより、精度の劣化を食い止めることができる。し
かも、小画像行列Ｉｋに用いられる画像Ｆの枚数ができ
るだけ減少しないようにしているので、オクルージョン
をなくす場合に精度の劣化をできるだけ抑えることがで
きる。したがって、被写体Ｑの形状を高精度に抽出する
ことができ、３次元データを高精度に生成することがで
きる。

【００７４】上の述べた実施形態においては、光源移動
装置１４によって光源１３を移動させたが、光源１３を
移動させることなく、又は移動させるとともに、被写体
Ｑ及びカメラ１１を移動させてもよい。その他、３次元
データ生成装置１の構成、形状、処理内容、処理順序な
どは、本発明の趣旨に沿って適宜変更することができ
る。

【００７５】

【発明の効果】本発明によると、原画像に含まれる望ま
しくないデータを除去するとともに、原画像の枚数がで
きるだけ減少しないようにして精度の劣化をできるだけ
抑えることができる。

【００７６】これによって、被写体の形状を高精度に抽
出することができ、３次元データを高精度に生成するこ
とができる。

【図面の簡単な説明】

【図１】本発明に係る３次元データ生成装置の概略の構
成を示すブロック図である。

【図２】３次元データ生成装置による面の向きの抽出方
法の処理の流れを示すフローチャートである。

【図３】４枚の画像の例を示す図である。

【図４】図３に示す画像についての画像行列の例を示す
図である。

【図５】画像の他の例を示す図である。

【図６】図５に示す画像についての画像行列及び小画像
行列の例を示す図である。

【図７】図５に示す画像についての画像行列及び小画像
行列の他の例を示す図である。

【図８】図５に示す画像についての画像行列及び小画像
行列のさらに他の例を示す図である。

【符号の説明】

１３次元データ生成装置Ｑ被写体Ｆ，Ｆ１，Ｆ２，Ｆｍ画像（原画像）Ｉ画像行列Ｉｋ小画像行列

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA53 BB05 FF05 JJ03 MM13 QQ31 UU05 5B057 BA15 DA07 DB03 DC08

Claims

【特許請求の範囲】

【請求項１】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して前記被写体における面の向きを抽
出する抽出方法であって、各画素の強度データの中から所定の値以上で且つ飽和し
てない画素の強度データを選択し、選択した強度データ
を用いて小画像行列を生成する小画像行列生成ステップ
と、各小画像行列に因子分解を適用して前記被写体における
面の向きを抽出する向き抽出ステップと、前記面向き抽出ステップで得られた面の向きを統合する
面向き統合ステップと、を有してなることを特徴とする被写体の面の向きの抽出
方法。
【請求項２】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して前記被写体における面の向きを抽
出し、抽出した面の向きに基づいて前記被写体の３次元
データを生成する３次元データ生成方法であって、各画素の強度データの中から所定の値以上で且つ飽和し
てない画素の強度データを選択し、選択した強度データ
を用いて小画像行列を生成する小画像行列生成ステップ
と、各小画像行列に因子分解を適用して前記被写体における
面の向きを抽出する向き抽出ステップと、前記面向き抽出ステップで得られた面の向きを統合する
面向き統合ステップと、統合した面の向きを絶対座標に変換する座標変換ステッ
プと、を有してなることを特徴とする３次元データ生成方法。
【請求項３】前記小画像行列生成ステップにおいて、選
択した強度データの全てを用いる、請求項２記載の３次元データ生成方法。
【請求項４】前記小画像行列生成ステップにおいて、所
定の枚数以上の原画像を用いる、請求項２記載の３次元データ生成方法。
【請求項５】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して前記被写体における面の向きを抽
出し、抽出した面の向きに基づいて前記被写体の３次元
データを生成する３次元データ生成装置であって、各画素の強度データの中から所定の値以上で且つ飽和し
てない画素の強度データを選択し、選択した強度データ
を用いて小画像行列を生成する小画像行列生成手段と、各小画像行列に因子分解を適用して前記被写体における
面の向きを抽出する向き抽出手段と、前記面向き抽出手段で得られた面の向きを統合する面向
き統合手段と、統合した面の向きを絶対座標に変換する座標変換手段
と、を有してなることを特徴とする３次元データ生成装置。