JP2001074417A - ３次元データ生成方法及び装置 - Google Patents
３次元データ生成方法及び装置Info
- Publication number
- JP2001074417A JP2001074417A JP25254399A JP25254399A JP2001074417A JP 2001074417 A JP2001074417 A JP 2001074417A JP 25254399 A JP25254399 A JP 25254399A JP 25254399 A JP25254399 A JP 25254399A JP 2001074417 A JP2001074417 A JP 2001074417A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- light source
- dimensional data
- matrix
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】照度差ステレオ法で求められる相対的な座標系
を絶対的な座標系に高精度で変換し、精度の高い３次元
データを生成すること。 【解決手段】光源１３による照射方向を変えて被写体Ｑ
を撮像することにより複数の原画像を取得し、各原画像
のデータによって画像行列を生成し、当該画像行列に因
子分解を適用して被写体Ｑにおける面の向きを抽出し、
抽出した面の向きに基づいて被写体Ｑの３次元データを
生成する３次元データ生成方法であって、被写体Ｑを撮
像する際に、立体チャートＱＡの表面の反射率の比及び
面の向きが既知である少なくとも３つの面を被写体Ｑと
ともに撮像し、３つの面の反射率及び面の向きを用いて
被写体Ｑの面の向きを絶対的な座標系に変換する。
を絶対的な座標系に高精度で変換し、精度の高い３次元
データを生成すること。 【解決手段】光源１３による照射方向を変えて被写体Ｑ
を撮像することにより複数の原画像を取得し、各原画像
のデータによって画像行列を生成し、当該画像行列に因
子分解を適用して被写体Ｑにおける面の向きを抽出し、
抽出した面の向きに基づいて被写体Ｑの３次元データを
生成する３次元データ生成方法であって、被写体Ｑを撮
像する際に、立体チャートＱＡの表面の反射率の比及び
面の向きが既知である少なくとも３つの面を被写体Ｑと
ともに撮像し、３つの面の反射率及び面の向きを用いて
被写体Ｑの面の向きを絶対的な座標系に変換する。
Description
【０００１】
【発明の属する技術分野】本発明は、いわゆる照度差ス
テレオ法を用いた３次元データ生成方法及び装置に関す
る。
テレオ法を用いた３次元データ生成方法及び装置に関す
る。
【０００２】
【従来の技術】従来より、被写体に対する光源の位置つ
まり照射方向を変えて撮像を行うことにより、同じ被写
体について複数の原画像を取得し、取得された複数の原
画像から被写体の３次元データ（３次元情報）を求める
方法、いわゆる照度差ステレオ法が提案されている。
まり照射方向を変えて撮像を行うことにより、同じ被写
体について複数の原画像を取得し、取得された複数の原
画像から被写体の３次元データ（３次元情報）を求める
方法、いわゆる照度差ステレオ法が提案されている。
【０００３】その例として、特開平６−３４１８１８号
には、複数の原画像に基づいて各強度データからなる画
像行列を構成する第１ステップ、構成された画像行列を
特異値分解を用いて２組の２行列の積の形に分解し、そ
の１組を選択する第２ステップ、その処理結果から、光
源の明るさ及び反射率に関する制約条件により適当な変
換行列を計算し、その変換行列を第２ステップの処理結
果に施すことによって、被写体の相対的な反射率や面の
向き及び相対的な光源の明るさや光源方向を抽出する第
３ステップからなる方法が開示されている。
には、複数の原画像に基づいて各強度データからなる画
像行列を構成する第１ステップ、構成された画像行列を
特異値分解を用いて２組の２行列の積の形に分解し、そ
の１組を選択する第２ステップ、その処理結果から、光
源の明るさ及び反射率に関する制約条件により適当な変
換行列を計算し、その変換行列を第２ステップの処理結
果に施すことによって、被写体の相対的な反射率や面の
向き及び相対的な光源の明るさや光源方向を抽出する第
３ステップからなる方法が開示されている。
【０００４】
【発明が解決しようとする課題】しかし、上に述べた従
来の方法では、画像行列の分解によって求められる面の
向き及び光源方向の座標系は相対的な座標系であり、被
写体を撮像するカメラから見た座標系（カメラ座標系）
とは異なる。つまり、ユーザは、カメラを操作して画像
を撮像するのであるが、そのユーザの期待する座標系
は、例えば、カメラの視線方向Ｚ、カメラにより撮像さ
れる画像の水平方向Ｘ、同じく垂直方向Ｙをそれぞれ軸
とする座標系（絶対的な座標系）である。したがって、
従来の方法で得られる相対的な座標系を絶対的な座標系
に変換する必要がある。
来の方法では、画像行列の分解によって求められる面の
向き及び光源方向の座標系は相対的な座標系であり、被
写体を撮像するカメラから見た座標系（カメラ座標系）
とは異なる。つまり、ユーザは、カメラを操作して画像
を撮像するのであるが、そのユーザの期待する座標系
は、例えば、カメラの視線方向Ｚ、カメラにより撮像さ
れる画像の水平方向Ｘ、同じく垂直方向Ｙをそれぞれ軸
とする座標系（絶対的な座標系）である。したがって、
従来の方法で得られる相対的な座標系を絶対的な座標系
に変換する必要がある。
【０００５】そのため、従来においては、上の公報にも
記載されるように、絶対的な座標系に変換するために被
写体の２つの面の法線ベクトル又は２つの光源方向ベク
トルを必要とする。これらの法線ベクトル又は光源方向
ベクトルの情報の精度は、生成される３次元データの精
度に大きく影響するので、正確に測定を行う必要があ
る。
記載されるように、絶対的な座標系に変換するために被
写体の２つの面の法線ベクトル又は２つの光源方向ベク
トルを必要とする。これらの法線ベクトル又は光源方向
ベクトルの情報の精度は、生成される３次元データの精
度に大きく影響するので、正確に測定を行う必要があ
る。
【０００６】しかし、それらを正確に測定することは困
難であるため、生成される３次元データの精度を高くす
ることが困難であった。本発明は、上述の問題に鑑みて
なされたもので、照度差ステレオ法で求められる相対的
な座標系を絶対的な座標系に高精度で変換し、精度の高
い３次元データを生成することを目的とする。
難であるため、生成される３次元データの精度を高くす
ることが困難であった。本発明は、上述の問題に鑑みて
なされたもので、照度差ステレオ法で求められる相対的
な座標系を絶対的な座標系に高精度で変換し、精度の高
い３次元データを生成することを目的とする。
【０００７】
【課題を解決するための手段】請求項１の発明に係る方
法は、光源による照射方向を変えて被写体を撮像するこ
とにより複数の原画像を取得し、各原画像のデータによ
って画像行列を生成し、当該画像行列に因子分解を適用
して前記被写体における面の向きを抽出し、抽出した面
の向きに基づいて前記被写体の３次元データを生成する
３次元データ生成方法であって、前記被写体を撮像する
際に、立体チャートの表面の反射率の比及び面の向きが
既知である少なくとも３つの面を当該被写体とともに撮
像し、前記３つの面の反射率及び面の向きを用いて前記
被写体の面の向きを絶対的な座標系に変換する。
法は、光源による照射方向を変えて被写体を撮像するこ
とにより複数の原画像を取得し、各原画像のデータによ
って画像行列を生成し、当該画像行列に因子分解を適用
して前記被写体における面の向きを抽出し、抽出した面
の向きに基づいて前記被写体の３次元データを生成する
３次元データ生成方法であって、前記被写体を撮像する
際に、立体チャートの表面の反射率の比及び面の向きが
既知である少なくとも３つの面を当該被写体とともに撮
像し、前記３つの面の反射率及び面の向きを用いて前記
被写体の面の向きを絶対的な座標系に変換する。
【０００８】請求項２の発明に係る方法では、前記立体
チャートの３つの面が実質的に完全拡散面である。請求
項３の発明に係る装置は、被写体を撮像する撮像手段
と、前記被写体を照射する光源と、表面の反射率の比及
び面の向きが既知である少なくとも３つの面を有し、前
記被写体とともに撮像される立体チャートと、前記光源
による照射方向を変えて前記被写体を撮像することによ
り取得される複数の原画像のデータによって画像行列を
生成し、当該画像行列に因子分解を適用して前記被写体
における相対的な面の向きを抽出する手段と、前記立体
チャートの３つの面の反射率及び面の向きを用いて前記
被写体の相対的な面の向きを絶対的な座標系に変換する
手段と、を有する。
チャートの３つの面が実質的に完全拡散面である。請求
項３の発明に係る装置は、被写体を撮像する撮像手段
と、前記被写体を照射する光源と、表面の反射率の比及
び面の向きが既知である少なくとも３つの面を有し、前
記被写体とともに撮像される立体チャートと、前記光源
による照射方向を変えて前記被写体を撮像することによ
り取得される複数の原画像のデータによって画像行列を
生成し、当該画像行列に因子分解を適用して前記被写体
における相対的な面の向きを抽出する手段と、前記立体
チャートの３つの面の反射率及び面の向きを用いて前記
被写体の相対的な面の向きを絶対的な座標系に変換する
手段と、を有する。
【０００９】請求項４の発明に係る装置では、前記立体
チャートの３つの面が実質的に完全拡散面である。請求
項５の発明に係る装置では、前記光源による被写体への
照射方向を変える移動手段を有してなる。
チャートの３つの面が実質的に完全拡散面である。請求
項５の発明に係る装置では、前記光源による被写体への
照射方向を変える移動手段を有してなる。
【００１０】
【発明の実施の形態】図１は本発明に係る３次元データ
生成装置１の概略の構成を示すブロック図、図２は撮像
によって得られた画像の例を示す図、図３は３次元デー
タ生成装置１による処理の流れを示すフローチャート、
図４は座標変換処理の流れを示すフローチャート、図５
は３次元データ生成装置１の一部の機能を示すブロック
図、図６は仮の面特性行列Ｎ’の中の立体チャートの面
領域のベクトルを示す図、図７は真の面特性行列Ｎの中
の立体チャートの面領域を示す図、図８は真の面特性行
列Ｎから選択された２方向と立体チャートによる既知の
面の向きを示す図である。
生成装置１の概略の構成を示すブロック図、図２は撮像
によって得られた画像の例を示す図、図３は３次元デー
タ生成装置１による処理の流れを示すフローチャート、
図４は座標変換処理の流れを示すフローチャート、図５
は３次元データ生成装置１の一部の機能を示すブロック
図、図６は仮の面特性行列Ｎ’の中の立体チャートの面
領域のベクトルを示す図、図７は真の面特性行列Ｎの中
の立体チャートの面領域を示す図、図８は真の面特性行
列Ｎから選択された２方向と立体チャートによる既知の
面の向きを示す図である。
【００１１】図１において、３次元データ生成装置１
は、ＣＰＵ１０、カメラ１１、画像処理装置１２、光源
１３、光源移動装置１４、立体チャート移動装置１５、
及び立体チャートＱＡから構成される。光源１３が被写
体（対象物体）Ｑ及び立体チャートＱＡを照射すること
によって、それらが照明される。光源１３は光源移動装
置１４によって移動可能であり、これによって、被写体
Ｑ及び立体チャートＱＡへの照射方向及び照射位置が可
変される。カメラ１１は被写体Ｑ及び立体チャートＱＡ
を撮像する。光源１３による照射方向を変えて被写体Ｑ
及び立体チャートＱＡを撮像することにより、図２に示
すようにｍ枚の複数の原画像Ｆを取得する。カメラ１１
から得られた画像データは、画像処理装置１２により処
理され、ＣＰＵ１０に入力される。
は、ＣＰＵ１０、カメラ１１、画像処理装置１２、光源
１３、光源移動装置１４、立体チャート移動装置１５、
及び立体チャートＱＡから構成される。光源１３が被写
体（対象物体）Ｑ及び立体チャートＱＡを照射すること
によって、それらが照明される。光源１３は光源移動装
置１４によって移動可能であり、これによって、被写体
Ｑ及び立体チャートＱＡへの照射方向及び照射位置が可
変される。カメラ１１は被写体Ｑ及び立体チャートＱＡ
を撮像する。光源１３による照射方向を変えて被写体Ｑ
及び立体チャートＱＡを撮像することにより、図２に示
すようにｍ枚の複数の原画像Ｆを取得する。カメラ１１
から得られた画像データは、画像処理装置１２により処
理され、ＣＰＵ１０に入力される。
【００１２】ＣＰＵ１０は、光源移動装置１４及び立体
チャート移動装置１５を制御し、光源１３又は立体チャ
ートＱＡを設定された位置又は操作によって指示された
位置に移動させる。また、カメラ１１を制御し、光源１
３の照射位置が定まったタイミングで、又は光源１３の
移動中の適当なタイミングで、被写体Ｑ及び立体チャー
トＱＡの撮像を行う。そして、入力されたデータに対
し、後述のように被写体の面の向きを抽出する処理、座
標変換を行う処理、その他の処理を行い、３次元データ
を生成する。
チャート移動装置１５を制御し、光源１３又は立体チャ
ートＱＡを設定された位置又は操作によって指示された
位置に移動させる。また、カメラ１１を制御し、光源１
３の照射位置が定まったタイミングで、又は光源１３の
移動中の適当なタイミングで、被写体Ｑ及び立体チャー
トＱＡの撮像を行う。そして、入力されたデータに対
し、後述のように被写体の面の向きを抽出する処理、座
標変換を行う処理、その他の処理を行い、３次元データ
を生成する。
【００１３】立体チャートＱＡは、例えば石膏からなる
立方体である。したがって、その６つの表面は完全拡散
面に近く実質的な完全拡散面であり、表面の状態が互い
に均一であって反射率がいずれもほぼ「１」である。つ
まり、６つの表面の反射率の比及び面の向きは既知であ
る。
立方体である。したがって、その６つの表面は完全拡散
面に近く実質的な完全拡散面であり、表面の状態が互い
に均一であって反射率がいずれもほぼ「１」である。つ
まり、６つの表面の反射率の比及び面の向きは既知であ
る。
【００１４】なお、立体チャートＱＡとしては、カメラ
１１で撮像可能な面が３つ以上あり、各面の法線ベクト
ルが互いに同一平面上になく、それらの相対関係が既知
であり、さらにそれらの面の反射率の比が既知であれば
よい。また、各面は実質的に完全拡散面であることが好
ましい。
１１で撮像可能な面が３つ以上あり、各面の法線ベクト
ルが互いに同一平面上になく、それらの相対関係が既知
であり、さらにそれらの面の反射率の比が既知であれば
よい。また、各面は実質的に完全拡散面であることが好
ましい。
【００１５】立体チャートＱＡは、被写体Ｑの近傍に配
置され、カメラ１１で被写体Ｑが撮像される際には、そ
の少なくとも３つの面が同じフレームに同時に撮像され
る。そして、３つの面のうちの２面以上について、ユー
ザ（撮像者）の期待する座標系が特定できるように配置
する。
置され、カメラ１１で被写体Ｑが撮像される際には、そ
の少なくとも３つの面が同じフレームに同時に撮像され
る。そして、３つの面のうちの２面以上について、ユー
ザ（撮像者）の期待する座標系が特定できるように配置
する。
【００１６】なお、立体チャートＱＡの配置について、
上に述べたような条件を満たすのであれば、カメラ１
１、立体チャートＱＡ、及び被写体Ｑの位置関係を固定
し、立体チャート移動装置１５を省略してもよい。
上に述べたような条件を満たすのであれば、カメラ１
１、立体チャートＱＡ、及び被写体Ｑの位置関係を固定
し、立体チャート移動装置１５を省略してもよい。
【００１７】ＣＰＵ１０及び画像処理装置１２は、パー
ソナルコンピュータ又はワークステーションなどを用い
て構成することが可能である。処理を実行するためのプ
ログラム及びデータは、ハードディスク、光磁気ディス
ク、フロッピィディスクなどの種々の記録媒体により提
供可能である。
ソナルコンピュータ又はワークステーションなどを用い
て構成することが可能である。処理を実行するためのプ
ログラム及びデータは、ハードディスク、光磁気ディス
ク、フロッピィディスクなどの種々の記録媒体により提
供可能である。
【００１８】次に、図３及び図４に示すフローチャート
を参照して、３次元データ生成装置１の動作を説明す
る。図３において、まず、被写体Ｑを撮像して得たｍ枚
の画像（原画像）Ｆを読み込み、画像行列Ｉを生成する
（＃１）。
を参照して、３次元データ生成装置１の動作を説明す
る。図３において、まず、被写体Ｑを撮像して得たｍ枚
の画像（原画像）Ｆを読み込み、画像行列Ｉを生成する
（＃１）。
【００１９】すなわち、１回の撮像によって得られる画
像をＦｋ（ｋ＝１，２，３…ｍ）として、ｍ回の撮像に
よってｍ枚の画像Ｆ1 ，Ｆ2 …, Ｆm を取得する。図２
に示す例では、説明を簡単化するために各画像Ｆ1 ，Ｆ
2 …, Ｆm は８×８＝６４画素からなる。各画像Ｆ1 〜
m に示す数字は画素番号である。これらの画像Ｆ1 ，Ｆ
2 …, Ｆm に基づいて、次の（１）式に示すように画像
行列Ｉを生成する。
像をＦｋ（ｋ＝１，２，３…ｍ）として、ｍ回の撮像に
よってｍ枚の画像Ｆ1 ，Ｆ2 …, Ｆm を取得する。図２
に示す例では、説明を簡単化するために各画像Ｆ1 ，Ｆ
2 …, Ｆm は８×８＝６４画素からなる。各画像Ｆ1 〜
m に示す数字は画素番号である。これらの画像Ｆ1 ，Ｆ
2 …, Ｆm に基づいて、次の（１）式に示すように画像
行列Ｉを生成する。
【００２０】
【数１】
【００２１】なお、ｉ1 ，ｉ2 …, ｉm は、各画像Ｆ1
，Ｆ2 …, Ｆm の画像行列である。（１）式から理解
されるように、画像行列Ｉの各行は、画像Ｆ1 ，Ｆ2
…, Ｆmの各座標点に、各列は、同じ位置の光源１３に
よる各画像Ｆ1 ，Ｆ2 …, Ｆm に、それぞれ対応する。
，Ｆ2 …, Ｆm の画像行列である。（１）式から理解
されるように、画像行列Ｉの各行は、画像Ｆ1 ，Ｆ2
…, Ｆmの各座標点に、各列は、同じ位置の光源１３に
よる各画像Ｆ1 ，Ｆ2 …, Ｆm に、それぞれ対応する。
【００２２】そして、得られた画像行列Ｉの階数が３以
上であることを確認する。上の（１）式で示される各画
像行列Ｉは、被写体Ｑの表面を近似的に拡散反射面であ
ると見なすことによって、次に示す（２）式を満たす。
上であることを確認する。上の（１）式で示される各画
像行列Ｉは、被写体Ｑの表面を近似的に拡散反射面であ
ると見なすことによって、次に示す（２）式を満たす。
【００２３】
【数２】
【００２４】ここで、Ｎは面特性行列である。面特性行
列Ｎの行ベクトルを各座標点に関する面特性ベクトルと
いい、その大きさは反射率に、方向は面の法線方向に、
それぞれ対応する。Ｓは光源特性行列であり、光源特性
行列Ｓの列ベクトルを各画像に関する光源特性ベクトル
といい、その大きさは光源の明るさに、方向は光源の方
向に、それぞれ対応する。
列Ｎの行ベクトルを各座標点に関する面特性ベクトルと
いい、その大きさは反射率に、方向は面の法線方向に、
それぞれ対応する。Ｓは光源特性行列であり、光源特性
行列Ｓの列ベクトルを各画像に関する光源特性ベクトル
といい、その大きさは光源の明るさに、方向は光源の方
向に、それぞれ対応する。
【００２５】次に、小画像行列Ｉｋを、特異値分解を用
いて２組の２行列の積に分解し、その１組を選択する。
これが画像行列の分解１である（＃２）。すなわち、分
解１の処理においては、まず、画像行列Ｉに特異値分解
を施すことによって、行列Ｕ、対角化行列Σ、及び行列
Ｖを求める。つまり、次に示す（３）式を求める。
いて２組の２行列の積に分解し、その１組を選択する。
これが画像行列の分解１である（＃２）。すなわち、分
解１の処理においては、まず、画像行列Ｉに特異値分解
を施すことによって、行列Ｕ、対角化行列Σ、及び行列
Ｖを求める。つまり、次に示す（３）式を求める。
【００２６】Ｉ＝ＵΣＶ ……（３） そして、特異値分解により得られた３つの行列Ｕ，Σ，
Ｖから、それぞれの小行列Ｕ’、Σ’、Ｖ’を次の
（４）式のように抽出する。
Ｖから、それぞれの小行列Ｕ’、Σ’、Ｖ’を次の
（４）式のように抽出する。
【００２７】
【数３】
【００２８】なお、行列Ｕ、Σ、Ｖはそれぞれｍ列であ
るので、小行列Ｕ’及びΣ’は３列、小行列Ｕ”及び
Σ”は（ｍ−３）列、小行列Ｖ’及びＶ”はｍ列であ
る。また、小行列Ｕ’及びＵ”はｎ行、小行列Σ’及び
Ｖ’は３行、小行列Σ”及びＶ”は（ｍ−３）行であ
る。
るので、小行列Ｕ’及びΣ’は３列、小行列Ｕ”及び
Σ”は（ｍ−３）列、小行列Ｖ’及びＶ”はｍ列であ
る。また、小行列Ｕ’及びＵ”はｎ行、小行列Σ’及び
Ｖ’は３行、小行列Σ”及びＶ”は（ｍ−３）行であ
る。
【００２９】そして、２組の仮の面特性行列Ｎ’及び仮
の光源特性行列Ｓ’を次の（５）式のように求める。
の光源特性行列Ｓ’を次の（５）式のように求める。
【００３０】
【数４】
【００３１】上の（５）式において、符号が正の場合の
Ｎ’とＳ’の１つの組と、符号が負の場合のＮ’とＳ’
の他の１つの組との２組の行列が得られる。そして、こ
れらの２組の行列におけるそれぞれの積から１組を選択
する。
Ｎ’とＳ’の１つの組と、符号が負の場合のＮ’とＳ’
の他の１つの組との２組の行列が得られる。そして、こ
れらの２組の行列におけるそれぞれの積から１組を選択
する。
【００３２】例えば、光源に関する２つの解の行列Ｓ’
の中から、相対関係の分かっている光源の計算結果のみ
を取出して行列を生成し、その行列式を計算する。次
に、実際の相対関係から得られる行列式の符号と照らし
合わせて、符号の一致する解の行列Ｓ’を選択する。
の中から、相対関係の分かっている光源の計算結果のみ
を取出して行列を生成し、その行列式を計算する。次
に、実際の相対関係から得られる行列式の符号と照らし
合わせて、符号の一致する解の行列Ｓ’を選択する。
【００３３】次に、立体チャートＱＡの面の反射率など
に基づいて、相対的な座標系への変換のための変換行列
Ａを計算する。その変換行列Ａをステップ＃２での処理
結果に施して相対的な座標変換を行う。さらに、立体チ
ャートＱＡの面の向き及びそれぞれの既知の値などに基
づいて絶対的な座標系へ変換する（＃３）。これについ
て次に詳しく説明する。
に基づいて、相対的な座標系への変換のための変換行列
Ａを計算する。その変換行列Ａをステップ＃２での処理
結果に施して相対的な座標変換を行う。さらに、立体チ
ャートＱＡの面の向き及びそれぞれの既知の値などに基
づいて絶対的な座標系へ変換する（＃３）。これについ
て次に詳しく説明する。
【００３４】図４において、まず、反射率に関する条件
に基づいて、適切な変換行列Ａを計算する（＃１１）。
ここでは、まず、ステップ＃２で得られた仮の面特性行
列Ｎ’から、反射率が一定であるか又はそれらの比が分
かっているような座標点のうち、少なくとも６つの面特
性ベクトルｎ’を取り出す。６つの面特性ベクトルｎ’
を取り出す方法は次の通りである。 （Ａ）画像Ｆから、立体チャートＱＡの部分であって且
つそのエッジつまり稜線の部分を取り除いたチャート面
（３面以上）の領域（座標点）を選択する。この作業は
ユーザによる手作業で行ってもよい。 （Ｂ）仮の面特性行列Ｎ’の中のチャート面の領域か
ら、同一平面上にない６つ以上のベクトルを選択する。
図２の立体チャートＱＡの例では、チャート面の各領域
から１つ以上のベクトルを取り出すことになる（図６を
参照）。
に基づいて、適切な変換行列Ａを計算する（＃１１）。
ここでは、まず、ステップ＃２で得られた仮の面特性行
列Ｎ’から、反射率が一定であるか又はそれらの比が分
かっているような座標点のうち、少なくとも６つの面特
性ベクトルｎ’を取り出す。６つの面特性ベクトルｎ’
を取り出す方法は次の通りである。 （Ａ）画像Ｆから、立体チャートＱＡの部分であって且
つそのエッジつまり稜線の部分を取り除いたチャート面
（３面以上）の領域（座標点）を選択する。この作業は
ユーザによる手作業で行ってもよい。 （Ｂ）仮の面特性行列Ｎ’の中のチャート面の領域か
ら、同一平面上にない６つ以上のベクトルを選択する。
図２の立体チャートＱＡの例では、チャート面の各領域
から１つ以上のベクトルを取り出すことになる（図６を
参照）。
【００３５】そして、反射率が一定の場合には、次の
（６）式を構成する。ただし、行列Ａは求めたい（３，
３）の変換行列である。
（６）式を構成する。ただし、行列Ａは求めたい（３，
３）の変換行列である。
【００３６】
【数５】
【００３７】なお、反射率の比が分かっている場合に
は、上の（６）式の右辺をすべて１にする代わりに、そ
れぞれそれらの比の値を設定することになるが、以下に
おいては簡単化のために一定の場合について説明する。
は、上の（６）式の右辺をすべて１にする代わりに、そ
れぞれそれらの比の値を設定することになるが、以下に
おいては簡単化のために一定の場合について説明する。
【００３８】ここで、（３，３）の対称行列Ｂ＝ＡT Ａ
を用いると、次の（７）式を得る。
を用いると、次の（７）式を得る。
【００３９】
【数６】
【００４０】ここで、行列Ｂの各要素を線形最小二乗法
で求め、得られた行列Ｂについて特異値分解を施し、次
の（８）式のような変換行列Ａを求める。
で求め、得られた行列Ｂについて特異値分解を施し、次
の（８）式のような変換行列Ａを求める。
【００４１】
【数７】
【００４２】そして、仮の面特性行列Ｎ’と変換行列Ａ
から、真の面特性行列Ｎを次の（９）式で求める（＃１
２）。 Ｎ＝Ｎ’Ａ ……（９） さらに、仮の光源特性行列Ｓ’及び変換行列Ａの逆行列
Ａ-1から、真の光源特性行列Ｓを次の（１０）式で求め
る（＃１３）。
から、真の面特性行列Ｎを次の（９）式で求める（＃１
２）。 Ｎ＝Ｎ’Ａ ……（９） さらに、仮の光源特性行列Ｓ’及び変換行列Ａの逆行列
Ａ-1から、真の光源特性行列Ｓを次の（１０）式で求め
る（＃１３）。
【００４３】Ｓ＝Ａ-1Ｓ’ ……（１０） このようにして、画像Ｆの面の向きＮが求められる。な
お、上に述べた処理のうち、ステップ＃１、２、１２に
ついては、特開平６−３４１８１８号に詳しく記載され
ており、公知である。
お、上に述べた処理のうち、ステップ＃１、２、１２に
ついては、特開平６−３４１８１８号に詳しく記載され
ており、公知である。
【００４４】次に、ステップ＃１３で求めた画像Ｆの面
の向きＮを絶対座標系に変換する（＃１４）。ここで
は、まず、真の面特性行列Ｎの中の、予め方向が分かっ
ているチャート面領域の向きから、２つ以上の面の方向
を決定する。その場合に、領域内を代表する１方向を選
択しても良いし、又は領域内の方向を平均化しても良
い。決定された面の方向ベクトルとそれに対応する既知
の方向ベクトルの差とを、真の面特性行列Ｎに施す。
の向きＮを絶対座標系に変換する（＃１４）。ここで
は、まず、真の面特性行列Ｎの中の、予め方向が分かっ
ているチャート面領域の向きから、２つ以上の面の方向
を決定する。その場合に、領域内を代表する１方向を選
択しても良いし、又は領域内の方向を平均化しても良
い。決定された面の方向ベクトルとそれに対応する既知
の方向ベクトルの差とを、真の面特性行列Ｎに施す。
【００４５】図８を参照して、真の面特性行列Ｎから選
択された面の法線ｃ１，ｃ２に対して、予め分かってい
る方向がＣ１，Ｃ２であるならば、最終的な物体表面の
法線ベクトルＮｒｅａｌは、次の（１１）で求められ
る。
択された面の法線ｃ１，ｃ２に対して、予め分かってい
る方向がＣ１，Ｃ２であるならば、最終的な物体表面の
法線ベクトルＮｒｅａｌは、次の（１１）で求められ
る。
【００４６】 Ｎｒｅａｌ＝Ｎ＋（Ｃ１−ｃ１）＋（Ｃ２−ｃ２） ……（１１） なお、チャート面領域の方向Ｃ１，Ｃ２は、カメラ１１
の位置又は光軸、及び立体チャート移動装置１５の制御
位置などから求められる。
の位置又は光軸、及び立体チャート移動装置１５の制御
位置などから求められる。
【００４７】次に、図５を参照して上に述べたステップ
＃１１〜１４の処理をさらに説明する。ステップ＃２の
処理によって、２組の仮の面特性行列Ｎ’及び仮の光源
特性行列Ｓ’が求まるが、その処理結果が図５に示すブ
ロック５１に入力される。ブロック５１において、反射
率が一定であるか又はそれらの比が分かっている場合
に、図の上方に切り替えられる。
＃１１〜１４の処理をさらに説明する。ステップ＃２の
処理によって、２組の仮の面特性行列Ｎ’及び仮の光源
特性行列Ｓ’が求まるが、その処理結果が図５に示すブ
ロック５１に入力される。ブロック５１において、反射
率が一定であるか又はそれらの比が分かっている場合
に、図の上方に切り替えられる。
【００４８】ここで、仮の面特性行列Ｎ’は、被写体Ｑ
についての仮の面特性行列Ｎq ’、及び立体チャートＱ
Ａについての仮の面特性行列Ｎa ’の両方を含んでい
る。なお、仮の光源特性行列Ｓ’については、光源１３
が１つであるから、被写体Ｑと立体チャートＱＡとにつ
いて共通となる。
についての仮の面特性行列Ｎq ’、及び立体チャートＱ
Ａについての仮の面特性行列Ｎa ’の両方を含んでい
る。なお、仮の光源特性行列Ｓ’については、光源１３
が１つであるから、被写体Ｑと立体チャートＱＡとにつ
いて共通となる。
【００４９】ブロック５２において、立体チャートＱＡ
の仮の面特性行列Ｎa ’が分離され、それを用いてブロ
ック５３でステップ＃１１の処理が行われ、変換行列Ａ
が求められる。ブロック５４では、変換行列Ａと仮の面
特性行列Ｎ’とから、ステップ＃１２の処理によって真
の面特性行列Ｎが求められる。ブロック５５では、変換
行列Ａの逆行列Ａ-1が求められ、ブロック５６で、逆行
列Ａ-1と仮の光源特性行列Ｓ’とから、ステップ＃１３
の処理によって真の光源特性行列Ｓが求められる。
の仮の面特性行列Ｎa ’が分離され、それを用いてブロ
ック５３でステップ＃１１の処理が行われ、変換行列Ａ
が求められる。ブロック５４では、変換行列Ａと仮の面
特性行列Ｎ’とから、ステップ＃１２の処理によって真
の面特性行列Ｎが求められる。ブロック５５では、変換
行列Ａの逆行列Ａ-1が求められ、ブロック５６で、逆行
列Ａ-1と仮の光源特性行列Ｓ’とから、ステップ＃１３
の処理によって真の光源特性行列Ｓが求められる。
【００５０】ブロック５７において、真の面特性行列Ｎ
は、反射率Ｒと法線ベクトルＶ’とに分離され、法線ベ
クトルＶ’が取り出される。すなわち、 Ｎ＝Ｒ・Ｖ’ である。ここで、Ｎの要素（Ｎix, Ｎiy, Ｎiz) が与え
られた場合に、反射率Ｒi はノルムである。つまり、 Ｒi ＝（Ｎix2 ＋Ｎiy2 ＋Ｎiz2)1/2 また、法線ベクトルＶi は、 Ｖix＝Ｎix／Ｒi Ｖiy＝Ｎiy／Ｒi Ｖiz＝Ｎiz／Ｒi となる。
は、反射率Ｒと法線ベクトルＶ’とに分離され、法線ベ
クトルＶ’が取り出される。すなわち、 Ｎ＝Ｒ・Ｖ’ である。ここで、Ｎの要素（Ｎix, Ｎiy, Ｎiz) が与え
られた場合に、反射率Ｒi はノルムである。つまり、 Ｒi ＝（Ｎix2 ＋Ｎiy2 ＋Ｎiz2)1/2 また、法線ベクトルＶi は、 Ｖix＝Ｎix／Ｒi Ｖiy＝Ｎiy／Ｒi Ｖiz＝Ｎiz／Ｒi となる。
【００５１】同様に、ブロック５８において、真の光源
特性行列Ｓは、光源強度Ｈと光源方向Ｌ’とに分離さ
れ、光源方向Ｌ’が取り出される。 Ｓ＝Ｈ・Ｌ’ ブロック５９において、選択された面の法線ｃ１，ｃ２
が取り出され、これと予め分かっている方向Ｃ１，Ｃ２
とに基づいて、ブロック６０で絶対座標系への変換行列
が求められる。ブロック６１及び６２において、その変
換行列を用いて、法線ベクトルＶ’及び光源方向Ｌ’が
絶対座標系に変換される。
特性行列Ｓは、光源強度Ｈと光源方向Ｌ’とに分離さ
れ、光源方向Ｌ’が取り出される。 Ｓ＝Ｈ・Ｌ’ ブロック５９において、選択された面の法線ｃ１，ｃ２
が取り出され、これと予め分かっている方向Ｃ１，Ｃ２
とに基づいて、ブロック６０で絶対座標系への変換行列
が求められる。ブロック６１及び６２において、その変
換行列を用いて、法線ベクトルＶ’及び光源方向Ｌ’が
絶対座標系に変換される。
【００５２】上に述べたように、本実施形態によると、
立体チャートＱＡを被写体Ｑとともに撮像し、立体チャ
ートＱＡの３つの面の正確な法線ベクトル及び反射率の
比を用い、また完全拡散面を利用して座標変換を行うこ
とができるので、被写体Ｑの３次元データを精度良く生
成することができる。
立体チャートＱＡを被写体Ｑとともに撮像し、立体チャ
ートＱＡの３つの面の正確な法線ベクトル及び反射率の
比を用い、また完全拡散面を利用して座標変換を行うこ
とができるので、被写体Ｑの３次元データを精度良く生
成することができる。
【００５３】特に、立体チャートＱＡの面の反射率など
に基づいて、相対的な座標系への変換のための変換行列
Ａを計算するので、変換行列Ａが正確に求まる。また、
立体チャートＱＡのチャート面の方向Ｃ１，Ｃ２を用い
て絶対座標系への変換を行うので、絶対座標系への変換
を高精度で行うことができる。
に基づいて、相対的な座標系への変換のための変換行列
Ａを計算するので、変換行列Ａが正確に求まる。また、
立体チャートＱＡのチャート面の方向Ｃ１，Ｃ２を用い
て絶対座標系への変換を行うので、絶対座標系への変換
を高精度で行うことができる。
【００５４】上の述べた実施形態においては、光源移動
装置１４によって光源１３を移動させたが、光源１３を
移動させることなく、又は移動させるとともに、被写体
Ｑ、立体チャートＱＡ、及びカメラ１１を移動させても
よい。その他、３次元データ生成装置１の構成、形状、
処理内容、処理順序などは、本発明の趣旨に沿って適宜
変更することができる。
装置１４によって光源１３を移動させたが、光源１３を
移動させることなく、又は移動させるとともに、被写体
Ｑ、立体チャートＱＡ、及びカメラ１１を移動させても
よい。その他、３次元データ生成装置１の構成、形状、
処理内容、処理順序などは、本発明の趣旨に沿って適宜
変更することができる。
【００５５】
【発明の効果】本発明によると、照度差ステレオ法で求
められる相対的な座標系を絶対的な座標系に高精度で変
換し、精度の高い３次元データを生成することができ
る。
められる相対的な座標系を絶対的な座標系に高精度で変
換し、精度の高い３次元データを生成することができ
る。
【図１】本発明に係る３次元データ生成装置の概略の構
成を示すブロック図である。
成を示すブロック図である。
【図２】撮像によって得られた画像の例を示す図であ
る。
る。
【図３】３次元データ生成装置による処理の流れを示す
フローチャートである。
フローチャートである。
【図４】［座標変換処理の流れを示すフローチャートで
ある。
ある。
【図５】３次元データ生成装置の一部の機能を示すブロ
ック図である。
ック図である。
【図６】仮の面特性行列Ｎ’の中の立体チャートの面領
域のベクトルを示す図である。
域のベクトルを示す図である。
【図７】真の面特性行列Ｎの中の立体チャートの面領域
を示す図である。
を示す図である。
【図８】真の面特性行列Ｎから選択された２方向と立体
チャートによる既知の面の向きを示す図である。
チャートによる既知の面の向きを示す図である。
１ ３次元データ生成装置 １０ ＣＰＵ（抽出する手段、変換する手段） １１ カメラ（撮像手段） １２ 画像処理装置 １３ 光源 １４ 光源移動装置（移動手段） Ｑ 被写体 ＱＡ 立体チャート Ｆ 画像（原画像） Ｉ 画像行列
フロントページの続き Ｆターム(参考） 2F065 AA04 AA35 AA53 BB05 CC16 FF05 FF42 FF61 HH14 JJ03 NN11 NN20 QQ00 QQ18 QQ24 5B057 BA02 CA08 CA12 CA16 CB13 CB17 CC04 DA20 DB02 DB09 DC08 DC22
Claims (5)
- 【請求項１】光源による照射方向を変えて被写体を撮像
することにより複数の原画像を取得し、各原画像のデー
タによって画像行列を生成し、当該画像行列に因子分解
を適用して前記被写体における面の向きを抽出し、抽出
した面の向きに基づいて前記被写体の３次元データを生
成する３次元データ生成方法であって、 前記被写体を撮像する際に、立体チャートの表面の反射
率の比及び面の向きが既知である少なくとも３つの面を
当該被写体とともに撮像し、 前記３つの面の反射率及び面の向きを用いて前記被写体
の面の向きを絶対的な座標系に変換する、 ことを特徴とする３次元データ生成方法。 - 【請求項２】前記立体チャートの３つの面が実質的に完
全拡散面である、 請求項１記載の３次元データ生成方法。 - 【請求項３】被写体を撮像する撮像手段と、 前記被写体を照射する光源と、 表面の反射率の比及び面の向きが既知である少なくとも
３つの面を有し、前記被写体とともに撮像される立体チ
ャートと、 前記光源による照射方向を変えて前記被写体を撮像する
ことにより取得される複数の原画像のデータによって画
像行列を生成し、当該画像行列に因子分解を適用して前
記被写体における相対的な面の向きを抽出する手段と、 前記立体チャートの３つの面の反射率及び面の向きを用
いて前記被写体の相対的な面の向きを絶対的な座標系に
変換する手段と、 を有することを特徴とする３次元データ生成装置。 - 【請求項４】前記立体チャートの３つの面が実質的に完
全拡散面である、 請求項３記載の３次元データ生成装置。 - 【請求項５】前記光源による被写体への照射方向を変え
る移動手段を有してなる、 請求項３又は請求項４記載の３次元データ生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25254399A JP2001074417A (ja) | 1999-09-07 | 1999-09-07 | ３次元データ生成方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25254399A JP2001074417A (ja) | 1999-09-07 | 1999-09-07 | ３次元データ生成方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001074417A true JP2001074417A (ja) | 2001-03-23 |
Family
ID=17238846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25254399A Pending JP2001074417A (ja) | 1999-09-07 | 1999-09-07 | ３次元データ生成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001074417A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013245944A (ja) * | 2012-05-23 | 2013-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 投影型３次元形状復元装置、投影型３次元形状復元方法、投影型３次元形状復元プログラムおよびそのプログラムを記録した記録媒体 |
| JP2016008954A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社豊田中央研究所 | 物体形状推定装置及びプログラム |
-
1999
- 1999-09-07 JP JP25254399A patent/JP2001074417A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013245944A (ja) * | 2012-05-23 | 2013-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 投影型３次元形状復元装置、投影型３次元形状復元方法、投影型３次元形状復元プログラムおよびそのプログラムを記録した記録媒体 |
| JP2016008954A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社豊田中央研究所 | 物体形状推定装置及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4613994B2 (ja) | 動態推定装置、動態推定方法、プログラム | |
| CN108427961B (zh) | 基于卷积神经网络的合成孔径聚焦成像深度评估方法 | |
| US20080008399A1 (en) | Three-Dimensional Shape Estimation System And Image Generation | |
| JP2011198349A (ja) | 情報処理方法及びその装置 | |
| CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
| JPH04500408A (ja) | 変形体の表面のひずみ分布を測定するためのコンピュータ化された方法 | |
| CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
| TWI628601B (zh) | 人臉影像處理方法及其系統 | |
| WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN113065506B (zh) | 一种人体姿态识别方法及系统 | |
| JPH10304244A (ja) | 画像処理装置およびその方法 | |
| JP2001074417A (ja) | ３次元データ生成方法及び装置 | |
| CN111915735A (zh) | 一种针对视频中三维结构轮廓的深度优化方法 | |
| JP2001245323A (ja) | ３次元入力方法および装置 | |
| JP2004021373A (ja) | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 | |
| JP4675368B2 (ja) | 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体 | |
| CN114882545A (zh) | 基于三维智能重建的多角度人脸识别方法 | |
| JP2001074430A (ja) | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 | |
| JP2002015311A (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| CN113688680A (zh) | 一种智能识别与追踪系统 | |
| US7639865B2 (en) | Image processing apparatus, image processing method, computer readable medium, and computer program thereof | |
| JP2001183133A (ja) | ３次元形状計測装置および方法、並びに記録媒体 | |
| CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、系统和介质 | |
| JP4740481B2 (ja) | ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム | |
| KR20140121064A (ko) | 템플릿 모델 기반의 3d 영상 생성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050615 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |