JP2001074430A - 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 - Google Patents
被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置Info
- Publication number
- JP2001074430A JP2001074430A JP25254099A JP25254099A JP2001074430A JP 2001074430 A JP2001074430 A JP 2001074430A JP 25254099 A JP25254099 A JP 25254099A JP 25254099 A JP25254099 A JP 25254099A JP 2001074430 A JP2001074430 A JP 2001074430A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- matrix
- orientation
- image matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】原画像を分割して複数の小さな画像を生成する
ことによって処理時間を短縮するとともに、面の向きの
数の減少を最小限度にとどめて精度が低下しないように
すること。 【解決手段】光源による照射方向を変えて被写体を撮像
して複数の原画像を取得し、各原画像の各画素のデータ
によって画像行列を生成し、当該画像行列に因子分解を
適用して被写体における面の向きを抽出する抽出方法で
あり、原画像から選ばれた画素の集合によって複数の縮
小画像を生成し、各縮小画像の各画素のデータによって
小画像行列を生成する小画像行列生成ステップと、各小
画像行列に因子分解を適用して被写体における面の向き
を抽出する面向き抽出ステップと、面向き抽出ステップ
で得られた面の向きを統合する面向き統合ステップとを
有する。
ことによって処理時間を短縮するとともに、面の向きの
数の減少を最小限度にとどめて精度が低下しないように
すること。 【解決手段】光源による照射方向を変えて被写体を撮像
して複数の原画像を取得し、各原画像の各画素のデータ
によって画像行列を生成し、当該画像行列に因子分解を
適用して被写体における面の向きを抽出する抽出方法で
あり、原画像から選ばれた画素の集合によって複数の縮
小画像を生成し、各縮小画像の各画素のデータによって
小画像行列を生成する小画像行列生成ステップと、各小
画像行列に因子分解を適用して被写体における面の向き
を抽出する面向き抽出ステップと、面向き抽出ステップ
で得られた面の向きを統合する面向き統合ステップとを
有する。
Description
【０００１】
【発明の属する技術分野】本発明は、いわゆる照度差ス
テレオ法における被写体の面の向きを抽出する方法、そ
れを用いた３次元データ生成方法及び装置に関する。
テレオ法における被写体の面の向きを抽出する方法、そ
れを用いた３次元データ生成方法及び装置に関する。
【０００２】
【従来の技術】従来より、被写体に対する光源の位置つ
まり照射方向を変えて撮像を行うことにより、同じ被写
体について複数の原画像を取得し、取得された複数の原
画像から被写体の３次元情報（３次元データ）を求める
方法、いわゆる照度差ステレオ法が提案されている。
まり照射方向を変えて撮像を行うことにより、同じ被写
体について複数の原画像を取得し、取得された複数の原
画像から被写体の３次元情報（３次元データ）を求める
方法、いわゆる照度差ステレオ法が提案されている。
【０００３】その例として、特開平６−３４１８１８号
には、複数の原画像に基づいて各強度データからなる画
像行列を構成する第１ステップ、構成された画像行列を
特異値分解を用いて２組の２行列の積の形に分解し、そ
の１組を選択する第２ステップ、その処理結果から、光
源の明るさ及び反射率に関する制約条件により適当な変
換行列を計算し、その変換行列を第２ステップの処理結
果に施すことによって、被写体の相対的な反射率や面の
向き及び相対的な光源の明るさや光源方向を抽出する第
３ステップからなる方法が開示されている。
には、複数の原画像に基づいて各強度データからなる画
像行列を構成する第１ステップ、構成された画像行列を
特異値分解を用いて２組の２行列の積の形に分解し、そ
の１組を選択する第２ステップ、その処理結果から、光
源の明るさ及び反射率に関する制約条件により適当な変
換行列を計算し、その変換行列を第２ステップの処理結
果に施すことによって、被写体の相対的な反射率や面の
向き及び相対的な光源の明るさや光源方向を抽出する第
３ステップからなる方法が開示されている。
【０００４】
【発明が解決しようとする課題】上に述べた従来の方法
においては、複数の原画像を元にして得られた画像行列
に因子分解を適用し、被写体の相対的な反射率や面の向
き及び相対的な光源の明るさや光源方向を抽出する。
においては、複数の原画像を元にして得られた画像行列
に因子分解を適用し、被写体の相対的な反射率や面の向
き及び相対的な光源の明るさや光源方向を抽出する。
【０００５】しかし、画像行列のサイズが大きくなるた
め、特異値分解などの因子分解の処理に要する時間が長
くなり、演算処理に必要なメモリの容量も大きくなると
いう問題がある。
め、特異値分解などの因子分解の処理に要する時間が長
くなり、演算処理に必要なメモリの容量も大きくなると
いう問題がある。
【０００６】この問題に対して、画像を分割して小さく
することが考えられる。しかし、画像を単純に分割した
場合には、抽出された被写体の表面の形状の精度が低下
するという問題が生じる。その理由は次のように考えら
れる。
することが考えられる。しかし、画像を単純に分割した
場合には、抽出された被写体の表面の形状の精度が低下
するという問題が生じる。その理由は次のように考えら
れる。
【０００７】いま、ノイズを含んだ画像行列Ｉに対して
特異値分解を行うとする。画像行列Ｉは次のように示さ
れる。 Ｉ＝ＵΣＶ ここで、Σは次のように示される。
特異値分解を行うとする。画像行列Ｉは次のように示さ
れる。 Ｉ＝ＵΣＶ ここで、Σは次のように示される。
【０００８】
【数１】 上に示したΣにおいて、その対角線上に並んだ０でない
要素λは固有値であり、その数は画像行列のランクに等
しい。λ４以降が現れるのはノイズ成分の影響と考え
る。
要素λは固有値であり、その数は画像行列のランクに等
しい。λ４以降が現れるのはノイズ成分の影響と考え
る。
【０００９】さて、画像を単純に分割した場合には、画
像の局所領域に含まれる法線方向つまり面の向きは、各
分割された各区画内において互いに類似していることが
多い。つまり、この場合には、各区画における面の向き
の数が分割数に応じて減少し、元の画像行列Ｉに含まれ
る法線方向についての情報は、各区画中においてその一
部のみしか反映されない。
像の局所領域に含まれる法線方向つまり面の向きは、各
分割された各区画内において互いに類似していることが
多い。つまり、この場合には、各区画における面の向き
の数が分割数に応じて減少し、元の画像行列Ｉに含まれ
る法線方向についての情報は、各区画中においてその一
部のみしか反映されない。
【００１０】この状態で特異値分解を行うと、λ３とλ
４の比が小さくなり、面の法線の抽出精度が低下する。
なお、ノイズのない理想条件の下では、λ４以降がほぼ
０となり、λ１〜λ３が十分に大きくなって、λ３とλ
４の比は大きくなる。
４の比が小さくなり、面の法線の抽出精度が低下する。
なお、ノイズのない理想条件の下では、λ４以降がほぼ
０となり、λ１〜λ３が十分に大きくなって、λ３とλ
４の比は大きくなる。
【００１１】本発明は、上述の問題に鑑みてなされたも
ので、原画像を分割して複数の小さな画像を生成するこ
とによって処理時間を短縮するとともに、面の向きの数
の減少を最小限度にとどめて精度が低下しないようにし
た被写体の面の向きの抽出方法、３次元データ生成方法
及び装置を提供することを目的とする。
ので、原画像を分割して複数の小さな画像を生成するこ
とによって処理時間を短縮するとともに、面の向きの数
の減少を最小限度にとどめて精度が低下しないようにし
た被写体の面の向きの抽出方法、３次元データ生成方法
及び装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】請求項１の発明に係る方
法は、光源による照射方向を変えて被写体を撮像するこ
とによって複数の原画像を取得し、各原画像の各画素の
データによって画像行列を生成し、当該画像行列に因子
分解を適用して前記被写体における面の向きを抽出する
抽出方法であって、前記原画像の中の画素から選ばれた
画素の集合によって複数の縮小画像を生成し、各縮小画
像の各画素のデータによって小画像行列を生成する小画
像行列生成ステップと、各小画像行列に因子分解を適用
して前記被写体における面の向きを抽出する面向き抽出
ステップと、前記面向き抽出ステップで得られた面の向
きを統合する面向き統合ステップと、を有してなる。
法は、光源による照射方向を変えて被写体を撮像するこ
とによって複数の原画像を取得し、各原画像の各画素の
データによって画像行列を生成し、当該画像行列に因子
分解を適用して前記被写体における面の向きを抽出する
抽出方法であって、前記原画像の中の画素から選ばれた
画素の集合によって複数の縮小画像を生成し、各縮小画
像の各画素のデータによって小画像行列を生成する小画
像行列生成ステップと、各小画像行列に因子分解を適用
して前記被写体における面の向きを抽出する面向き抽出
ステップと、前記面向き抽出ステップで得られた面の向
きを統合する面向き統合ステップと、を有してなる。
【００１３】請求項２の発明に係る方法では、前記小画
像行列生成ステップにおいて、前記原画像を複数のブロ
ックに区分けし、各ブロックの中の画素から１つ以上の
画素をそれぞれ選んで前記各縮小画像に割り当てる。
像行列生成ステップにおいて、前記原画像を複数のブロ
ックに区分けし、各ブロックの中の画素から１つ以上の
画素をそれぞれ選んで前記各縮小画像に割り当てる。
【００１４】請求項３の発明に係る方法では、前記小画
像行列生成ステップにおいて、前記複数のブロックを互
いに同一形状とし、各ブロックにおける同じ位置の画素
を同じ縮小画像に割り当てる。
像行列生成ステップにおいて、前記複数のブロックを互
いに同一形状とし、各ブロックにおける同じ位置の画素
を同じ縮小画像に割り当てる。
【００１５】請求項４の発明に係る方法では、統合した
面の向きを絶対座標に変換する座標変換ステップをさら
に有する。請求項５の発明に係る装置は、前記原画像の
中の画素から選ばれた画素の集合によって複数の縮小画
像をそれぞれ生成し、各縮小画像の各画素のデータによ
って小画像行列を生成する小画像行列生成手段と、各小
画像行列に因子分解を適用して前記被写体における面の
向きを抽出する面向き抽出手段と、前記面向き抽出手段
で得られた面の向きを統合する面向き統合手段と、統合
した面の向きを絶対座標に変換する座標変換手段と、を
有してなる。
面の向きを絶対座標に変換する座標変換ステップをさら
に有する。請求項５の発明に係る装置は、前記原画像の
中の画素から選ばれた画素の集合によって複数の縮小画
像をそれぞれ生成し、各縮小画像の各画素のデータによ
って小画像行列を生成する小画像行列生成手段と、各小
画像行列に因子分解を適用して前記被写体における面の
向きを抽出する面向き抽出手段と、前記面向き抽出手段
で得られた面の向きを統合する面向き統合手段と、統合
した面の向きを絶対座標に変換する座標変換手段と、を
有してなる。
【００１６】
【発明の実施の形態】図１は本発明に係る３次元データ
生成装置１の概略の構成を示すブロック図、図２は３次
元データ生成装置１による面の向きの抽出処理の流れを
示すフローチャート、図３はｍ枚の画像Ｆ1 ，Ｆ2 …,
Ｆm の例を示す図、図４は分割された画像Ｆｒの例を示
す図、図５は分割された画像Ｆｒの他の例を示す図であ
る。
生成装置１の概略の構成を示すブロック図、図２は３次
元データ生成装置１による面の向きの抽出処理の流れを
示すフローチャート、図３はｍ枚の画像Ｆ1 ，Ｆ2 …,
Ｆm の例を示す図、図４は分割された画像Ｆｒの例を示
す図、図５は分割された画像Ｆｒの他の例を示す図であ
る。
【００１７】図１において、３次元データ生成装置１
は、ＣＰＵ１０、カメラ１１、画像処理装置１２、光源
１３、及び光源移動装置１４から構成される。光源１３
が被写体Ｑを照射することによって、被写体Ｑが照明さ
れる。光源１３は光源移動装置１４によって移動可能で
あり、これによって、被写体Ｑへの照射方向及び照射位
置が可変される。カメラ１１は被写体Ｑを撮像する。光
源１３による照射方向を変えて被写体Ｑを撮像すること
により、複数の原画像を取得する。カメラ１１から得ら
れた画像データは、画像処理部１２により処理され、Ｃ
ＰＵ１０に入力される。
は、ＣＰＵ１０、カメラ１１、画像処理装置１２、光源
１３、及び光源移動装置１４から構成される。光源１３
が被写体Ｑを照射することによって、被写体Ｑが照明さ
れる。光源１３は光源移動装置１４によって移動可能で
あり、これによって、被写体Ｑへの照射方向及び照射位
置が可変される。カメラ１１は被写体Ｑを撮像する。光
源１３による照射方向を変えて被写体Ｑを撮像すること
により、複数の原画像を取得する。カメラ１１から得ら
れた画像データは、画像処理部１２により処理され、Ｃ
ＰＵ１０に入力される。
【００１８】ＣＰＵ１０は、光源移動装置１４を制御
し、光源１３を設定された位置又は操作によって指示さ
れた位置に移動させる。また、カメラ１１を制御し、光
源１３の照射位置が定まったタイミングで、又は光源１
３の移動中の適当なタイミングで、被写体Ｑの撮像を行
う。そして、入力されたデータに対し、後述のように被
写体の面の向きを抽出する処理、その他の処理を行い、
３次元データを生成する。
し、光源１３を設定された位置又は操作によって指示さ
れた位置に移動させる。また、カメラ１１を制御し、光
源１３の照射位置が定まったタイミングで、又は光源１
３の移動中の適当なタイミングで、被写体Ｑの撮像を行
う。そして、入力されたデータに対し、後述のように被
写体の面の向きを抽出する処理、その他の処理を行い、
３次元データを生成する。
【００１９】ＣＰＵ１０及び画像処理装置１２は、パー
ソナルコンピュータ又はワークステーションなどを用い
て構成することが可能である。処理を実行するためのプ
ログラム及びデータは、ハードディスク、光磁気ディス
ク、フロッピィディスクなどの種々の記録媒体により提
供可能である。
ソナルコンピュータ又はワークステーションなどを用い
て構成することが可能である。処理を実行するためのプ
ログラム及びデータは、ハードディスク、光磁気ディス
ク、フロッピィディスクなどの種々の記録媒体により提
供可能である。
【００２０】図２において、まず、被写体Ｑを撮像して
得たｍ枚の画像（原画像）Ｆを読み込み、画像行列Ｉを
生成する（＃１１）。すなわち、１回の撮像によって得
られる画像をＦｋ（ｋ＝１，２，３…ｍ）として、ｍ回
の撮像によってｍ枚の画像Ｆ1 ，Ｆ2 …, Ｆm を取得す
る。図３に示す例では、各画像Ｆ1 ，Ｆ2 …, Ｆm は８
×８＝６４画素からなる。各画像Ｆ1〜m に示す数字は
画素番号である。これらの画像Ｆ1 ，Ｆ2 …, Ｆm に基
づいて、次の（２）式に示すように画像行列Ｉを生成す
る。
得たｍ枚の画像（原画像）Ｆを読み込み、画像行列Ｉを
生成する（＃１１）。すなわち、１回の撮像によって得
られる画像をＦｋ（ｋ＝１，２，３…ｍ）として、ｍ回
の撮像によってｍ枚の画像Ｆ1 ，Ｆ2 …, Ｆm を取得す
る。図３に示す例では、各画像Ｆ1 ，Ｆ2 …, Ｆm は８
×８＝６４画素からなる。各画像Ｆ1〜m に示す数字は
画素番号である。これらの画像Ｆ1 ，Ｆ2 …, Ｆm に基
づいて、次の（２）式に示すように画像行列Ｉを生成す
る。
【００２１】
【数２】 なお、ｉ1 ，ｉ2 …, ｉm は、各画像Ｆ1 ，Ｆ2 …, Ｆ
m の画像行列である。（２）式から理解されるように、
画像行列Ｉの各行は、画像Ｆ1 ，Ｆ2 …, Ｆmの各座標
点に、各列は、同じ位置の光源１３による各画像Ｆ1 ，
Ｆ2 …, Ｆm に、それぞれ対応する。
m の画像行列である。（２）式から理解されるように、
画像行列Ｉの各行は、画像Ｆ1 ，Ｆ2 …, Ｆmの各座標
点に、各列は、同じ位置の光源１３による各画像Ｆ1 ，
Ｆ2 …, Ｆm に、それぞれ対応する。
【００２２】そして、得られた画像行列Ｉの階数が３以
上であることを確認する。上の（２）式で示される各画
像行列Ｉは、被写体Ｑの表面を近似的に拡散反射面であ
ると見なすことによって、次に示す（３）式を満たす。
上であることを確認する。上の（２）式で示される各画
像行列Ｉは、被写体Ｑの表面を近似的に拡散反射面であ
ると見なすことによって、次に示す（３）式を満たす。
【００２３】
【数３】 ここで、Ｎは面特性行列である。面特性行列Ｎの行ベク
トルを各座標点に関する面特性ベクトルといい、その大
きさは反射率に、方向は面の法線方向に、それぞれ対応
する。Ｓは光源特性行列であり、光源特性行列Ｓの列ベ
クトルを各画像に関する光源特性ベクトルといい、その
大きさは光源の明るさに、方向は光源の方向に、それぞ
れ対応する。
トルを各座標点に関する面特性ベクトルといい、その大
きさは反射率に、方向は面の法線方向に、それぞれ対応
する。Ｓは光源特性行列であり、光源特性行列Ｓの列ベ
クトルを各画像に関する光源特性ベクトルといい、その
大きさは光源の明るさに、方向は光源の方向に、それぞ
れ対応する。
【００２４】次に、画像行列Ｉを所定の手順で縮小して
分割し、ｓ個の小画像行列Ｉｋ（ｋ＝１, ２, …ｓ）を
構成する（＃１２）。ここでは、各画像Ｆ1 ，Ｆ2 …,
Ｆm について、それぞれに含まれる画素から選ばれた画
素の集合によって、複数の縮小画像Ｆｒｋ（ｋ＝１,
２, …ｓ）をそれぞれ生成する。
分割し、ｓ個の小画像行列Ｉｋ（ｋ＝１, ２, …ｓ）を
構成する（＃１２）。ここでは、各画像Ｆ1 ，Ｆ2 …,
Ｆm について、それぞれに含まれる画素から選ばれた画
素の集合によって、複数の縮小画像Ｆｒｋ（ｋ＝１,
２, …ｓ）をそれぞれ生成する。
【００２５】つまり、図３に示す各画像Ｆ1 ，Ｆ2 …,
Ｆm を、互いに同一形状の複数のブロックＢＫに区分け
する。この例では、各ブロックＢＫは正方形である。各
ブロックＢＫの中の画素から、１つの画素をそれぞれ選
んで各縮小画像Ｆｒｋに割り当てる。ここでの例では、
各ブロックＢＫにおける同じ位置の画素を同じ縮小画像
Ｆｒｋに割り当てる。つまり、各ブロックＢＫから、画
素を同一の順序で取り出し、それらの画素の画像データ
を各縮小画像Ｆｒｋに同一の順序で割り当てる。
Ｆm を、互いに同一形状の複数のブロックＢＫに区分け
する。この例では、各ブロックＢＫは正方形である。各
ブロックＢＫの中の画素から、１つの画素をそれぞれ選
んで各縮小画像Ｆｒｋに割り当てる。ここでの例では、
各ブロックＢＫにおける同じ位置の画素を同じ縮小画像
Ｆｒｋに割り当てる。つまり、各ブロックＢＫから、画
素を同一の順序で取り出し、それらの画素の画像データ
を各縮小画像Ｆｒｋに同一の順序で割り当てる。
【００２６】図３の例では、８×８画素の各画像Ｆ１〜
ｍは、それぞれ２×２画素のサイズのブロックＢＫに区
分けされ、図４に示すように、最終的にそれぞれ４分割
され、４×４画素の４つの縮小画像Ｆｒ１〜４となる。
つまりｓ＝４である。画素が割り当てられた縮小画像Ｆ
ｒ１〜４に基づいて、次の（４）式に示すように４つの
小画像行列Ｉ１〜４を生成する。
ｍは、それぞれ２×２画素のサイズのブロックＢＫに区
分けされ、図４に示すように、最終的にそれぞれ４分割
され、４×４画素の４つの縮小画像Ｆｒ１〜４となる。
つまりｓ＝４である。画素が割り当てられた縮小画像Ｆ
ｒ１〜４に基づいて、次の（４）式に示すように４つの
小画像行列Ｉ１〜４を生成する。
【００２７】
【数４】 上の（４）式から理解されるように、各小画像行列Ｉｋ
の各行は各座標点に、各列は同じ位置の光源１３の下で
の各画像Ｆ1 〜m に、それぞれ対応している。
の各行は各座標点に、各列は同じ位置の光源１３の下で
の各画像Ｆ1 〜m に、それぞれ対応している。
【００２８】なお、図３及び図４に示す例では、各ブロ
ックＢＫにおける同じ位置の画素を同じ縮小画像Ｆｒ１
〜４に割り当てたが、画素を各縮小画像Ｆｒにランダム
に割り当てることとしてもよい。そのような例が図５に
示されている。
ックＢＫにおける同じ位置の画素を同じ縮小画像Ｆｒ１
〜４に割り当てたが、画素を各縮小画像Ｆｒにランダム
に割り当てることとしてもよい。そのような例が図５に
示されている。
【００２９】つまり、図５において、図３に示す画像Ｆ
が４分割され、各画素がランダムに割り当てられて４つ
の縮小画像Ｆｒ１〜４が生成されている。図２のフロー
チャートに戻って、次に、小画像行列Ｉｋを、特異値分
解を用いて２組の２行列の積に分解し、その１組を選択
する。これが分解１である（＃１３）。そして、光源１
３の明るさ、又は被写体Ｑの反射率に関する条件によ
り、適当な変換行列を計算し、その変換行列をステップ
＃１３での処理結果に施す。これが分解２である（＃１
４）。
が４分割され、各画素がランダムに割り当てられて４つ
の縮小画像Ｆｒ１〜４が生成されている。図２のフロー
チャートに戻って、次に、小画像行列Ｉｋを、特異値分
解を用いて２組の２行列の積に分解し、その１組を選択
する。これが分解１である（＃１３）。そして、光源１
３の明るさ、又は被写体Ｑの反射率に関する条件によ
り、適当な変換行列を計算し、その変換行列をステップ
＃１３での処理結果に施す。これが分解２である（＃１
４）。
【００３０】すなわち、分解１の処理においては、ま
ず、画像行列Ｉに特異値分解を施すことによって、行列
Ｕ、対角化行列Σ、及び行列Ｖを求める。つまり、次に
示す（５）式を求める。
ず、画像行列Ｉに特異値分解を施すことによって、行列
Ｕ、対角化行列Σ、及び行列Ｖを求める。つまり、次に
示す（５）式を求める。
【００３１】Ｉ＝ＵΣＶ ……（５） そして、特異値分解により得られた３つの行列Ｕ，Σ，
Ｖから、それぞれの小行列Ｕ’、Σ’、Ｖ’を次の
（６）式のように抽出する。
Ｖから、それぞれの小行列Ｕ’、Σ’、Ｖ’を次の
（６）式のように抽出する。
【００３２】
【数５】 なお、行列Ｕ、Σ、Ｖはそれぞれｍ列であるので、小行
列Ｕ’及びΣ’は３列、小行列Ｕ”及びΣ”は（ｍ−
３）列、小行列Ｖ’及びＶ”はｍ列である。また、小行
列Ｕ’及びＵ”はｎ行、小行列Σ’及びＶ’は３行、小
行列Σ”及びＶ”は（ｍ−３）行である。
列Ｕ’及びΣ’は３列、小行列Ｕ”及びΣ”は（ｍ−
３）列、小行列Ｖ’及びＶ”はｍ列である。また、小行
列Ｕ’及びＵ”はｎ行、小行列Σ’及びＶ’は３行、小
行列Σ”及びＶ”は（ｍ−３）行である。
【００３３】そして、２組の仮の面特性行列Ｎ’及び仮
の光源特性行列Ｓ’を次の（７）式のように求める。
の光源特性行列Ｓ’を次の（７）式のように求める。
【００３４】
【数６】 上の（７）式において、符号が正の場合のＮ’とＳ’の
１つの組と、符号が負の場合のＮ’とＳ’の他の１つの
組との２組の行列が得られる。そして、これらの２組の
行列におけるそれぞれの積から１組を選択する。
１つの組と、符号が負の場合のＮ’とＳ’の他の１つの
組との２組の行列が得られる。そして、これらの２組の
行列におけるそれぞれの積から１組を選択する。
【００３５】例えば、光源に関する２つの解の行列Ｓ’
の中から、相対関係の分かっている光源の計算結果のみ
を取出して行列を生成し、その行列式を計算する。次
に、実際の相対関係から得られる行列式の符号と照らし
合わせて、符号の一致する解の行列Ｓ’を選択する。
の中から、相対関係の分かっている光源の計算結果のみ
を取出して行列を生成し、その行列式を計算する。次
に、実際の相対関係から得られる行列式の符号と照らし
合わせて、符号の一致する解の行列Ｓ’を選択する。
【００３６】また、分解２の処理において、光源１３の
明るさが一定又はそれらの比が分かっている場合に、分
解１の処理で得られた仮の光源特性行列Ｓ’から、光源
の明るさが一定又はそれらの比が分かっている画像の光
源特性ベクトルｓ’のみを取り出す。光源１３の明るさ
が一定の場合には、次の（８）式を得る。
明るさが一定又はそれらの比が分かっている場合に、分
解１の処理で得られた仮の光源特性行列Ｓ’から、光源
の明るさが一定又はそれらの比が分かっている画像の光
源特性ベクトルｓ’のみを取り出す。光源１３の明るさ
が一定の場合には、次の（８）式を得る。
【００３７】
【数７】 ここで、行列Ａは求めたい（３，３）の変換行列であ
る。（３，３）の対称行列Ｂ＝ＡT Ａを用いると、次の
（９）式を得る。
る。（３，３）の対称行列Ｂ＝ＡT Ａを用いると、次の
（９）式を得る。
【００３８】
【数８】 ここで、行列Ｂの各要素を線形最小二乗法で求め、得ら
れた行列Ｂについて特異値分解を施し、次の（１０）式
のような変換行列Ａを求める。
れた行列Ｂについて特異値分解を施し、次の（１０）式
のような変換行列Ａを求める。
【００３９】
【数９】 そして、仮の光源特性行列Ｓ’と変換行列Ａから、真の
光源特性行列Ｓを次の（１１）式で求める。
光源特性行列Ｓを次の（１１）式で求める。
【００４０】Ｓ＝ＡＳ’ ……（１１） さらに、仮の面特性行列Ｎ’及び変換行列の逆行列Ａ-1
から、真の面特性行列Ｎを次の（１２）式で求める。
から、真の面特性行列Ｎを次の（１２）式で求める。
【００４１】Ｎ＝Ｎ’Ａ-1 ……（１２） また、分解２の処理において、反射率が一定又はそれら
の比が分かっている場合に、分解１の処理で得られた仮
の面特性行列Ｎ’から、反射率が一定又はそれらの比が
分かっているような座標点の面特性ベクトルｎ’のみを
取り出す。反射率が一定の場合には、次の（１３）式を
得る。
の比が分かっている場合に、分解１の処理で得られた仮
の面特性行列Ｎ’から、反射率が一定又はそれらの比が
分かっているような座標点の面特性ベクトルｎ’のみを
取り出す。反射率が一定の場合には、次の（１３）式を
得る。
【００４２】
【数１０】 ここで、（３，３）の対称行列Ｂ＝ＡT Ａを用いると、
次の（１４）式を得る。
次の（１４）式を得る。
【００４３】
【数１１】 そして、（９）式に対するのと同様に、行列Ｂについて
特異値分解を施して次の（１５）式のような変換行列Ａ
を求める。
特異値分解を施して次の（１５）式のような変換行列Ａ
を求める。
【００４４】
【数１２】 そして、仮の面特性行列Ｎ’と変換行列Ａから、真の面
特性行列Ｎを次の（１６）式で求める。
特性行列Ｎを次の（１６）式で求める。
【００４５】Ｎ＝ＡＮ’ ……（１６） さらに、仮の光源特性行列Ｓ’及び変換行列の逆行列Ａ
-1から、真の光源特性行列Ｓを次の（１７）式で求め
る。
-1から、真の光源特性行列Ｓを次の（１７）式で求め
る。
【００４６】Ｓ＝Ｓ’Ａ-1 ……（１７） そして、上に述べた分解１及び分解２の処理（＃１３、
１４）をｓ回繰り返す。その後、小画像行列Ｉｋより抽
出された被写体Ｑの面の向き全てを、ステップ＃１２の
逆の手順で並べ直す（＃１５）。
１４）をｓ回繰り返す。その後、小画像行列Ｉｋより抽
出された被写体Ｑの面の向き全てを、ステップ＃１２の
逆の手順で並べ直す（＃１５）。
【００４７】すなわち、小画像行列Ｉｋ（ｋ＝１, ２,
…ｓ）から抽出された面の向きＮｋは、次のように表さ
れる。
…ｓ）から抽出された面の向きＮｋは、次のように表さ
れる。
【００４８】
【数１３】 ここで、Ｎ１〜４は、それぞれ画像Ｆ１〜４を因子分解
して得られた面特性行列である。それぞれにおいて、
（Ｘj , Ｙj , Ｚj ）の方向が面方向を示す。
して得られた面特性行列である。それぞれにおいて、
（Ｘj , Ｙj , Ｚj ）の方向が面方向を示す。
【００４９】そして、画像Ｆの全体の面の向きＮは次の
（１９）式のように表される。
（１９）式のように表される。
【００５０】
【数１４】 このようにして、画像Ｆの面の向きＮが求められる。な
お、上に述べた処理のうち、ステップ＃１１、１３、１
４については、特開平６−３４１８１８号に詳しく記載
されており、公知である。
お、上に述べた処理のうち、ステップ＃１１、１３、１
４については、特開平６−３４１８１８号に詳しく記載
されており、公知である。
【００５１】上のフローチャートにおいて、ステップ＃
１２が本発明の小画像行列生成ステップに、ステップ＃
１３及び１４が本発明の面向き抽出ステップに、ステッ
プ＃１６が本発明の面向き統合ステップに、それぞれ対
応する。
１２が本発明の小画像行列生成ステップに、ステップ＃
１３及び１４が本発明の面向き抽出ステップに、ステッ
プ＃１６が本発明の面向き統合ステップに、それぞれ対
応する。
【００５２】なお、画像Ｆの全体の面の向きＮが求まっ
た後で、それを絶対座標に変換するために、種々の公知
の方法が用いられる。例えば、各画素についての位置及
び法線方向（面の向き）が求まった状態で、隣接画素の
法線方向を積分していくことにより３次元形状（３次元
データ）が求められる。
た後で、それを絶対座標に変換するために、種々の公知
の方法が用いられる。例えば、各画素についての位置及
び法線方向（面の向き）が求まった状態で、隣接画素の
法線方向を積分していくことにより３次元形状（３次元
データ）が求められる。
【００５３】本実施形態によると、画像Ｆから縮小画像
Ｆｒ１〜４を生成し、これに基づく小画像行列Ｉｋを生
成し、小画像行列Ｉｋに対して特異値分解を施すので、
処理の対象となる画像行列のサイズが小さくなり、特異
値分解の処理に要する時間が短縮され、且つ演算処理に
必要なメモリの容量も少なくて済む。しかも、面の向き
の数の減少が最小限度となり、従来と比較して面の向き
の数が増大し、演算の精度が向上する。したがって、被
写体Ｑの形状を高精度に抽出することができ、３次元デ
ータを高精度に生成することができる。
Ｆｒ１〜４を生成し、これに基づく小画像行列Ｉｋを生
成し、小画像行列Ｉｋに対して特異値分解を施すので、
処理の対象となる画像行列のサイズが小さくなり、特異
値分解の処理に要する時間が短縮され、且つ演算処理に
必要なメモリの容量も少なくて済む。しかも、面の向き
の数の減少が最小限度となり、従来と比較して面の向き
の数が増大し、演算の精度が向上する。したがって、被
写体Ｑの形状を高精度に抽出することができ、３次元デ
ータを高精度に生成することができる。
【００５４】上の述べた実施形態においては、光源移動
装置１４によって光源１３を移動させたが、光源１３を
移動させることなく、又は移動させるとともに、被写体
Ｑ及びカメラ１１を移動させてもよい。その他、３次元
データ生成装置１の構成、形状、処理内容、処理順序な
どは、本発明の趣旨に沿って適宜変更することができ
る。
装置１４によって光源１３を移動させたが、光源１３を
移動させることなく、又は移動させるとともに、被写体
Ｑ及びカメラ１１を移動させてもよい。その他、３次元
データ生成装置１の構成、形状、処理内容、処理順序な
どは、本発明の趣旨に沿って適宜変更することができ
る。
【００５５】
【発明の効果】本発明によると、原画像を分割して複数
の小さな画像を生成することによって処理時間を短縮す
るとともに、面の向きの数の減少を最小限度にとどめて
精度が低下しないようにすることができる。
の小さな画像を生成することによって処理時間を短縮す
るとともに、面の向きの数の減少を最小限度にとどめて
精度が低下しないようにすることができる。
【００５６】これによって、被写体の形状を高精度に抽
出することができ、３次元データを高精度に生成するこ
とができる。
出することができ、３次元データを高精度に生成するこ
とができる。
【図１】本発明に係る３次元データ生成装置の概略の構
成を示すブロック図である。
成を示すブロック図である。
【図２】３次元データ生成装置による面の向きの抽出方
法の処理の流れを示すフローチャートである。
法の処理の流れを示すフローチャートである。
【図３】撮像によって得られた画像の例を示す図であ
る。
る。
【図４】分割された画像の例を示す図である。
【図５】分割された画像の他の例を示す図である。
１ ３次元データ生成装置 Ｑ 被写体 Ｆ，Ｆ１，Ｆ２，Ｆｍ 画像（原画像） Ｉ 画像行列 Ｆｒ 縮小画像 Ｉｋ 小画像行列 ＢＫ ブロック
フロントページの続き Ｆターム(参考） 2F065 AA04 AA35 AA53 DD03 DD06 DD07 FF00 FF04 GG12 HH02 HH14 JJ03 JJ26 MM11 QQ18 QQ25 QQ31 QQ36 5B057 CD07 DA06 DB03 DC08
Claims (5)
- 【請求項１】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して前記被写体における面の向きを抽
出する抽出方法であって、 前記原画像の中の画素から選ばれた画素の集合によって
複数の縮小画像を生成し、各縮小画像の各画素のデータ
によって小画像行列を生成する小画像行列生成ステップ
と、 各小画像行列に因子分解を適用して前記被写体における
面の向きを抽出する面向き抽出ステップと、 前記面向き抽出ステップで得られた面の向きを統合する
面向き統合ステップと、 を有してなることを特徴とする被写体の面の向きの抽出
方法。 - 【請求項２】前記小画像行列生成ステップにおいて、前
記原画像を複数のブロックに区分けし、各ブロックの中
の画素から１つ以上の画素をそれぞれ選んで前記各縮小
画像に割り当てる、 請求項１記載の被写体の面の向きの抽出方法。 - 【請求項３】前記小画像行列生成ステップにおいて、前
記複数のブロックを互いに同一形状とし、各ブロックに
おける同じ位置の画素を同じ縮小画像に割り当てる、 請求項２記載の被写体の面の向きの抽出方法。 - 【請求項４】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して前記被写体における面の向きを抽
出し、抽出した面の向きに基づいて前記被写体の３次元
データを生成する３次元データ生成方法であって、 前記原画像の中の画素から選ばれた画素の集合によって
複数の縮小画像をそれぞれ生成し、各縮小画像の各画素
のデータによって小画像行列を生成する小画像行列生成
ステップと、 各小画像行列に因子分解を適用して前記被写体における
面の向きを抽出する面向き抽出ステップと、 前記面向き抽出ステップで得られた面の向きを統合する
面向き統合ステップと、 統合した面の向きを絶対座標に変換する座標変換ステッ
プと、 を有してなることを特徴とする３次元データ生成方法。 - 【請求項５】光源による照射方向を変えて被写体を撮像
することによって複数の原画像を取得し、各原画像の各
画素のデータによって画像行列を生成し、当該画像行列
に因子分解を適用して前記被写体における面の向きを抽
出し、抽出した面の向きに基づいて前記被写体の３次元
データを生成する３次元データ生成装置であって、 前記原画像の中の画素から選ばれた画素の集合によって
複数の縮小画像をそれぞれ生成し、各縮小画像の各画素
のデータによって小画像行列を生成する小画像行列生成
手段と、 各小画像行列に因子分解を適用して前記被写体における
面の向きを抽出する面向き抽出手段と、 前記面向き抽出手段で得られた面の向きを統合する面向
き統合手段と、 統合した面の向きを絶対座標に変換する座標変換手段
と、 を有してなることを特徴とする３次元データ生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25254099A JP2001074430A (ja) | 1999-09-07 | 1999-09-07 | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25254099A JP2001074430A (ja) | 1999-09-07 | 1999-09-07 | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001074430A true JP2001074430A (ja) | 2001-03-23 |
Family
ID=17238805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25254099A Pending JP2001074430A (ja) | 1999-09-07 | 1999-09-07 | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001074430A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015232476A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
| JP2015232479A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
| JP2015232483A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
-
1999
- 1999-09-07 JP JP25254099A patent/JP2001074430A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015232476A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
| JP2015232479A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
| JP2015232483A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| US10036713B2 (en) | 2014-06-09 | 2018-07-31 | Keyence Corporation | Inspection apparatus, inspection method, and program |
| US10156525B2 (en) | 2014-06-09 | 2018-12-18 | Keyence Corporation | Inspection apparatus, inspection method, and program |
| US10241056B2 (en) | 2014-06-09 | 2019-03-26 | Keyence Corporation | Inspection apparatus, inspection method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6633294B1 (en) | Method and apparatus for using captured high density motion for animation | |
| JP4613994B2 (ja) | 動態推定装置、動態推定方法、プログラム | |
| JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
| US9818217B2 (en) | Data driven design and animation of animatronics | |
| JP3837575B2 (ja) | 超解像処理の高速化方法 | |
| US20110249001A1 (en) | Matrix generation apparatus, method, and program, and information processing apparatus | |
| JP2001320579A (ja) | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 | |
| KR20170022736A (ko) | 딕셔너리 학습 기반 해상도 향상 장치 및 방법 | |
| JP2007004578A (ja) | 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体 | |
| CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
| TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
| CN104796624A (zh) | 一种光场编辑传播方法 | |
| JP2001074430A (ja) | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 | |
| WO2020183961A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| Kukharev et al. | Methods of face photo-sketch comparison | |
| CN116228986A (zh) | 一种基于局部到全局补全策略的室内场景光照估计方法 | |
| DE102018128592A1 (de) | Erzeugen eines Bilds unter Verwendung einer Map, die verschiedene Klassen von Pixeln repräsentiert | |
| JP3713156B2 (ja) | テンプレートの作成方法 | |
| JP2000194863A (ja) | ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体 | |
| DE102018129135A1 (de) | Verwendung von rest-videodaten, die aus einer kompression von original-videodaten resultieren, um eine dekompression der original-videodaten zu verbessern | |
| JP7407407B2 (ja) | 処理方法およびそれを利用した処理装置 | |
| CN114862670A (zh) | 大鼠踝骨骨折Micro-CT图像的超分辨率重建装置 | |
| JP2004021373A (ja) | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 | |
| JP2775122B2 (ja) | イラストデータの自動輪郭抽出ベクトル化処理方法，及びそれに使用する処理装置 | |
| JP2001074431A (ja) | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050615 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |