JP2009236696A - 被写体の３次元画像計測方法、計測システム、並びに計測プログラム - Google Patents

Abstract

【課題】照度差ステレオ法を利用し、平行光や距離計測装置を用いずカメラは１台で、被写体表面の位置座標、法線方向および反射率の各情報を計測できる被写体の３次元画像計測方法、システム、並びにプログラムを提供する。
【解決手段】光源を移動させて４以上の全ては同一平面上に無い位置から被写体を照明し撮影することで撮影画像の情報を得て、カメラをピンホールカメラモデルと仮定してカメラの画像平面上の各画素とピンホールレンズとを結ぶ光線方向を計算し、光源の配光分布、撮影画像および光線方向の情報に基づいて、照度差ステレオ法を利用して位置座標、法線方向および反射率の情報を得る。
【選択図】図３

Description

本発明は、カメラによって得られた画像から被写体の表面の各点における位置の座標、法線の方向、及び反射率の各情報を得るための計測方法、計測システム、並びに計測プログラムに関する。

従来より３次元画像計測の１手法として、光源から被写体への照明方向を変えて複数の画像を撮像し、光源方向に正対した物体の面が明るく写ることを利用して、その複数の画像の情報に基づいて、各画素で観測される輝度値の違いから物体表面の法線の方向を求める照度差ステレオ法が知られている。
照度差ステレオ法を応用すると、その被写体の表面各点における法線の方向の他に、そこの反射率を得ることも出来る。

ところで、照度差ステレオ法の場合、被写体の各点における位置の座標は得られないという問題がある。そこで例えば特許文献１に開示された発明では、被写体の撮影に用いたカメラの自動焦点調節機構等から被写体の各点における距離情報を取得することで、（傾きから計算される位置座標の差分値を加算することもなく）各点の位置情報を取得している。
また、照度差ステレオ法では、一回の撮像において光源から被写体の各点への照明方向は一定である平行光が用いられるが、光源から出射した光線を平行光とするためには大きな計測環境が必要になる、特殊な光学系が必要になるなど実用的ではない。そこで特許文献１に開示された発明では、被写体の撮影に用いたカメラの自動焦点調節機構等から被写体の各点における距離情報を取得し、各撮影における光源との位置関係から照明方向を計算することで、平行光を用いることなく被写体の各点における法線および反射率を取得している。

但し、特許文献１の発明は、被写体の各点へ入射する放射輝度を取得することに関しては、立体白色板中の、光源に正対する領域の放射輝度を画像中の最大放射輝度としているが、放射輝度は光源と被写体の各点間の距離、および点光源でない限り光源からの光線の出射方向に依存するため、必ずしも最大放射輝度とは言えないという点で問題がある。
また、最大放射輝度であったとしても、上述の理由より被写体の各点へ入射する放射輝度は一定ではない。即ち、特許文献１の発明は、平行光を用いずに法線を正確に取得できていないという問題がある。

それから、特許文献１の発明は、被写体の各点へ入射する光線方向を求める際に、カメラと被写体の各点間の距離を表す距離画像を必要とするため、カメラの自動焦点調節機構等の「距離計測装置」がなければならないという点で問題がある。

尚、特許文献２に開示された発明の場合、照度差ステレオ法を用いて被写体の形状情報を推定し、被写体の各点の法線情報を推定することができるが、被写体を平行光で照明しなければならない点や、位置座標を推定することはできない点は、やはり問題と云える。

また、特許文献３に開示された発明の場合、被写体の各点の位置を推定する際に用いる三角測量において、レンズ中心と画素を結ぶ線上にその点が有るとしている手法であるが、位置を推定するために必ず２つのカメラを必要とする点では、やはり問題と云える。
特開２００６−２８５７６３号公報 特開平６−３４１８１８号公報 特開平２−２４５６１０号公報

本発明は、前記従来の技術の問題点に鑑みなされたもので、その目的は、いわゆる照度差ステレオ法を利用する場合であって、平行光や距離計測装置類を使用せず、また１つのカメラで済むにも関わらず、被写体の表面の各点の位置の座標、法線の方向，及び反射率の各情報を計測できる被写体の３次元画像計測方法、計測システム、並び計測プログラムを提供することにある。

前記課題を解決する為に提供する請求項１の発明は、光源の配光分布の情報を得る光源情報ステップ、
該光源を移動させて４以上の複数の位置から被写体を照明したときそれぞれの該被写体を一台のカメラを用いて撮影し、且つ、該撮影時の該光源の位置が全ては同一平面上に無いように配置することにより、該被写体の照明位置が異なる４以上の複数の撮影画像の情報を得る被写体撮像ステップ、
該カメラをピンホールカメラモデルと仮定した場合の、該カメラの画像平面上の各画素とピンホールレンズとを結ぶそれぞれの光線方向を計算する光線方向情報ステップ、及び、
該光源の配光分布の情報、該撮影画像の情報、及び該光線方向の情報に基づき照度差ステレオ法を利用して、該被写体の表面の各点の位置の座標の情報、法線の方向の情報、及び反射率の情報を得る情報取得ステップ、
を全て具備することを特徴とする被写体の３次元画像計測方法である。

また請求項２の発明は、前記画像計測ステップにおいて、射影方法が中心射影である前記ピンホールカメラモデルと仮定すること、を特徴とする請求項１に記載の被写体の３次元画像計測方法である。

また請求項３の発明は、前記光源の配光分布が、該光源から出射する光線の角度に対する放射輝度分布であること、を特徴とする請求項１又は２のいずれかに記載の被写体の３次元画像計測方法である。

そして請求項４の発明は、光源の配光分布の情報を入力する光源情報入力手段と、
該光源を移動させて４以上の複数の位置から被写体を照明する照明機構と、該照明したそれぞれの該被写体を一台のカメラを用いて撮影する撮影機構とを有し、且つ、該撮影時の該光源の位置は全ては同一平面上に無いよう異ならせることにより、該被写体の照明位置が異なる４以上の複数の撮影画像の情報を得る被写体撮像手段、
該カメラをピンホールカメラモデルと仮定した場合の、該カメラの画像平面上の各画素とピンホールレンズとを結ぶそれぞれの光線方向を計算する光線方向計算手段、及び、
該光源の配光分布の情報、該撮影画像の情報、及び該光線方向の情報に基づいて、照度差ステレオ法を利用し、該被写体の表面の各点の位置の座標の情報、法線の方向の情報、及び反射率の情報を得る情報取得手段、
を全て具備することを特徴とする被写体の３次元画像計測システムである。

そして請求項５の発明は、光源の配光分布の情報を得る光源情報ステップ、
該光源を移動させて４以上の複数の位置から被写体を照明したときそれぞれの該被写体を一台のカメラを用いて撮影し、且つ、該撮影時の該光源の位置が全ては同一平面上に無いように配置することにより、該被写体の照明位置が異なる４以上の複数の撮影画像の情報を得る被写体撮像ステップ、
該カメラをピンホールカメラモデルと仮定した場合の、該カメラの画像平面上の各画素とピンホールレンズとを結ぶそれぞれの光線方向を計算する光線方向情報ステップ、及び、
該光源の配光分布の情報、該撮影画像の情報、及び該光線方向の情報に基づき照度差ステレオ法を利用して、該被写体の表面の各点の位置の座標の情報、法線の方向の情報、及び反射率の情報を得る情報取得ステップ、
の全てをコンピュータに行わせることを特徴とする被写体の３次元画像計測プログラムである。

本発明によれば、照度差ステレオ法を利用したうえで、平行光や距離計測装置を用いなくても、また被写体を撮像するカメラはたった１台だけで、被写体の表面の各点の位置の座標、法線の方向、及び反射率の各情報を得ることができる。

図１は本発明の実施形態に係る画像取得装置１１の構成を示し、図２は光源１３から出射する光線とそれを計測するカメラの位置関係を示し、図３は被写体Ｑの各点における位置、法線および反射率取得装置１１による取得処理を示し、また図４は被写体上の点とカメラのレンズ中心の位置関係を示している。

被写体の表面の各点における位置の座標、法線の方向、及び反射率の各情報を得る為には、被写体Ｑの各点へ入射する光線の放射輝度の情報が必要になる。
この被写体Ｑの各点へ入射する光線の放射輝度の情報は、もし既に得られてあればそれを利用して良いが、もし未だ得られていなければ例えば次のような手法によって得る。即ち、図３のステップＳ１において、被写体の各点における位置の座標の情報、法線の方向の情報、及び反射率の情報の取得に必要となる、被写体Ｑの各点へ入射する光線の放射輝度を取得する。
そこで、光源１３から出射する光線の放射輝度分布である、光源の配光分布を計測する。すなわち、図２のように光源１３の中心Ｐ_ｃにおいて光源の法線ｎ_ｌに対する、光源１３から出射される光線方向の天頂角をφ、方位角をθとしたときの、光線１３の放射輝度ｌ（φ、θ）を計測する。

尚、光源の配光分布計測の手法は公知のものを適宜採用して良く、例えば次の文献
“Ｎｅａｒ−Ｆｉｅｌｄ Ｐｈｏｔｏｍｅｔｒｙ Ｉｎ Ｐｒａｃｔｉｃｅ．”、
Ｉａｎ Ａｓｈｄｏｗｎ著、
（Ｊ．Ｉｌｌｕｍｉｎａｔｉｎｇ Ｅｎｇ．Ｓｏｃ．２２．ｐ．１６３、１９９３）
に詳しく記載されている。
そこで、図２に示すように、Ｐ_ｃを中心に放射輝度計１９を回転させ、各方向（φ、θ）における放射輝度を計測する。

ここで、図１を参照して図３のステップＳ２について説明する。被写体の各点における位置、法線および反射率の取得装置１１は、カメラ１２、光源１３、光源移動装置１４、そしてコンピュータ１５から構成される。また、コンピュータは、ＣＰＵ１６１、メモリ１６２、データ記録部１６３から構成される処理部１６、ユーザからの入力を受け付けるキーボードやマウス等の入力部１７、処理部１６における処理内容や結果等を表示するディスプレイ装置から構成する表示部１８によって構成されている。
光源１３は光源移動装置１４によって移動可能であり、これによって任意地点から被写体Ｑを照明する。光源をｍ回移動させ、照明された被写体Ｑはカメラ１２によって撮像され、ｍ枚の画像Ｆを取得する。このとき、被写体Ｑを照明し撮像する全ての光源位置が同一平面には存在しないように、光源を移動させる。尚、光源を移動させて４以上の複数の位置から被写体を照明したときそれぞれの該被写体を一台のカメラを用いて撮影する。この「４以上の複数」と云う要件は、被写体の表面の各点とピンホールレンズ間の距離、および３次元空間において法線の方向を表す３要素を計算するために必要だからである。

１回の撮像によって得られる画像をＦ_ｋ（ｋ＝１、２、…ｍ）として、ｍ枚の画像Ｆ_１、Ｆ_２、・・・、Ｆ_ｍがＣＰＵ１６１に入力され、被写体Ｑの各点における位置、法線および反射率を抽出する処理（図３のステップＳ３、Ｓ４、Ｓ５）が実行される。

画像Ｆの撮影に用いたカメラ１２を、中心射影を行うピンホールカメラモデルとして仮定する。ここでピンホールカメラモデルとは、例えば次の文献、即ち、
「３次元ビジョン」、徐剛、辻三郎 著（共立出版）
の２章に記載されたものである。これは一般的なカメラモデルとして用いられている。

図４に示すように画像Ｆが得られる仮想画像平面上の画素位置（ｘ、ｙ）は被写体上の、３次元座標である点Ｐが撮像された点であり、ｋ回目の撮影画像Ｆ_ｋの（ｘ、ｙ）の画素値ｐ_ｋは次の式（１）によって示される。

ここで、ρ、ｎはそれぞれ点Ｐの反射率と法線を表す単位ベクトルであり、ｓ_ｋは各画像Ｆ_ｋにおける点Ｐへの光線ベクトルであり、その長さは点Ｐへ入射する光線の放射輝度、向きは点Ｐから光源位置への方向をそれぞれ表す。
ｓ_ｋが平行光でない場合、光線の放射強度、および向きは点Ｐの位置に依存し、次の（２）式で表すことができる。

ここで、Ｐ_ｌｋは各画像Ｆ_ｋにおける光源中心の３次元座標位置とし、l（Ｐ_ｌｋ、Ｐ）は図３のステップＳ１において計測した、光源１３の配光分布であり、点Ｐ方向への放射輝度は、次の（３）式で表すことができる。

ここで、ｕ、ｖは図２に示されるように光源の法線ｎ_１と直交する平面をなすＵ軸、Ｖ軸をそれぞれ表す単位ベクトルである。

上記の各式において、Ｐ、ｎおよびρは未知である。また、仮想画像平面とは、上記文献「３次元ビジョン」の第２章にて説明されており、撮影画像が形成される画像平面に対してピンホールレンズ中心において点対称な平面である。

Pは３次元空間上の点であり、ｌ（Ｐ_ｌｋ、Ｐ）を計算するためには、Pの３つの未知数であるＸＹＺ座標をそれぞれ取得しなければならない。ここで、カメラの射影方法を中心射影と仮定すると、Pは図４のように、カメラの仮想画像平面とピンホールレンズ中心Ｐ_ｃを結ぶ線上に存在する。したがって、１つの未知数である、Ｐ_ｃとP間の距離ｔを用いて、次の（４）式のようにPを表すことができる。

ここで、Ｐ_ｃとｖはそれぞれ、ピンホールレンズ中心の位置と、点Ｐ_ｃから仮想画像平面における位置（ｘ、ｙ）への方向ベクトルである。なお、方向ベクトルｖは図３のステップＳ３において計算される。

ここで、画像F_ｋ（ｋ＝１、２、３）の画素値と式（１）より下記の値を得る。

但し、Ｓは下記の式で表される。

式（５）において、法線ｎは単位ベクトルであるから、下記のように反射率ρとｎを取得することができる。

上記の式より、距離ｔが分かれば、P、ｎおよびρを取得することができる。そこで、画像Ｆ_ｋ（４≦ｋ≦ｍ）を用いて、未知数ｔを取得する。
すなわち、画像F_ｋ（４≦ｋ≦ｍ）の画素値ｐ_ｋ（ｔ）に対して、非線形最適化手法であるＮｅｌｄｅｒ−Ｍｅａｄ法を用いて下の式を最小にする

を推定する。

ここで、ｐ_ｋ（ｔ）は光源がｋ回目の撮影位置にいるときの、任意のｔに対する位置（ｘ、ｙ）の画素値であり、下記のように表される。

は引数の値を最小にするｔを示している。
ステップＳ４において式（９）より

を推定し、得られた

と式（４）より３次元空間上の、被写体の位置Ｐ（ｔ）を計算することができる。

次に、ステップＳ５において

と、式（２）、式（３）、式（６）、及び式（７）を用いて、Ｐ（ｔ）の法線および反射率を推定することができる。

上記の説明では、１画素に対する位置、法線および反射率情報を取得する方法について述べたが、同様の処理を画像Ｆ中の全ての画素に対して行うことにより、それぞれの画素に対応した被写体上の点の３次元情報を取得することができる。

なお、式（２）と式（３）において、ステップＳ１で計測した、光源の配光分布を用いたが、被写体の各点の座標に依存しない平行光を用いてもよい。

また、図３のステップＳ４において、ピンホールレンズ中心と被写体の点間の距離推定にＮｅｌｄｅｒ−Ｍｅａｄ法を用いたが、必ずしもこれに限らずその他の、例えば準ニュートン法を用いても良いし、あるいは逐次２次計画法、等を用いてもよい。

また、図３のステップＳ４において、カメラ１２を、平行射影するピンホールカメラモデルと仮定したときにも、式（４）を変更するだけで被写体の３次元情報を取得することができる。その際、例えばカメラの光軸方向と３次元空間におけるＺ軸が一致するとき、式（４）は以下のように表される。

ここで、ｘ_ｐ、ｙ_ｐおよびｚ_ｐはそれぞれ、方向ベクトルｖのｘ、ｙおよびｚ成分である。

また、図１における処理部の機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより被写体の各点における位置、法線および反射率取得処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、ハードディスク等の記憶装置のことをいう。それから「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他の記憶装置等に伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。それから、前述した機能を記録媒体にすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の実施形態に係る、被写体の各点における位置、法線および反射率取得装置の構成を示す概略のブロック図である。 光源から出射する光線とそれを計測するカメラの位置関係を示す概念図である。 被写体の各点における位置、法線および反射率取得装置１１による取得処理を示すフローチャートである。 被写体上の点とカメラのレンズ中心の位置関係を示す概念図である。

符号の説明

１１ ・・・計測システム（一実施例）
１２ ・・・カメラ
１３ ・・・光源
１４ ・・・光源移動装置
１５ ・・・コンピュータ
１６ ・・・処理部
１６１・・・ＣＰＵ
１６２・・・メモリ
１６３・・・データ記録部
１７ ・・・入力部
１８ ・・・表示部
１９ ・・・放射輝度計
Q ・・・被写体
Ｆ_ｉ ・・・撮影画像

Claims (5)

1. 光源の配光分布の情報を得る光源情報ステップ、
   該光源を移動させて４以上の複数の位置から被写体を照明したときそれぞれの該被写体を一台のカメラを用いて撮影し、且つ、該撮影時の該光源の位置が全ては同一平面上に無いように配置することにより、該被写体の照明位置が異なる４以上の複数の撮影画像の情報を得る被写体撮像ステップ、
   該カメラをピンホールカメラモデルと仮定した場合の、該カメラの画像平面上の各画素とピンホールレンズとを結ぶそれぞれの光線方向を計算する光線方向情報ステップ、
   及び、
   該光源の配光分布の情報、該撮影画像の情報、及び該光線方向の情報に基づき照度差ステレオ法を利用して、該被写体の表面の各点の位置の座標の情報、法線の方向の情報、及び反射率の情報を得る情報取得ステップ、
   を全て具備することを特徴とする被写体の３次元画像計測方法。
2. 前記情報取得ステップにおいて、射影方法が中心射影である前記ピンホールカメラモデルと仮定すること、を特徴とする請求項１に記載の被写体の３次元画像計測方法。
3. 前記光源の配光分布が、該光源から出射する光線の角度に対する放射輝度分布であること、を特徴とする請求項１又は２のいずれかに記載の被写体の３次元画像計測方法。
4. 光源の配光分布の情報を入力する光源情報入力手段と、
   該光源を移動させて４以上の複数の位置から被写体を照明する照明機構と、該照明したそれぞれの該被写体を一台のカメラを用いて撮影する撮影機構とを有し、且つ、該撮影時の該光源の位置は全ては同一平面上に無いよう異ならせることにより、該被写体の照明位置が異なる４以上の複数の撮影画像の情報を得る被写体撮像手段、
   該カメラをピンホールカメラモデルと仮定した場合の、該カメラの画像平面上の各画素とピンホールレンズとを結ぶそれぞれの光線方向を計算する光線方向計算手段、
   及び、
   該光源の配光分布の情報、該撮影画像の情報、及び該光線方向の情報に基づいて、照度差ステレオ法を利用し、該被写体の表面の各点の位置の座標の情報、法線の方向の情報、及び反射率の情報を得る情報取得手段、
   を全て具備することを特徴とする被写体の３次元画像計測システム。
5. 光源の配光分布の情報を得る光源情報ステップ、
   該光源を移動させて４以上の複数の位置から被写体を照明したときそれぞれの該被写体を一台のカメラを用いて撮影し、且つ、該撮影時の該光源の位置が全ては同一平面上に無いように配置することにより、該被写体の照明位置が異なる４以上の複数の撮影画像の情報を得る被写体撮像ステップ、
   該カメラをピンホールカメラモデルと仮定した場合の、該カメラの画像平面上の各画素とピンホールレンズとを結ぶそれぞれの光線方向を計算する光線方向情報ステップ、
   及び、
   該光源の配光分布の情報、該撮影画像の情報、及び該光線方向の情報に基づき照度差ステレオ法を利用して、該被写体の表面の各点の位置の座標の情報、法線の方向の情報、及び反射率の情報を得る情報取得ステップ、
   の全てをコンピュータに行わせることを特徴とする被写体の３次元画像計測プログラム。

Images