JP2001194128A - 焦点光源付ステレオカメラによる３次元面形状推定方法 - Google Patents

Abstract

(57)【要約】 【課題】 簡単な装置を使用することにより、特徴点
のない滑らかなほぼ垂直な対象物体曲面に対して、必要
な３次元物体曲面を高速演算で復元する。 【解決手段】 カメラとカメラの焦点位置に仮想的に
設けられた点光源装置とからなる複数台の焦点光源付カ
メラ及びＣＰＵを具備する焦点光源付ステレオカメラシ
ステムであって、複数の点光源を順次点灯させて対象物
体の反射光に基づく物体映像を複数台のカメラでそれぞ
れ撮影し、ＣＰＵはこれらの映像信号を取り込み、両映
像の正反射点を求め、対象物体面の最近傍点の３次元位
置情報、法線方向を算出して、対象物体の面までの距離
を演算する。さらに、ＣＰＵは算出した法線方向から対
象物体断面形状を推定し、これらの値と対象物体の領域
内の輝度とから対象物体の面を近似演算する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ立体視型
視覚センサによる三次元形状の推定方法、特に焦点光源
付ステレオカメラを使用して、平面状及び曲面状物体の
形状を推定する方法に関する。

【０００２】

【従来の技術】ロボットが室内を移動する際、室内に配
置された物体を認識して、これらの物体を避けて移動す
る必要があり、このための物体を把握する視覚センサが
ロボットに設置されている。視覚センサを使用して物体
までの距離を測定して３次元形状を推定する方法とし
て、従来は、三角距離計測の原理を使用したステレオ立
体視法、超音波やレーザーレンジファインダを用いる手
法が使用されていた。

【０００３】図１０により、ステレオ立体視法による物
体の３次元形状の推定方法の原理を説明する。カメラ等
の視覚センサを２個左右の位置Ｒ，Ｌに並べてステレオ
画像視する方法である。カメラの位置Ｒ，Ｌは定められ
ているので、一辺ａ両端角ｂ，ｃから三角形の頂点、対
象物体の一点Ｐは一意的に決定される。カメラの姿勢、
レンズの焦点距離が既知であるので、右画像平面、左画
像平面のＰ_１，Ｐ_２点から両端角ｂ，ｃは求めることが
できる。

【０００４】

【発明の解決しようとする課題】三角測量によるステレ
オ立体視法を適用する従来の方法は、２台のカメラを使
用するだけなので簡便でよい。ただし、カメラの視線方
向を決定するには、右画像のなかに見えている点が左画
像のどこの対応しているかを探す必要がある。二つの入
力画像から自動的に対応点を発見することは困難であ
る。コンピュータにより対象物の中でも表面の明暗が急
変している箇所しか対応点を決定することができないの
で、特徴のない一様の表面を持った物体に対しては、表
面全体の三次元計測を行うことができないという問題点
があった。

【０００５】又、従来の超音波やレーザーレンジファイ
ンダを使用した３次元形状推定方法では、レーザーレン
ジファインダーや超音波装置などの特殊装置を必要とし
ていた。レーザーレンジファインダーを使用するものは
対象物体の形状推定の演算に時間を要し、超音波装置を
使用するものは演算時間は短いものの精度が悪かった。
これに対して、ロボットが障害物を避けて室内を移動す
る時、人間の眼と同様、ロボットに必要な物体の３次元
情報は障害物体の大まかな位置、大きさだけで充分であ
るものの、障害物体を把握する演算時間は移動時間より
短くする必要があり、これらの視覚センサは移動ロボッ
トの視覚センサとして充分なものとは言えなかった。

【０００６】

【課題を解決するための手段】上記課題を達成するため
に、本発明では、カメラと該カメラの焦点位置に仮想的
に設けられた点光源照明とからなる複数台の焦点光源付
カメラと、ＣＰＵとを具備する焦点光源付ステレオカメ
ラを用いて、両光源の一方の照明による対象物体の反射
光に基づく対象物体像を両カメラで撮影し、ＣＰＵはこ
れらの映像信号を取り込み、両映像中の正反射点を求
め、カメラの前方に位置する対象物体面の１点の３次元
座標、３点の法線方向を算出し、対象物体面を近似演算
して３次元面形状を推定する方法を提供する。

【０００７】本願発明の方法によると、リング光源、カ
メラ、ＣＰＵ等市販されている簡単な装置により、特徴
点のない滑らかで、ほぼ垂直な曲面を有する対象物体面
を短時間で推定することができる。

【０００８】

【発明の実施の態様】図１は本発明の方法を実施する装
置の一例を示している。１Ｒ，１Ｌはステレオカメラを
構成する右，左の焦点光源付カメラで、２Ｒ，２Ｌは
右，左の受光装置で、例えばカメラ、３Ｒ，３Ｌはカメ
ラの光軸上の仮想的な位置に配置された右，左の点光源
装置、４はアナログ・デジタル変換器、５はＣＰＵ、６
はモニタ、７Ｒ，７Ｌは照射光、８Ｒ，８Ｌは照射光７
Ｌ，７Ｒの物体表面による反射光を表している。

【０００９】点光源装置３Ｒ，３Ｌは例えば環状ストロ
ボで、カメラ２Ｒ，２Ｌの投影中心の位置レンズと同軸
に取り付けられている。一般に環状光源は、対象とする
面までの距離が光源の直径の１０倍以上になると、点光
源と等価になる。図１の焦点光源付ステレオカメラの点
光源装置３Ｒ，３Ｌは、カメラの焦点位置に配置された
点光源として機能する。図２は、点光源装置３Ｒ，３
Ｌ、カメラ２Ｒ，２Ｌからなる光源付ステレオカメラを
上部に配置した移動ロボットの斜視図を示している。

【００１０】アナログ・デジタル変換器４はカメラ２
Ｒ，２Ｌで撮影された画像をサンプルし、各画素を輝度
レベルでデジタル化し、ＣＰＵ５に送信する。ＣＰＵ５
はカメラ２Ｒ，２Ｌ、光源照明３Ｒ，３Ｌを制御すると
ともに、アナログ・デジタル変換器４からの映像信号を
記憶し、３次元情報を演算する。

【００１１】本発明の方法を図１の焦点光源付ステレオ
カメラを参照して、図３のフロー図により説明する。 ステップＳ１ まず、焦点光源付ステレオカメラ２Ｒ，２Ｌの左，右点
光源装置３Ｌ，３Ｒのいずれか一つ、例えば右点光源装
置３Ｒを先ず点灯し、カメラ２Ｌ，２Ｒで対象物体を撮
影し、次いで左点光源装置３Ｌを点灯しカメラ２Ｌ，２
Ｒで対象物体を撮影する。これら４個の画像の映像信号
はアナログ・デジタル変換されてＣＰＵ５に入力され
る。図４（ａ）は、右点光源照明Ｒが点灯した時の右カ
メラ２Ｒが撮影した右画像例である。

【００１２】ステップＳ２ ＣＰＵ５は、入力された各画像から物体領域を抽出し、
等輝度曲線を抽出する。先ずソーベルオペレータ（Sobe
l operator）とリージョンラベリング（Region label
ling ）を使い、面領域の抽出を行う。ソーベルオペレ
ータにより画素周辺の輝度の変化を調べ、変化分の小さ
い画素を面部分、それ以外をエッジ部分とし、画像を２
つの領域に分ける。面領域に関しては、リージョンラベ
リングで画素の連結性を調べて、面積が一定値以上の領
域を物体領域とする。

【００１３】次に、対象物体面の材質や微細な表面形状
などによる輝度のむらを除去するために、各々の面領域
の輝度を７×７のウィンドウオペレータにより平均化す
る。さらに、各平面ごとに平均化された輝度を一定のレ
ベルごとに量子化し、同じ輝度の連結領域をリージョン
ラベリングにより求める。この連結領域は帯状になり、
正確にはこの領域を細線化して等輝度曲線を求める。

【００１４】図４（ｂ）は、右点光源装置３Ｒが点灯し
た時に右カメラ２Ｒが撮影した右画像例（図４（ａ））
において、抽出された物体領域像とそこに等輝度線像を
のせた例を示した図である。Ｕ１’〜Ｕ４’で囲まれた
領域が抽出された物体領域を、Ｅが演算された等輝度曲
線を示している。この例では、表示の便宜上、輝度を２
レベルごとに間引いた等輝度曲線である。輝度分布のピ
ークになるところが正反射点であることから、ＣＰＵ５
は演算された等輝度曲線の同心円群、楕円状の曲線群の
中心点を基に輝度分布のピーク位置を求めて、正反射点
の位置を求める。正反射光成分による輝度分布での等輝
度曲線は、楕円曲線短軸が１０〜６０画素程度になる。
短軸の長さの平均値が６０画素以下であれば、この輝度
分布は正反射光成分であるとして良い。

【００１５】ステップＳ３ 点光源で照明された物体を撮影した画像において、反射
光がピークとなる各局所領域に関してピークである位置
での３法線方向と一点の３次元情報を、次に述べる方法
により算出する。

【００１６】図５（ａ）は左点光源３Ｌを点灯した時の
光の照射経路、反射経路と左，右のカメラ３Ｌ，３Ｒが
撮影した画像面における反射光がピークとなる局所領域
（画像面において楕円で表された領域）を示し、図５
（ｂ）は右点光源３Ｒを点灯した時の光の照射経路、反
射経路と左、右カメラが撮影した画像面における反射光
がピークとなる局所領域を示している。図５中、物体の
Ａ点，Ｃ点は同じ側の、例えば左点光源３Ｌ点灯時の左
カメラ画像で観測される正反射点で、その像の輝度が一
番高く観測される。Ｂ点は左点光源点灯時、右点光源点
灯時にそれぞれ右カメラ画像、左カメラ画像において共
に輝度のピーク値が観測される点である。

【００１７】３次元座標をステレオカメラのベースライ
ンの中点（図５のＯで示す点）に原点をとり、カメラの
視線方向をＺ軸、それに直交する面の垂直下方方向をＹ
軸、水平方向をＸ軸とした右手座標系とする。図５中の
Ｌ，Ｒはそれぞれ左点光源３Ｌの位置・左カメラ２Ｌの
焦点位置、右点光源３Ｒの位置・右カメラ２Ｒの焦点位
置を表している。左，右カメラの焦点座標をそれぞれ次
の（１）の座標とする。

【００１８】又、図５中、Ｂ点に対応する左，右カメラ
画像面上の観測３次元位置、すなわち右，左の点光源を
点灯した時の左，右カメラ画像面での輝度ピーク観測位
置がそれぞれ次の（２）のように計測されるとする。と
すると、 図５中のＢ点の３次元座標（Ｂ_ｘ，Ｂ_ｙ，Ｂ
_ｚ）は、次の（３）式，（４）式，（５）式で、Ｂ点の
法線方向ｎ^Ｂのベクトルは、次の（６）式で表せる。

【００１９】

【数１】

【００２０】

【数２】

【００２１】図５中のＡ点，Ｃ点の法線方向ｎ^Ａのベク
トル，ｎ^Ｃのベクトルは、観測３次元位置、すなわち
左，右の点光源を点灯した時の左，右画像面でのピーク
観測位置をそれぞれ、次の（７）とすると、それぞれ次
の（８），（９）式の値となる。なお、本明細書で同じ
参照符号を使用するものは同じもの又は相当するものを
表している。

【００２２】

【数３】

【００２３】ステップＳ４ これら対象物体像のＡ点，Ｂ点，Ｃ点の３法線方向とＢ
点の座標を用いて、２法線を含むエピポーラ面(Epipola
r plane）の対象物体表面の断面形状を種々の近似曲線
で近似する。２個の円弧Ｓ，Ｓ’により近似推定する例
を図６により説明する。

【００２４】円弧で近似した理由は、次の２点による。 滑らかな曲面を少ないパラメータで表せること。 室内に実在する人工物曲面は、球やシリンダー側面
などのような円弧面をもとに作製されていることが多
く、近似精度が良いこと。

【００２５】まず、Ａ点とＢ点とを通る２線（図６参
照）の交点Ｏ_ＡＢを求め、これを球の中心とする。実際
には誤差があるので、Ａ点とＢ点とを通る２線は立体的
に交差して２線が交わらない場合には、２線が最短に近
づく両線上の点Ｐ１，Ｐ２を求めて、これらの中点を球
の中心とする。これらＡ点とＢ点とを通る２線上のＰ１
点，Ｐ２点の座標はそれぞれ、次の（１０）式，（１
１）式で求まる。ゆえに、物体表面の断面を円弧で近似
するための球の中心ＳＯ^ＡＢ，半径ＳＲ^ＡＢは次の（１
２）式，（１３）式で求まる。

【００２６】

【数４】

【００２７】

【数５】

【００２８】物体表面のＡ点，Ｂ点に対応する画像上の
輝度ピーク点を結ぶ直線上に存在する各画素ごとに、こ
の球との交点を求めることにより物体表面の断面形状を
得る。各画素の画像面上での３次元位置を次の（１４）
とすると、これに対する球との交点は（１５）になる。
物体表面のＢ点，Ｃ点に対しても球との交点は同様に算
出することができる。

【００２９】

【数６】

【００３０】ステップＳ５ 濃淡画像上でその断面の表面に対応する画素の輝度か
ら、対象面における入射角と面の輝度の反射マップを推
定する。各画素の輝度（濃淡値）は、光源とカメラの位
置、物体表面の反射係数及びその傾きによって決まる。
これを利用して、その領域内の残りの法線方向をShape
−From−Shading（濃淡画像から物体表面の向きを抽出
して、３次元形状を再構成する方法）方法で決定してい
く。

【００３１】１．ステップＳ４で推定した物体断面の表
面各点における入射角を算出し、対象物体面の反射関数
を得る方法を図７により説明する。断面における物体表
面上のＰｉ点の座標を（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１〜
ｎ）とすると、このＰｉ点の対象物体面の法線方向ｎ^ｐ
のベクトルは、断面の表面を近似した円弧の中心Ｓ０＝
（Ｓ０ｘ，Ｓ０ｙ，Ｓ０ｚ）とこのＰｉ点とを結ぶ方向
なので、次の（１６）式で表せる。左点光源３Ｌを用い
た場合のこのＰｉ点における光源方向Ｌｎ^ｐのベクトル
は、次の（１７）式で求まる。したがって、その入射角
はθｐは、（１８）式で求めることができる。

【００３２】

【数７】

【００３３】こうして求めた物体表面の断面上の各点に
おける入射角θｐと（図７（ａ）の場合は左点光源装置
３Ｌ点灯時の）観測画像上のその点の輝度の関係をプロ
ットすると、図７（ｂ）のような曲線が得られる。これ
が観測面の反射特性を表す反射関数である。

【００３４】２．次に、推定形状断面以外の観測画像の
各画素点に対応する３次元座標を算出する方法を図８に
より説明する。先ず、各画素の輝度から１．で求めた反
射関数を用いて、その画素に観測される対象上の点にお
ける入射角θを得る。これにより、例えば、図８（ａ）
に示すような観測画像の画素（ｉ_ｎ，ｊ_ｎ＋１）へのカ
メラ視線を中心線とする頭頂角θの円錐面上にこの画素
に対する対象物体面上の点Ｐの法線方向ｎのベクトルが
限定される。対象物体の面がなめらかである条件より、
既知である近傍の点の法線方向ｎ^ｎのベクトルに最も近
い法線をこの円錐側面上から算出し、対応する対象面上
の点における法線とする。

【００３５】これは、具体的に次のようにして決定でき
る。３次元座標系をこの円錐（側面長さを単位１とす
る）の頂点Ｏ’（図８（ｂ）参照）を原点とするように
平行移動する。今、求めたい対象物体面上のＰ点におけ
る法線方向ｎのベクトルは、原点Ｏ’においたｎ^ｎのベ
クトルとこの円錐の底面との交点をＰ^１点とすると、こ
れを底面の円の半径方向に伸ばした方向の円周との交点
Ｐ^２点終点とするベクトルである。円錐底面は、既知で
ある点光源方向へのＶ０のベクトル（視線方向の負ベク
トル）を使って、次の（１９）式で表せ、これと次の
（２０）式で表せる直線との交点は次の（２１）式で求
まる。したがって、求める法線方向ｎのベクトルは次の
（２２）式で求まる。

【００３６】

【数８】

【００３７】

【数９】

【００３８】ここで、３次元座標系を元の原点Ｏに戻す
ように平行移動する。画素（ｉ_ｎ，ｊ_ｎ＋１）に対応す
る物体表面上の点Ｐは、図８（ｃ）に示すように視線方
向にあり、３次元座標値を（２３）とする既知の近傍点
Ｐ^ｎから３次元座標値を（Ｐ _ｘ，Ｐ_ｙ，Ｐ_ｚ）とする点
Ｐへのベクトルと先に求めたｎの法線ベクトル（ｎ_ｘ，
ｎ_ｙ，ｎ_ｚ）とが直交することから、次の（２４）式で
算出される。

【００３９】

【数１０】

【００４０】このように、形状断面位置の法線ベクトル
から近傍点の法線ベクトルを順次求めることにより対象
物体表面の３次元座標Ｐを算出して、対象物体面の３Ｄ
形状を推定することができる。

【００４１】図９は、対象物体が平面状物体Ｕ、円筒物
体Ｖである表面形状を本発明の方法により推定した一例
を示している。図９中のＲ，Ｌは、右、左の点光源位置
・カメラの焦点位置を表している。この例では左画像に
より物体領域を演算した。そのため物体領域はＬに向か
っている。右画像により演算しても相違は少ない。図９
（ａ）は本発明に係るステップ３の演算例で、（ｂ）は
ステップ４で、ステップ２で求めた位置Ｌの左カメラ２
Ｌから見た物体領域の左右視覚範囲Ｕ１’〜Ｕ２’，Ｖ
１’〜Ｖ２’の範囲で円弧で近似された表面断面を演算
した例である。（ｃ）はステップ４で推定した断面の表
面上の点において、入射角と画像面で観測される輝度と
をプロットしたグラフにより反射関数を求めた例であ
る。（ｄ）はステップ２で求めた対象物体である平面状
物体Ｕ，円筒物体Ｖの物体領域内で、観測画像からShap
e−From−Shading方式により演算して平面状物体及び円
筒物体の３Ｄ形状面を推定した例である。以上、焦点光
源付カメラ２台に付いて本発明の方法を説明したが、焦
点光源付カメラが３台以上であっても本発明の方法は可
能である。

【００４２】

【発明の効果】従来の２台のカメラを用いるステレオ両
眼立体視手法が、エッジなどの特徴のないのっぺりとし
た領域に対して３次元再構成が十分行えなかったのに対
して、本発明の方法は、カメラとカメラに付加した焦点
光源という簡便な装置により、能動的に照明を当てて輝
度分布を計測して、特徴のない面上の１点の３次元位置
情報、３点の法線方向を簡易に演算し、さらにShape−F
rom−Shading方式の原理を用いてその面の３次元形状を
演算できる。

【００４３】輝度分布のピーク位置は外乱の影響が少な
く、かつ、その位置の推定は簡単な画像処理でできる。
本発明の方法は、数メートルぐらいまでの距離にある面
の位置や形状情報が得られ、建物内を移動するロボット
のビジョンシステムに適している。

【図面の簡単な説明】

【図１】本発明の方法を実施する焦点光源付ステレオカ
メラの概念図である。

【図２】焦点光源付ステレオカメラを設置した移動ロボ
ットの斜視図を示す図である。

【図３】本発明の方法を説明するフロー図である。

【図４】本発明の機能ステップ１，２を説明する図であ
る。

【図５】本発明の機能ステップ３を説明する図である。

【図６】本発明の機能ステップ４を説明する図である。

【図７】本発明の機能ステップ５における対象物体面の
反射関数を求める方法を説明する図である。

【図８】本発明の機能ステップ５を説明する図である。

【図９】本発明の動作例を説明する図である。

【図１０】ステレオ立体視法の原理を説明する図であ
る。

【符号の説明】

１Ｒ，１Ｌ 焦点光源付カメラ ２Ｒ，２Ｌ 受光装置、カメラ ３Ｒ，３Ｌ 点光源装置 ４ アナログ・デジタル変換器 ５ ＣＰＵ ６ モニタ ７Ｒ，７Ｌ 照射光 ８Ｒ，８Ｌ 反射光

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｇ０１Ｃ 3/06 Ｇ０６Ｆ 15/64 Ｍ Ｆターム(参考） 2F065 AA04 AA53 BB05 DD06 FF01 FF05 GG08 GG12 GG17 JJ03 JJ05 JJ19 JJ26 QQ00 QQ01 QQ03 QQ17 QQ24 QQ29 QQ31 QQ42 2F112 AC06 BA01 CA04 FA07 FA35 5B047 AA07 AA27 BC12 CB21 5B057 BA15 CF05 DA07 DB03 DB09 DC08 DC09 DC22

Claims (1)

【特許請求の範囲】
1. 【請求項１】 カメラと該カメラの焦点位置に仮想的に
   設けられた点光源照明とからなる複数台の焦点光源付カ
   メラと、ＣＰＵとを具備する焦点光源付ステレオカメラ
   を用いて、 両点光源を順次点灯し、対象物体のそれぞれの反射光に
   基づく対象物体像を両カメラで撮影し、ＣＰＵはこれら
   の映像信号を取り込み、両映像中の正反射点を求め、カ
   メラの前方に位置する対象物体面の１点の３次元座標、
   ３点の法線方向を算出し、対象物体面を近似演算するこ
   とを特徴とする焦点光源付ステレオカメラによる３次元
   面形状推定方法。