JP2015219166A

JP2015219166A - 物体の存在位置の推定方法

Info

Publication number: JP2015219166A
Application number: JP2014103995A
Authority: JP
Inventors: 公俊山崎; Kimitoshi Yamazaki; 廣一郎松本; Koichiro Matsumoto
Original assignee: Shinshu University NUC
Current assignee: Shinshu University NUC
Priority date: 2014-05-20
Filing date: 2014-05-20
Publication date: 2015-12-07

Abstract

【課題】三次元距離画像センサを用いて、対象物体の存在位置を相当程度の確率で推定することができる物体の存在位置推定方法を提供する。【解決手段】投光器と受光器とを備える三次元距離画像センサを用いて物体の存在位置を推定する方法であって、投光器からパターン光を投影し、物体からの反射光をとらえて物体との距離データを画像として取得する距離画像データの取得工程と、前記距離画像データに基づいて、物体の候補領域を抽出して領域の輪郭線を抽出するクラスタリング工程とを備え、前記クラスタリング工程においては、三次元距離画像センサと計測可能物体との位置関係において観測される非観測領域の大きさをあらかじめ計測して取得した学習データに基づいて、対象物体が計測可能物体か計測不可能物体かを判断する。【選択図】図８

Description

本発明は、三次元距離画像センサを利用して物体の存在位置を推定する方法に関する。

ロボットが物体の存在を認識する能力は、生活環境下において有益な作業を行う上で必須である。このため、物体認識の関する研究が行われている（非特許文献１、２）。
物体を認識する方法の一つとして、三次元距離画像センサを利用する方法がある。三次元距離画像センサは、投光器から環境（認識しようとする対象）に向けてパターン光を投影し、画像の濃淡によって対象物の距離情報を表示するようにしたものである。
この三次元距離画像センサにより得られる対象物の距離情報を利用すると、物体の存在位置を推定することに加えて、三次元距離画像センサを用いて計測することができる物体であるか、部分的に計測可能な物体であるか、計測不可能物体であるかを知ることが可能であり、これらの情報を利用することで、ロボットの動作制御に有効に利用することが可能になる。

J.Kuehnle,A.Verl,Z.Xue,S.Ruehl,J.Zoellner,R.Dillmann,.’6d object localization and obstacle detection for collision-free manipulation.2009.p.in Proc.International Conference on Advanced Robotics. K.Kitahara,K.Tsukafda,F.Galpin,T.Matsubara and Y.Hirano.Vision-based scene representation for 3D interaction of service robots.2006.p.in Proc. of IEEE/RSJ int. Conf. on Intrlligent Robots and Systems

投光器からパターン光を投射し、物体からの反射光を受光器でとらえる三次元距離センサによる計測方法においては、対象物が透明であったり、反射が強いものであったりすると受光器が反射光をとらえることができず、正確に距離値を取得することができない。このため、距離画像データに基づいて物体を識別することができない場合がある。また、対象物が非透明体で本来は距離値が観測できる物体であるときも、センサと対象物との位置関係によって距離値が観測できないという問題もある。

本発明は、三次元距離画像センサ（カメラ）を用いて物体を観測するときに距離値を観測できない非観測領域が存在する場合であっても、計測可能物体であるか計測不可能物体であるかを判別することにより、対象物体の存在位置を相当程度の確率で推定することができる物体の存在位置推定方法を提供することを目的とする。

本発明に係る物体の存在位置推定方法は、投光器と受光器とを備える三次元距離画像センサを用いて物体の存在位置を推定する方法であって、投光器からパターン光を投影し、物体からの反射光をとらえて物体との距離データを画像として取得する距離画像データの取得工程と、前記距離画像データに基づいて、物体の候補領域を抽出して領域の輪郭線を抽出するクラスタリング工程とを備え、前記クラスタリング工程においては、三次元距離画像センサと計測可能物体との位置関係において観測される非観測領域の大きさをあらかじめ計測して取得した学習データに基づいて、対象物体が計測可能物体か計測不可能物体かを判断することを特徴とする。

また、前記クラスタリング工程の後工程として、前記輪郭線に隣接する非観測領域の大きさを算出する非観測領域の解析工程を備え、該解析工程においては、前記学習データに基づいて、対象物体が計測可能物体か部分計測可能物体かを判断することを特徴とする。
また、前記クラスタリング工程及び前記解析工程において、対象物体が計測可能物体あるいは部分計測可能物体と判断された場合には、前記三次元距離センサを用いて得られた距離画像データに基づいて、対象物体の存在位置を推定することを特徴とする。
また、前記クラスタリング工程において、対象物体が計測不可能物体と判断された場合には、多視点観測に基づいて占有格子地図を更新する工程へ移行し、対象物体の存在位置を推定することを特徴とする。

また、前記学習データは、三次元距離画像センセンサと物体との距離：Ｒ₁、物体と背景との距離：Ｒ₂、センサの光軸と物体とのなす角：θをパラメータとして、物体の配置位置を変えながら、距離画像センサにもとづいて計測した非観測領域の大きさを計測したものであることを特徴とする。

本発明に係る物体の存在位置の推定方法によれば、距離画像データに基づいて計測できる計測可能物体であるか計測不可能物体であるかを判別することができ、これに基づいて対象物体の存在位置を推定することができる。

三次元距離画像センサを用いて、距離画像データを取得する方法を示す説明図である。三次元距離画像カメラを用いて、木製のブロックとプラスチックボトルについて取得した距離画像の例を示す図である。対象物とセンサとの位置関係により、センサによって対象物を認識できない場合の例を示す図である。非観測領域の学習データを取得する際に用いるパラメータ（a）と、距離画像データにあらわれた非観測領域の例を示す図である。非観測領域について取得した学習データの例を示すグラフである。領域拡張法により物体の候補領域を抽出した例を示す図である。多視点観測による絞込み方法を示す図である。物体の存在位置を推定するフロー図である。

（三次元距離画像を用いる距離値の取得方法）
図１は、三次元距離画像センサ（カメラ）を用いて、三次元距離画像を取得する方法を示す。三次元距離画像カメラは投光器１０と受光器１２とを備え、投光器１０から測定対象２０に向けてランダムドットパターン（パターン光）を投影し、受光器１２により対象物からの反射光をとらえ、センサからの対象物の深度を解析して距離画像とする。
図２は、三次元距離画像カメラを用いて、木のブロックとプラスチックボトルを対象物として取得した距離画像の例である。図２（ａ）は木のブロックとプラスチックボトルの配置を示す写真、図２（ｂ）が距離画像データである。センサからの距離（深度）が画像の濃淡によって表示されており、濃度が薄い（明るい）部分がより深度が深いことを表す。

図２（ｂ）に示す距離画像では、木のブロックとプラスチックボトルに影があらわれている。この影の部分は、距離値が得られていない部分である。プラスチックボトルでは、キャップ部分を除いてボトルの略全体が黒くあらわれている。プラスチックボトル等の透明体については、距離値が取得できないためである。
一方、木のブロックでは、ブロックの側面部分が黒くあらわれている。これは、投光器から投影したパターン光が対象物の遮蔽作用により対象物の側面に投射されず検知できないという理由と、対象物にはパターン光が投影されているものの、対象物との位置関係により、受光器で反射パターンが取得できないという理由による。

このように、三次元距離画像カメラを用いて対象物を観測した場合に、透明体のような対象物自体の性質に基づいて距離値を観測できない場合と、センサと対象物体との位置関係によって計測原理的に観測できない場合がある。
以下では、対象物が非透明体等の距離値が観測できる対象であるにも関わらず、距離情報が観測できない場合について検討する。

図３に、対象物とセンサとの位置関係により、センサによって対象物を認識できない例を示す。図３において、黒く表示されている部位は投光器によってパターン光が投影できない個所、グレーで表示されている部位は、投光器によってパターン光が投影できるものの受光器によって反射パターンが取得できない個所である。

図３(a)は、ブロックの左側面には投光器からパターン光が投影でき、左側面からの反射パターンが受光器で取得できるものの、ブロックの右側面にはパターン光が投影できないため、右側面からの情報が受光器で取得できない例である。
図３(b)は、ブロックの左側面と右側面にパターン光が投影できず、したがって、受光器でブロックの左側面と右側面の情報が取得できない例である。
図３(c)は、ブロックの左側面にパターン光が投影できないために、受光器でブロックの左側面の情報が取得できず、一方、ブロックの右側面にはパターン光が投影できるものの受光器との位置関係でブロックの右側面の情報が取得できない例である。
図３(d)も、図３(c)と同様に、ブロックの右側面にはパターン光が投影できるものの、受光器でブロックの右側面の情報が取得できない例である。
図３(e)は、図３(a)とブロックの左側面と右側面の情報の取得条件が逆になった例で、ブロックの左側面についてはパターン光が投影されないために、左側面からの情報が取得できない例である。

（推定手法）
図３に示した例は、三次元距離画像センサを用いて認識した際に、認識できる対象物であるにも関わらず、非観測領域が生じる例である。三次元距離画像センサを用いて対象物を認識した場合に、透明体のような計測不可能物体の場合にも非観測領域が生じる。上述した計測可能物体について生じる非観測領域と、計測不可能物体について生じる非観測領域は、非観測領域が生じる原因が異なることから、分別することが可能である。

計測可能物体について生じる非観測領域は、図３に示すように、対象物に隣接して生じる。この対象物に隣接して生じる非観測領域は、対象物が計測可能物体である場合には、三次元距離画像センサと対象物との位置関係（距離、確度）によって対象物に隣接して生じる非観測領域の大きさ（面積）が異なるようになる。すなわち、センサから物体までの距離、物体から背景までの距離、センサ（受光器）の中心から物体への位置ベクトルが光軸ベクトルとなす角、の３つのパラメータにより非観測領域の大きさが変化する。
本発明に係る物体の推定方法は、この３つのパラメータに基づいて計測可能物体の非観測領域をあらかじめ学習しておき、この学習結果に基づいて物体を推定するという考え方に基づく。

図４は非観測領域の学習データを取得する方法を示す。図４（ａ）は、上述した３つのパラメータを示す。すなわち、センサと物体との距離をＲ₁、物体と背景との距離をＲ₂、センサの光軸と物体とのなす角をθとする。図４（ｂ）は、三次元距離画像センサにより取得したデータで、物体の左右の側面に非観測領域が表れていることを示す。
実験では、学習データを取得する物体として４０mm×４０mm、高さ１２０mmの直方体の木製のブロックを用意し、ブロックを配置する位置を等間隔で変えながら、多数点でデータを取得した。
非観測領域のデータを取得する際は、図４（ｂ）に示すように、非観測領域の高さ方向の範囲ｎを規定し、この高さ範囲内にある非観測領域のピクセル数をカウントする方法とした。非観測領域の大きさを非観測領域の幅のピクセル数で表すことも可能であるが、非観測領域の面積を対象とする方が、より高精度の推定が可能である。

図５は、非観測領域のデータを取得した例を示す。図５では、対象物体の左側にあらわれた非観測領域についてのデータを示している。横軸が観測物体と背景との距離Ｒ₂、縦軸が非観測領域の大きさ（ピクセル数）である。グラフは、角度θが同一のデータを線で結んだものである。角度θ＝０°から徐々に非観測領域が大きくなり、角度θ＝90°（もっとも上の曲線）のときに非観測領域が最も大きくなる。

図５に示す学習データは、三次元距離画像センサを用いて物体を計測したときに、物体が計測可能物体である場合は、対象物とセンサとの位置関係と、観測される非観測領域の大きさとが、図５に示したグラフのいずれかのポイントに当てはまることを意味する。言い換えれば、計測結果が図５に示す学習データのいずれかの点に当てはまる場合は、計測した対象物体は計測可能物体であり、計測結果が図５に示す学習データのいずれのポイントにも当てはまらない場合には、計測した対象物体は計測不可能物体（透明体等）であると推定することができる。
図５は対象物体の左側にあらわれる非観測領域のデータであるが、実際の解析には、対象物体の左側と右側にあらわれる非観測領域のデータの双方を学習データとする。

（推定手法の定式化）
三次元距離画像センサを用いて物体を計測し、物体の存在位置を予測する場合、物体の存在位置の確率分布ｐ（ｘ|z)は次の（１）式であらわされる。
ｐ（ｘ|z)≡ｐ（ｅ|z)・ｐ（ｇ|ｅ,z) ・・・（１）
ｘ＝（ｘ,ｙ）^T:非透明物体の位置、ｚ：１回の計測結果であり、ｐ（ｘ|z)は座標（ｘ,ｙ）に計測可能物体が存在する確率を示す。
ｅ＝{x_i,x_r}は、得られた距離画像上で物体の候補となる領域からその左右の輪郭線を抽出して、三次元位置を計算した結果であり、ｐ（ｅ|z)は物体の左右の輪郭線が出る確率を示す。ｇ＝{g_i,g_r}は、左右の輪郭線に隣接して存在する非観測領域の大きさであり、ｐ（ｇ|ｅ,z)は、輪郭線をもとに非観測領域が学習データと比較して正しく出ている確率である。

（１）式を計算するには、三次元距離画像センサによって距離画像を取得し、取得した距離画像データから、対象物体となる候補領域を得た後、領域の輪郭線を抽出し、その輪郭線に隣接する非観測領域の大きさを調べる操作を行う。次いで、非観測領域の大きさがあらかじめ得られた学習データに近い場合には、その候補領域は計測可能物体によるものであると判断することができる。
本実施形態では、計測可能物体、部分計測可能物体、計測不可能物体の別を判断する方法として、前述したＲ_１、Ｒ₂、θの最近傍探索により、適切な非観測領域の大きさを調べる方法で判断した。

三次元距離画像センサにより取得した距離画像データから物体の候補領域を抽出する方法として、距離画像を入力とし、領域拡張法を適用する。この方法は、開始点Ｐ₀を決めた後、同族とみなされる近傍の点を加えていくことで一つの領域を生成する方法である。
本実施形態では、距離データから算出した法線情報の類似性を基準として処理を行った。すなわち、以下の条件を満たす場合に、対象となる点が同族であるとみなした。
cos^-1(n(i , j)・n(i + n , j + m)) < θ_threshold
|d(i , j) - d(i + n , j +m )| < d_threshold
ここで、n₁は点pの法線成分、n_zは近傍の法線成分である。θ_threshold
とd_thresholdはあらかじめ決められた閾値である。n、mは、経験よりともに４とした。

図６は、領域拡張法を利用して物体の候補領域を抽出した処理例を示す。図６（a）は、背景の前に、木製のブロック（計測可能物体）と、ボトルの表面に部分的にテープを貼ったプラスチックボトル（部分計測可能物体）と、プラスチックの透明ボトル（計測不可能物体）を配置した状態を示す写真である。図６（b）は、三次元距離画像センサにより取得した距離画像データに基づいて、上述した方法により、物体の候補領域を抽出した結果を示す。この物体の候補領域を抽出する処理をクラスタリングという。

（判定実験）
図６（ａ）に示した３種の物体を対象物として、計測可能物体、部分計測可能物体、計測不可能物体が判別できるか否かについて実験を行った。３種の物体の配置位置をさまざまに変え、三次元距離画像センサを用いて撮影した126フレームの距離画像データに基づいて判定を行った。
計測可能物体か否かの判定は、126フレームの距離画像データをクラスタリングし、クラスタの左右の輪郭線位置を抽出し、図４（ａ）に示すＲ_１、Ｒ₂、θを求める。次いで、輪郭線に隣接して輪郭線と背景との間にある非観測領域の大きさを算出する。先に求めたＲ_１、Ｒ₂、θに基づいて、学習データから推定される非観測領域を検索し、非観測領域の算出結果と学習データの検索結果とが近い場合に、対象物体は計測可能物体とした。

判定実験の結果、計測可能物体については、126フレームのうち、100フレームについて正確な判定がなされた。推定成功率は79.4％である。部分計測可能物体については、126フレームのうち、90フレームについて正確な判定がなされた。推定成功率は71.4%である。なお、計測可能物体について推定不成功率の20.6％については、部分計測可能物体として認識したためか、計測不可能物体として認識したためかについては、実際に計測を行っていないため不明である。同様に、部分計測可能物体について推定不成功率28.6％についても、計測可能物体として認識したためか、認識不可能物体として認識したためかは不明である。部分計測可能物体についての存在位置の推定は、計測できる部分について領域拡張法によりクラスタが生成されるので、その部分をもって存在を確認して推定することができる。

この判定実験では、領域拡張法により、すでに物体の三次元位置が求まっているから、これらの成功率はそのまま存在位置推定の成功率と考えることができる。
すなわち、本発明方法を利用することにより、三次元距離画像センサを用いて取得した距離画像データに非観測領域がある場合でも、対象物体が計測可能物体か否かを判定することが可能であり、対象物体の存在位置が相当程度の確率で推定できることを示している。また、部分的に計測可能物体の場合も、相当程度の確率で存在位置が推定できることを示す。この解析方法は、単一視点からの距離画像データのみから推定できる点で有用である。

（計測不可能物体、部分計測不可能物体の推定）
三次元距離画像センサを用いて取得した距離画像データの非観測領域が、透明体のような計測不可能物体によるものである場合には、単一視点での計測方法にかえて、多視点観測による候補領域の絞り込みを利用して存在位置を推定する方法を利用する。
対象物体が部分計測可能物体である場合は、上記例のように、距離画像データに基づいて物体の存在位置を推定することができる場合があるが、場合によっては推定精度が低くなる場合がある。その場合は多視点観測を併用して対象物体の存在位置を推定する。

図７に、多視点観測による絞り込み方法を示す。多視点観測方法によって対象物体の存在位置を推定する方法は、たとえば、観測対象となる物体を配置する領域内で視点位置を移動させながら観測することにより、対象物体が存在する領域を徐々に絞り込んでいく方法である。たとえば、観測対象を配置する領域を囲むように円形レールを設置し、レール上でセンサを移動させ、複数の移動位置において取得した距離画像データで相互に重複する位置に物体の存在領域があるとして推定することができる。もちろん、センサにより計測する位置は円弧上位置でセンサを移動させて計測する場合に限らず、異なる複数点位置で距離画像データを取得すればよい。

多視点観察による物体の存在位置の確率分布ｐ（y|z_1:i,a_1:i)は次式であらわされる。
ｐ（y|z_1:i, a_1:i)＝Π_k ｐ(y_k|z_1:i, a_1:i)
ここで、ｙは計測不可能物体の位置を表す。z_1:iは最初からI回分の計測結果、a_1:i)は最初からi回分のセンサ姿勢である。
上式は、計測不可能物体あるいは部分的に計測不可能な物体の存在位置を直接的に求めることが困難である場合に、多視点観測より、各点における存在確率を求めることにより対象物体の存在位置が推定できることを意味している。

（物体の存在位置を推定する全体処理フロー）
上述したように、三次元距離画像センサを用いて物体の存在位置を推定する際には、観測対象となる物体は、計測可能物体、部分計測可能物体、計測不可能物体の３種に分別される。図８はこれらの物体の存在位置を推定する方法を処理フロー図として示したものである。
ステップS１０は、三次元距離画像センサを用いて、計測データである距離画像データを取得する工程である（距離画像データ：計測データの取得工程）。次に、取得した距離画像データをもとに、対象物体となる候補領域を抽出し、領域の輪郭線を抽出する（ステップS１２：クラスタリング工程）。次に、領域の輪郭線に隣接する非観測領域の大きさを算出する（ステップS１４：非観測領域の解析工程）。ステップS１４は非観測領域の大きさを解析して、対象物体が計測可能物体か部分計測可能物体かを判断する工程である。

ステップS１６、S１８はステップ１４を受けて判断する工程である。ステップS１６は計測可能物体として判断したことを意味する。ステップS１６で計測可能物体として判断された後は、ステップS２０で、距離画像データに基づいて、最終的に物体の存在位置を推定する。
ステップS１８は部分的に計測可能物体として判断したことを意味する。部分的に計測可能物体として判断され、その結果に基づいて物体の存在位置が推定できる場合は、ステップS２０で、最終的に物体の存在位置を推定する。ただし、ステップS１８において、部分的に計測可能物体として判断したものの、物体の存在位置の推定精度が低いと判断した場合は、視点位置を移動させるステップS２２に移る。

ステップS１２のクラスタリング工程において、対象物体の候補領域の輪郭線と非観測領域とが抽出できないと判断された場合（ステップS２４）は、言い換えれば対象物体が計測不可能物体であるということである。この場合は、非観測領域の解析を行わず、多視点観測に基づく占有格子地図を更新するステップS２６に移行する。
占有格子地図を更新するステップS２６は、視点位置を移動させるステップS２２により、新たに計測データを取得し（ステップS１０）、最終的に対象物体の存在位置を推定するステップS２０へ進む。

なお、ステップS１２のクラスタリング工程、ステップS１４の非観測領域の解析工程においては、対象物体が計測可能物体か、部分的に計測可能物体か、計測不可能物体かを判断するが、この解析には、三次元距離画像センサと物体との位置関係において、対象物体が観測可能物体である場合に観測されるべき非観測領域の大きさ（面積）をあらかじめ計測して学習データを取得しておき、この学習データに基づいて、対象物体が計測可能物体か、部分計測可能物体か、計測不可能物体かを判断する。

本発明に係る物体の存在位置の推定方法を利用すれば、三次元距離画像センサを用いて、識別対象としている物体が三次元距離画像センサで計測可能物体であるか、計測不可能物体であるかを容易に判別することが可能である。生活環境下で動作するロボットにとって、対象とする物体が計測可能物体か計測不可能物体であるかを判別することは、物体を操作したり、障害物を回避したりする上で、重要な判断であり、物体の存在位置を推定することにより、より的確なロボット操作を行うことが可能になる。

１０投光器
１２受光器
２０測定対象

Claims

投光器と受光器とを備える三次元距離画像センサを用いて物体の存在位置を推定する方法であって、
投光器からパターン光を投影し、物体からの反射光をとらえて物体との距離データを画像として取得する距離画像データの取得工程と、
前記距離画像データに基づいて、物体の候補領域を抽出して領域の輪郭線を抽出するクラスタリング工程とを備え、
前記クラスタリング工程においては、三次元距離画像センサと計測可能物体との位置関係において観測される非観測領域の大きさをあらかじめ計測して取得した学習データに基づいて、対象物体が計測可能物体か計測不可能物体かを判断することを特徴とする物体の存在位置の推定方法。
前記クラスタリング工程の後工程として、
前記輪郭線に隣接する非観測領域の大きさを算出する非観測領域の解析工程を備え、
該解析工程においては、前記学習データに基づいて、対象物体が計測可能物体か部分計測可能物体かを判断することを特徴とする請求項１記載の物体の存在位置の推定方法。
前記クラスタリング工程及び前記解析工程において、対象物体が計測可能物体あるいは部分計測可能物体と判断された場合には、前記三次元距離センサを用いて得られた距離画像データに基づいて、対象物体の存在位置を推定することを特徴とする請求項２記載の物体の存在位置の推定方法。
前記クラスタリング工程において、対象物体が計測不可能物体と判断された場合には、多視点観測に基づいて占有格子地図を更新する工程へ移行し、対象物体の存在位置を推定することを特徴とする請求項１記載の物体の存在位置の推定方法。
前記学習データは、三次元距離画像センセンサと物体との距離：Ｒ₁、物体と背景との距離：Ｒ₂、センサの光軸と物体とのなす角：θをパラメータとして、物体の配置位置を変えながら、距離画像センサにもとづいて計測した非観測領域の大きさを計測したものであることを特徴とする請求項１〜４のいずれか一項記載の物体の存在位置の推定方法。