JP2021022383A5

JP2021022383A5 -

Info

Publication number: JP2021022383A5
Application number: JP2020132160A
Authority: JP
Filing date: 2020-08-04
Publication date: 2023-07-05

Claims

ロボットシステムを操作するための方法であって、
環境内に位置する物体を有する前記環境を表す二次元（２Ｄ）画像及び三次元（３Ｄ）画像を取得することと、
前記２Ｄ画像に基づいて、前記物体の推定される場所を計算することと、
前記２Ｄ画像の分析に基づいて、エッジを検出することと、
前記検出されたエッジ内で、前記物体に対応する物体エッジセットを識別することと、
前記物体エッジセット及び前記３Ｄ画像を比較することに基づいて、前記識別された物体エッジセットに対応する前記３Ｄ画像の３Ｄ特徴の場所を表す３Ｄ特徴場所を識別することと、
前記推定される場所及び前記３Ｄ特徴場所に基づいて、物体検出結果を生成することと、
を含む方法。
前記検出されたエッジのそれぞれのエッジのエッジ配向を決定することと、
前記検出されたエッジをエッジ配向に従ってグループ化することであって、前記各グループ化が、互いに閾値範囲内の角度配向を有する前記検出されたエッジの平行インスタンスを含むことと、を更に含み、
前記物体エッジセットが、前記検出されたエッジの前記グループ化から識別される、請求項１に記載の方法。
前記検出されたエッジをグループ化することが、
前記検出されたエッジのペアのベクトル表現の内積の角度を計算することと、
前記内積の前記角度を角度閾値と比較することに基づいて、前記エッジの前記ペアをグループ化することと、を含む、
請求項２に記載の方法。
前記２Ｄ画像内の分析部分を決定することと、
１つ又は複数の視覚的特徴を含む前記２Ｄ画像の少なくとも一部を、登録された物体の表面の視覚表現を含むマスタデータと比較することと、
前記２Ｄ画像の前記１つ又は複数の視覚的特徴が前記マスタデータ内の前記視覚表現の１つと一致するときに、前記一致する画像に関連付けられた登録された物体を表す推定される識別を決定することと、を更に含み、
前記推定される物体の場所が、前記１つ又は複数の視覚的特徴、及び前記マスタデータ内に格納された、前記登録された物体の１つ又は複数の特徴の２Ｄ場所に基づいて計算される、
請求項１に記載の方法。
前記３Ｄ特徴場所と前記対応するエッジとの間のオフセットを計算することを更に含み、
前記物体検出結果を生成することが、前記オフセットに従って前記推定される場所を検証及び／又は調整することを含む、
請求項１に記載の方法。
前記物体エッジセットを識別することが、前記推定される場所に基づいて、少なくとも第１の平行ペア及び第２の平行ペアを識別することを含み、
前記第１の平行ペアの少なくとも１つのエッジが、前記第２の平行ペアの少なくとも１つのエッジと交差してコーナーを形成し、
前記第１の平行ペア及び前記第２の平行ペアが、前記物体の描写された表面の境界を表し、
前記３Ｄ特徴場所が、前記物体エッジセット内のエッジ又は前記コーナーに対応する前記３Ｄ特徴に対応する、
請求項１に記載の方法。
前記２Ｄ画像内に描写された１つ又は複数の視覚的特徴を、マスタデータに格納された、登録された物体の表面の視覚表現と比較することに基づいて、前記物体の推定される識別と前記推定される場所とを含む初期物体推定を生成することを更に含み、
前記第１の平行ペア及び前記第２の平行ペアを識別することが、
前記検出されたエッジの対応するペア間の１つ又は複数の検出可能なエッジ距離を計算することと、
結果として得られる検出可能なエッジ距離を、前記初期物体推定に関連付けられて登録された物体を表す前記マスタデータ内の寸法と比較することと、
前記マスタデータ内の前記寸法の１つと一致する前記検出可能なエッジ距離に対応する、平行エッジセットのエッジのペアを選択することと、を含む、
請求項１に記載の方法。
検出された各エッジのエッジ評価を生成することを更に含み、
前記物体エッジセット内の前記検出されたエッジが、エッジ検出閾値を超える前記エッジ評価を有する、
請求項１に記載の方法。
前記エッジ評価を生成することが、（１）前記エッジ評価によって表されるエッジの連続性の尺度、（２）前記表されるエッジの配向、（３）前記表されるエッジと前記物体エッジセット内の他のエッジとの間の類似性の尺度、（４）前記表されるエッジと前記３Ｄ画像内で表される前記３Ｄエッジとの間の重なりの尺度の何れかに基づいて前記エッジ評価を計算することを含む、
請求項８に記載の方法。
前記エッジ評価を生成することが、前記検出された平行エッジペアの間のアラインメント、並びに、前記３Ｄ画像内の検出されたコーナー及び３Ｄコーナーのアラインメントに基づいて前記エッジ評価を計算することを含む、
請求項８に記載の方法。
前記エッジを検出することが、前記エッジ検出閾値を下回る前記エッジ評価を有する検出可能なエッジを却下することを含む、
請求項８に記載の方法。
前記物体検出結果を生成することが、前記オフセットが閾値分離距離を超えたときに初期物体推定を更新することを含み、前記初期物体推定が、前記２Ｄ画像内に描写された特徴と、マスタデータ内に格納された物体表面の描写を比較することに基づいて生成される、
請求項１に記載の方法。
前記初期物体推定を更新することが、前記オフセットに従って前記初期物体推定の推定される物体の場所を移動することを含む、
請求項１２に記載の方法。
前記物体検出結果を生成することが、前記オフセットが閾値分離距離未満である場合に初期物体推定を検証することを含み、前記初期物体推定が、前記２Ｄ画像内に描写された特徴と、マスタデータ内に格納された物体表面の描写を比較することに基づいて生成される、
請求項１に記載の方法。
プロセッサによって実行されるときに前記プロセッサに方法を実行させる命令が格納された有形の非一時的コンピュータ可読媒体であって、前記方法が、
環境を描写する画像に基づいて、前記環境内に位置する物体の推定される場所を計算することと、
前記画像内のエッジを検出することと、
前記初期物体推定に対応する前記検出されたエッジのサブセットを識別することと、
前記エッジのサブセットを前記環境の三次元（３Ｄ）表現と比較することに基づいて、前記エッジのサブセットに関連付けられた特徴に対応する３Ｄ場所を識別することと、
前記推定される場所及び前記３Ｄ場所を比較することに基づいて、物体検出結果を生成することと、を含む、
有形の非一時的コンピュータ可読媒体。
前記方法が、
検出された各エッジのエッジ配向を決定することと、
平行なエッジ配向を有する少なくとも２つの前記検出されたエッジを含む、１つ又は複数のエッジクラスタを導出するために、前記検出されたエッジを前記エッジ配向に従ってグループ化することと、を更に含み、
前記検出されたエッジの前記サブセットを識別することが、適格条件に従って、前記エッジクラスタの１つの中で検出されたエッジのセットを選択することを含む、
請求項１５に記載の有形の非一時的コンピュータ可読媒体。
前記方法が、前記初期物体推定に従って前記２Ｄ画像内の分析部分を決定することを更に含み、
前記検出されたエッジの前記１つ又は複数のセットを検出することが、前記分析部分の外側の前記２Ｄ画像の部分を無視しながら、前記分析部分内の前記検出されたエッジを分析することを含む、
請求項１５に記載の有形の非一時的コンピュータ可読媒体。
前記環境の二次元（２Ｄ）表現及び３Ｄ表現を含む前記画像を取得することであって、前記エッジが、前記２Ｄ表現に基づいて検出されることと、
前記検出されたエッジの前記１つ又は複数のセット内の前記エッジ又はその前記一部に対応する３Ｄエッジ若しくはその一部を識別することと、
前記２Ｄ表現から導出された前記３Ｄ場所と前記３Ｄ表現内に描写された前記３Ｄエッジの場所との間のオフセットを計算することであって、前記物体検出結果が、前記２Ｄ表現及び前記３Ｄ表現内の対応する特徴間の前記オフセットに基づいて生成されることと、を更に含む、
請求項１５に記載の有形の非一時的コンピュータ可読媒体。
前記物体検出結果を生成することが、前記オフセットが閾値分離距離を超えたときに、前記オフセットに従って前記推定される場所を移動することを含む、
請求項１８に記載の有形の非一時的なコンピュータ可読媒体。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合され、前記プロセッサによって実行されるときに前記プロセッサに、
環境を描写する画像を処理することに基づいて、前記環境内に位置する物体の場所を推定させ、
前記画像内のエッジを検出させ、
検出されたエッジの少なくとも一部を前記環境の三次元（３Ｄ）表現に投影することによって３Ｄ特徴の３Ｄ場所を識別させ、
前記初期物体推定及び前記オフセットに基づいて、前記物体に対応する物体検出結果を生成させ、
前記環境内に位置する前記物体を操作するために１つ又は複数のロボットユニットを操作するための前記物体検出結果に従って計画を導出及び実装させる、命令が格納された、少なくとも１つのメモリデバイスと、を含む、
ロボットシステム。