JP2022055779A - 物体認識結果の良否判定に用いる閾値を設定する方法、及び、物体認識装置 - Google Patents

Abstract

【課題】物体認識結果の良否判定を行うための信頼度スコアの閾値を適切に設定できる技術を提供する。
【解決手段】信頼度スコアの閾値の設定に際しては、（ａ）複数の物体を含むデプス画像を撮影し、（ｂ）物体の３次元データとデプス画像とを用いて物体認識処理を実行し、（ｃ）その認識結果から物体の正解形状を選択し、（ｄ）正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって複数の疑似不正解形状を生成し、（ｅ）複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する工程と、（ｆ）信頼度スコアの分布から信頼度スコアの閾値を設定する。
【選択図】図３

Description

本開示は、物体認識結果の良否判定に用いる閾値を設定する方法、及び、物体認識装置に関する。

特許文献１には、３次元カメラの撮像結果に基づいて、対象物を認識する物体認識方法が開示されている。この技術では、対象物の３次元データを用いて認識結果の信頼度スコアを算出し、その信頼度スコアを閾値と比較して認識結果の良否判定を実行する。

特開２０１９－１８５２３９号公報

しかしながら、従来は、信頼度スコアの閾値を適切に設定することが困難であるという問題があった。

本開示の第１の形態によれば、物体認識結果の良否判定に用いる閾値を設定する方法が提供される。この方法は、（ａ）同一形状を有する複数の物体を含むデプス画像を撮影する工程と、（ｂ）前記物体の形状を表す既知の３次元データと前記デプス画像とを用いて、前記複数の物体のうちの１つ以上の物体に関する３次元形状を認識する物体認識処理を実行する工程と、（ｃ）前記物体認識処理による認識結果から、前記物体の正解形状を、作業者からの入力に応じて選択する工程と、（ｄ）前記正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する工程と、（ｅ）前記複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する工程と、（ｆ）前記信頼度スコアの分布から、前記物体認識処理による認識結果の良否判定に用いる前記信頼度スコアの閾値を設定する工程と、を含む。

本開示の第２の形態によれば、物体認識装置が提供される。この物体認識装置は、デプス画像を撮影可能なカメラと、前記デプス画像を用いた物体認識処理を実行する物体認識部と、を備える。前記物体認識部は、（ａ）前記カメラを用いて、同一形状を有する複数の物体を含むデプス画像を撮影する処理と、（ｂ）前記物体の形状を表す既知の３次元データと前記デプス画像とを用いて、前記複数の物体のうちの１つ以上の物体に関する３次元形状を認識する物体認識処理を実行する処理と、（ｃ）前記物体認識処理による認識結果から、前記物体の正解形状を、作業者からの入力に応じて選択する処理と、（ｄ）前記正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する処理と、（ｅ）前記複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する処理と、（ｆ）前記信頼度スコアの分布から、前記物体認識処理による認識結果の良否判定に用いる前記信頼度スコアの閾値を設定する処理と、を実行する。

実施形態におけるロボットシステムの構成例の説明図。 情報処理装置の機能ブロック図。 信頼度スコアの閾値の設定手順を示すフローチャート。 複数の物体の認識結果の一例を示す説明図。 正解形状から生成される複数の疑似不正解形状を示す説明図。 信頼度スコアの計算方法の一例を示す説明図。 信頼度スコアの計算方法の他の例を示す説明図。 第１実施形態における信頼度スコアの分布を示す説明図。 第２実施形態における信頼度スコアの分布を示す説明図。

Ａ．第１実施形態
図１は、一実施形態におけるロボットシステムの一例を示す説明図である。このロボットシステムは、ロボット１００と、ロボット１００を制御する制御装置２００と、情報処理装置３００と、ワークＷＫを載置する架台４００とを備える。情報処理装置３００は、例えばパーソナルコンピューターである。図１には、３次元空間の直交座標系を規定する３つの軸Ｘ，Ｙ，Ｚが描かれている。Ｘ軸とＹ軸は水平方向の軸であり、Ｚ軸は鉛直方向の軸である。

架台４００には、複数のワークＷＫがバラ積みされている。これらのワークＷＫは、同一形状の物体であり、後述する物体認識の対象物である。なお、「同一形状の物体」とは、同一の設計に従って製造された物体を意味しており、製造誤差があっても「同一形状の物体」に該当する。

ロボットシステムは、更に、複数のワークＷＫのデプス画像を撮影可能なカメラ４２０を有している。「デプス」とは、カメラ４２０からの距離を意味しており、デプス画像の画素値は、カメラ４２０からの距離をそれぞれ示している。カメラ４２０は、デプス画像の他に、モノクロ画像やカラー画像などを撮影する機能を有していることが好ましい。このモノクロ画像やカラー画像は、複数のワークＷＫを含むシーン画像として利用できる。カメラ４２０で撮影されるデプス画像とシーン画像は、互いに対応関係が取られた状態で撮影される。

ロボット１００は、基台１１０と、アーム１２０と、を備えている。アーム１２０は、６つの関節で順次接続されている。アーム１２０の先端部であるアームエンド１２２には、エンドエフェクター１５０が装着されている。図１の例では、エンドエフェクター１５０は、ワークＷＫを把持するグリッパーである。なお、カメラ４２０を、ロボット１００のアーム１２０やエンドエフェクター１５０に設置してもよい。

アーム１２０は、６つの関節Ｊ１～Ｊ６で順次接続されている。これらの関節Ｊ１～Ｊ６のうち、３つの関節Ｊ２，Ｊ３，Ｊ５は曲げ関節であり、他の３つの関節Ｊ１，Ｊ４，Ｊ６はねじり関節である。本実施形態では６軸ロボットを例示しているが、１個以上の関節を有する任意のアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット１００は、垂直多関節ロボットであるが、水平多関節ロボットを使用してもよい。また、本開示は、ロボット以外の装置にも適用可能である。

図２は、情報処理装置３００の機能を示すブロック図である。情報処理装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、インターフェイス回路３３０に接続された入力デバイス３４０及び表示部３５０と、を有している。インターフェイス回路３３０には、更に、カメラ４２０と制御装置２００が接続されている。情報処理装置３００とカメラ４２０とを含むシステムは、本開示の「物体認識装置」に相当する。

プロセッサー３１０は、デプス画像を用いた物体認識処理を実行する物体認識部３１２として機能する。物体認識部３１２の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによって実現される。但し、物体認識部３１２の機能の一部又は全部をハードウェア回路で実現してもよい。

メモリー３２０には、ワークＷＫの形状を表す既知の３次元データＤＤと、動作プログラムＲＰが格納されている。動作プログラムＲＰは、ロボット１００を動作させる複数の命令で構成されている。動作プログラムＲＰは、例えば、ロボット１００を用いて架台４００からワークＷＫを１つずつ取り出し、作業場所にそのワークＷＫを移動させて、予め定められた作業を実行する動作を制御するものとして構成される。物体認識処理は、この際、架台４００上のワークＷＫを認識するために使用される。

図３は、物体認識処理の良否判定に用いる信頼度スコアの閾値の設定手順を示すフローチャートである。この処理は、主として物体認識部３１２の制御によって実行される。

ステップＳ１０では、作業者が、複数のワークＷＫを設置したシーンを設定し、物体認識部３１２が、カメラ４２０を用いて複数のワークＷＫのデプス画像を撮影する。このとき、デプス画像の他に、シーン画像を同時に撮影するようにしてもよい。なお、複数のワークＷＫは、ロボット１００の作業時の状態と同様の設置状態で設置されていることが好ましい。図１の例では、複数のワークＷＫがバラ積みされており、この状態で撮影が実行される。

ステップＳ２０では、物体認識部３１２が、デプス画像と、ワークＷＫの形状を表す３次元データとを用いて物体認識処理を実施する。

図４は、複数のワークＷＫの認識結果の一例を示す説明図である。実線はシーン画像に含まれる複数のワークＷＫを示し、破線は物体認識処理で認識されたワークＷＫの３次元形状を示す。ここでは複数のワークＷＫの中から４つのワークＷＫの３次元形状ＲＲ１～ＲＲ４が認識されている。

ステップＳ３０では、物体認識部３１２が、物体認識処理による認識結果から、ワークＷＫの正しい３次元形状である正解形状を、作業者からの入力に応じて選択する。この際、図４に示したように、複数のワークＷＫを含むシーン画像に、認識結果である３次元形状ＲＲ１～ＲＲ４を重ねた状態で表示部３５０に表示することが好ましい。作業者は、複数の３次元形状ＲＲ１～ＲＲ４の中から、どの認識結果が正しいかを入力する。図４の例では、２つの３次元形状ＲＲ２，ＲＲ４はシーン画像におけるワークＷＫの輪郭とずれており、正しい結果ではない。一方、他の２つの３次元形状ＲＲ１，ＲＲ３は、シーン画像におけるワークＷＫの輪郭とほぼ一致しているので、正しい認識結果として作業者により入力される。この入力作業は、例えば、表示部３５０に表示された画像内で、正しい認識結果である３次元形状ＲＲ１，ＲＲ３をクリックすることによって行うことができる。以下の説明では、正しい認識結果として選択された３次元形状を「正解形状」とも呼ぶ。

ステップＳ４０では、物体認識部３１２が、正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する。

図５は、正解形状ＲＲ１から生成される複数の疑似不正解形状ＰＲ１１，ＰＲ１２の例を示す説明図である。第１の疑似不正解形状ＰＲ１１は正解形状ＲＲ１に対して並進ズレΔＷを与えた例であり、第２の疑似不正解形状ＰＲ１２は正解形状ＲＲ１に対して回転ズレΔθを与えた例である。正解形状ＲＲ１に対して並進ズレΔＷと回転ズレΔθの両方を与えた疑似不正解形状も生成することが好ましい。

並進ズレについては、３次元空間の３つの軸Ｘ，Ｙ，Ｚのうちの１軸以上に関して並進ズレΔＷを与えることによって、それぞれ異なる疑似不正解形状を生成することが好ましい。例えば、並進ズレΔＷのズレ量を２ｍｍとした場合に、Ｘ軸に沿って、－２ｍｍと＋２ｍｍのいずれかの並進ズレΔＷを与えることができる。Ｙ軸とＺ軸についても同様である。なお、並進ズレΔＷのズレ量は、３つの軸Ｘ，Ｙ，Ｚについて同一とすることが好ましい。３つの軸Ｘ，Ｙ，Ｚについて並進ズレを組み合わせる場合には、各軸におけるズレ量として｛－２ｍｍ，０，＋２ｍｍ｝のいずれかの値を採用できる。従って、３つの軸Ｘ，Ｙ，Ｚについて並進ズレの組み合わせは、（３×３×３）－１＝２６通りである。ここで１を引いた理由は、３つの軸に沿った並進ズレΔＷのズレ量がすべて０となる場合を除外するためである。

回転ズレについても同様に、３つの回転軸のうちの１つ以上の回転軸周りに回転ズレΔθを与えることによって、それぞれ異なる疑似不正解形状を生成することが好ましい。３つの回転軸周りの回転ズレΔθの組み合わせも、２６通り存在する。また、並進ズレΔＷと回転ズレΔθの組み合わせは、（３×３×３）×（３×３×３）－１＝７２７通りである。１つの正解形状から複数の疑似不正解形状を作成する場合には、この７２７通りのすべてを作成する必要はなく、その一部のみを作成してもよい。

並進ズレΔＷのズレ量と回転ズレΔθのズレ量は、作業者によって予め設定されることが好ましい。こうすれば、作業者が望むズレ量を有する適切な疑似不正解形状を作成できる。なお、疑似不正解形状ＰＲ１１，ＰＲ１２を作業者に提示する必要はないが、表示部３５０に表示するようにしてもよい。図４に示した他の正解形状ＲＲ３についても同様に、複数の疑似不正解形状が生成される。

ステップＳ５０では、物体認識部３１２が、ステップＳ４０で生成した複数の疑似不正解形状ＰＲ１１，ＰＲ１２…に対して信頼度スコアをそれぞれ算出する。信頼度スコアは、例えば、個々の疑似不正解形状の特徴点のずれに応じて算出される。特徴点は、正解形状の輪郭、エッジ、平面部などから抽出された点を使用することが可能である。疑似不正解形状ＰＲ１１の特徴点は、元になった正解形状ＲＲ１の特徴点をずらしたものとなる。この疑似不正解形状ＰＲ１１の特徴点のずれに応じて、その疑似不正解形状ＰＲ１１の信頼度スコアを算出できる。

図６は、信頼度スコアの計算方法の一例を示す説明図である。横軸は、水平方向のＸ座標を示し、縦軸は鉛直方向のＺ座標を示す。この例では、３つのワークＷＫ１，ＷＫ２，ＷＫ３に関する認識結果について、白丸で示される特徴点ＣＰ１～ＣＰ９が抽出されている。例えば、ワークＷＫ１の４つの特徴点ＣＰ１～ＣＰ４は、ワークＷＫ１の認識結果である正解形状から抽出された特徴点である。ハッチングを付した丸は、４つの特徴点ＣＰ１～ＣＰ４に対してＸ軸方向に並進ズレを与えた特徴点＃ＣＰ１～＃ＣＰ４を示している。これらの特徴点＃ＣＰ１～＃ＣＰ４は、疑似不正解形状の特徴点である。疑似不正解形状の特徴点＃ＣＰ１～＃ＣＰ４のそれぞれについて、同じシーンに含まれる他の元の特徴点ＣＰ５～ＣＰ９のうちの最も近い特徴点との距離Ｄ１～Ｄ４をそれぞれ求めることができる。なお、疑似不正解形状の特徴点＃ＣＰ１～＃ＣＰ４の元の特徴点ＣＰ１～ＣＰ４は、特徴点＃ＣＰ１～＃ＣＰ４の距離Ｄ１～Ｄ４を算出する相手から除外される。

図６の例において、信頼度スコアＲｓは、疑似不正解形状の特徴点＃ＣＰ１～＃ＣＰ４に関する距離Ｄ１～Ｄ４に応じて、次式に従って算出できる。
Ｒｓ＝１／｛１＋ｍｉｎ（Ｄｊ）｝ （１）
ここで、Ｄｊはｊ番目の特徴点に関する距離であり、ｍｉｎ（Ｘ）はＸのうちの最小値を取る論理演算を示す。
この（１）式では、距離Ｄｊの最小値ｍｉｎ（Ｄｊ）が大きいほど信頼度スコアＲｓが低下する。なお、距離Ｄｊの最小値の代わりに、平均値を用いてもよい。

正解形状の信頼度スコアＲｓも、同様に算出することが可能である。例えば、ワークＷＫ１の正解形状の信頼度スコアＲｓは、その正解形状の特徴点ＣＰ１～ＣＰ４のそれぞれについて、同じシーンに含まれる他の特徴点ＣＰ５～ＣＰ９のうちの最も近い特徴点との距離をそれぞれ求め、上記（１）式に従って信頼度スコアＲｓを算出できる。

図７は、信頼度スコアの計算方法の他の例を示す説明図である。図６との違いは、図６におけるワークＷＫ１の元の特徴点ＣＰ１～ＣＰ４の図示が省略されており、これらの代わりに特徴点＠ＣＰ１～＠ＣＰ４が黒丸で描かれている点である。これらの特徴点＠ＣＰ１～＠ＣＰ４は、デプス画像から抽出されたワークＷＫ１の特徴点である。物体認識処理では、３次元データとこれらの特徴点＠ＣＰ１～＠ＣＰ４とが比較されて、最終的に、３次元データの形状に近い特徴点ＣＰ１～ＣＰ４が図６のように決定される。従って、デプス画像のみから抽出されたワークＷＫ１の特徴点＠ＣＰ１～＠ＣＰ４の一部は、物体認識処理で認識された形状の特徴点ＣＰ１～ＣＰ４とは若干異なる位置に存在することが多い。そこで、疑似不正解形状の特徴点＃ＣＰ１～＃ＣＰ４のそれぞれについて、デプス画像から抽出された対応する特徴点＠ＣＰ１～＠ＣＰ４との距離Ｅ１～Ｅ４をそれぞれ求め、これらの距離Ｅ１～Ｅ４を用いて信頼度スコアＲｓを算出することができる。

図７の例において、信頼度スコアＲｓは、疑似不正解形状の特徴点＃ＣＰ１～＃ＣＰ４に関する距離Ｅ１～Ｅ４に応じて、次式に従って算出できる。
Ｒｓ＝１／｛１＋ａｖｅ（Ｅｊ）｝ （２）
ここで、Ｅｊはｊ番目の特徴点に関する距離であり、ａｖｅ（Ｘ）はＸの平均値を取る演算を示す。
この（２）式では、距離Ｅｊの平均値が大きいほど信頼度スコアＲｓが低下する。なお、距離Ｅｊの平均値の代わりに、最大値を用いてもよい。

正解形状の信頼度スコアＲｓも、同様に算出することが可能である。例えば、ワークＷＫ１の正解形状の信頼度スコアＲｓは、その正解形状の特徴点ＣＰ１～ＣＰ４のそれぞれについて、デプス画像から抽出された対応する特徴点＠ＣＰ１～＠ＣＰ４との距離をそれぞれ求め、上記（２）式に従って信頼度スコアＲｓを算出できる。

上述した図６及び図７の説明から理解できるように、信頼度スコアＲｓは、疑似不正解形状の特徴点と、他の特徴点との距離に応じて算出することが可能である。この場合の「他の特徴点」は、正解形状に並進ズレや回転ズレを付与しても位置が変化しない特徴点を意味する。但し、信頼度スコアＲｓは、上述したもの以外の他の方法で算出してもよい。例えば、特徴点を用いない方法で信頼度スコアＲｓを算出してもよく、また、従来技術で説明した特開２０１９－１８５２３９号公報に開示された信頼度スコアを使用してもよい。

ステップＳ６０では、物体認識部３１２が、十分な数の疑似不正解形状に対して信頼度スコアＲｓが蓄積されたか否かを判定する。この判定は、例えば、集まった信頼度スコアＲｓの数と、信頼度スコアＲｓの分布の形状と、疑似不正解形状を生成する基となった正解形状のバリエーションと、のうちの１つ以上に応じて実行できる。信頼度スコアＲｓが十分に蓄積されていないと判定された場合には、ステップＳ１０に戻る。このステップＳ１０では、作業者がバラ積み状態を変更して新たなシーンを設定し、デプス画像を再度撮影する。一方、信頼度スコアＲｓが十分に蓄積したと判定された場合には、ステップＳ７０に進む。

ステップＳ７０では、物体認識部３１２が、信頼度スコアＲｓの分布から、信頼度スコアＲｓの閾値を決定する。

図８は、第１実施形態における信頼度スコアＲｓの分布を示す説明図である。横軸は、信頼度スコアＲｓの値であり、縦軸は頻度である。個々の曲線は、１つ正解形状から生成した複数の疑似不正解形状に対する信頼度スコアの分布ＨＳを示す。このような分布ＨＳは、表示部３５０に表示するようにしてもよい。

作業者は、信頼度スコアＲｓの分布ＨＳを観察して、信頼度スコアの閾値Ｔｓとして、適切な値を設定することが可能である。閾値Ｔｓは、物体認識処理の認識結果の良否判定に用いる閾値である。すなわち、認識結果の良否判定では、物体認識で認識された３次元形状の信頼度スコアＲｓの値が閾値Ｔｓ以上の場合に、その３次元形状が正解形状と判定される。

閾値Ｔｓは、例えば、分布ＨＳにおける信頼度スコアＲｓの最大値よりも大きな値としてもよい。あるいは、分布ＨＳにおける信頼度スコアＲｓの平均と標準偏差から閾値Ｔｓを決定しても良い。この場合に、例えば、複数の疑似不正解形状のうちの所定割合以上の疑似不正解形状に対する信頼度スコアＲｓが、閾値Ｔｓよりも小さくなるように閾値Ｔｓを設定することが好ましい。「所定割合」は、例えば、９８％～９９％の値を使用することができる。いずれの場合にも、ステップＳ４０で多数の疑似不正解形状が生成されるので、信頼度スコアＲｓの分布ＨＳから閾値Ｔｓを容易に設定することができる。なお、閾値Ｔｓの設定は、物体認識部３１２が自動的に実行しても良い。

なお、ステップＳ４０で作業者により設定される並進ズレΔＷや回転ズレΔθのズレ量は、以下の点を考慮して決定されることが好ましい。一般に、並進ズレΔＷと回転ズレΔθのズレ量が小さい方が、疑似不正解形状の信頼度スコアＲｓが高くなるものと予想される。一方、作業者は、ワークＷＫについての作業時に行われる物体認識の認識結果について、認識精度に関する要求がある。ステップＳ４０で使用されるズレ量は、この作業者の要求に応じて設定されることが好ましい。例えば、認識精度の要求が高い場合には、ズレ量を小さな値に設定する。この場合には、閾値Ｔｓが高い値になるので、正しく認識されるワークＷＫの個数は減少するものの、精度の高い認識結果のみが出力されるので、作業者の考える作業をより確実に実行することができる。一方、認識精度の要求が低い場合には、認識精度の要求が高い場合よりもズレ量を大きく設定する。この場合には、閾値Ｔｓがより低い値になるので、認識精度は比較的低いものの、より多くの正解形状を得ることができる。このように、作業者は、要求精度に応じた閾値Ｔｓを設定できるので、認識精度と正解形状の個数とのトレードオフを適切に保つことができる。

以上のように、第１実施形態では、正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって複数の疑似不正解形状を生成し、複数の疑似不正解形状に対して信頼度スコアＲｓを算出し、信頼度スコアＲｓの分布から信頼度スコアＲｓの閾値Ｔｓを設定するので、物体認識処理の認識結果の良否判定に用いる閾値Ｔｓを容易に設定できる。

Ｂ．第２実施形態
図９は、第２実施形態における信頼度スコアＲｓの分布を示す説明図である。第２実施形態における装置構成や処理手順は第１実施形態と同様なので、その詳細は省略する。

図９では、信頼度スコアＲｓに関する２種類の分布ＨＳ１，ＨＳ２から複数の閾値Ｔｓ１，Ｔｓ２が設定されている。例えば、第１の分布ＨＳ１は、ワークＷＫの姿勢が表向きである場合の分布であり、第１の分布ＨＳ１から決まる第１の閾値Ｔｓ１は、ワークＷＫの姿勢が表向きである場合に適した閾値である。一方、第２の分布ＨＳ２は、ワークＷＫの姿勢が裏向きである場合の分布であり、第２の分布ＨＳ２から決まる第２の閾値Ｔｓ２は、ワークＷＫの姿勢が裏向きである場合に適した閾値である。一般には、ワークＷＫが、その様々な姿勢を複数の姿勢カテゴリーに分類できる形状を有する場合に、各姿勢カテゴリーに対してそれぞれ閾値Ｔｓを設定することが可能である。「姿勢カテゴリー」とは、異なる姿勢カテゴリーの姿勢にあるワークＷＫの外形が、明確に区別できるものを意味する。例えば、ワークＷＫの表側の形状と裏側の形状とが一目で区別できるような形状的な差異が存在する場合に、表側が見える姿勢と裏側が見える姿勢を、互いに異なる「姿勢カテゴリー」とすることができる。

ワークＷＫが異なる姿勢カテゴリーの姿勢を取りうる場合には、図３のステップＳ１０～Ｓ７０のうち、少なくともステップＳ３０，Ｓ４０，Ｓ５０，Ｓ７０の処理を、複数の姿勢カテゴリーのそれぞれに対して実行することが好ましい。こうすれば、複数の姿勢カテゴリーに対して信頼度スコアＲｓの閾値をそれぞれ設定することができる。この場合に、例えば、ステップＳ３０において作業者が正解形状を指定する際に、正解形状の姿勢カテゴリーも同時に指定することが好ましい。こうすれば、ワークＷＫの複数の姿勢カテゴリーのそれぞれについて、物体認識処理の認識結果の良否判定に用いる閾値をそれぞれ設定できる。この結果、それぞれの姿勢カテゴリーの姿勢をとるワークＷＫに対して、物体認識処理の認識結果の良否判定をより正しく行えるという利点がある。

・他の実施形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、物体認識結果の良否判定に用いる閾値を設定する方法が提供される。この方法は、（ａ）同一形状を有する複数の物体を含むデプス画像を撮影する工程と、（ｂ）前記物体の形状を表す既知の３次元データと前記デプス画像とを用いて、前記複数の物体のうちの１つ以上の物体に関する３次元形状を認識する物体認識処理を実行する工程と、（ｃ）前記物体認識処理による認識結果から、前記物体の正解形状を、作業者からの入力に応じて選択する工程と、（ｄ）前記正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する工程と、（ｅ）前記複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する工程と、（ｆ）前記信頼度スコアの分布から、前記物体認識処理による認識結果の良否判定に用いる前記信頼度スコアの閾値を設定する工程と、を含む。
この方法によれば、正解形状から生成した複数の疑似不正解形状を用いて、物体認識処理の認識結果の良否判定に用いる閾値を容易に設定できる。

（２）上記方法において、前記物体は、前記複数の物体の姿勢を複数の姿勢カテゴリーに分類できる形状を有しており、前記工程（ｃ）から前記工程（ｆ）までの処理を、前記複数の姿勢カテゴリーのそれぞれに対して実行することによって、前記複数の姿勢カテゴリーに対して前記閾値をそれぞれ設定するものとしてもよい。
この方法によれば、物体の表向きと裏向きなどの複数の姿勢カテゴリーのそれぞれについて、物体認識処理の認識結果の良否判定に用いる閾値をそれぞれ設定できる。

（３）上記方法において、前記工程（ｄ）は、前記並進ズレと前記回転ズレのズレ量を、前記作業者からの入力により取得する工程を含むものとしてもよい。
この方法によれば、並進ズレと回転ズレのズレ量を作業者からの入力により取得するので、作業者が望むズレ量を有する適切な疑似不正解形状を作成できる。

（４）上記方法において、前記工程（ｆ）は、前記信頼度スコアの分布を表示する工程と、前記閾値を、前記作業者からの入力により設定する工程と、を含むものとしてもよい。
この方法によれば、作業者が信頼度スコアのヒストグラムの表示を観察して、適切な閾値を設定できる。

（５）本開示の第２の形態によれば、物体認識装置が提供される。この物体認識装置は、デプス画像を撮影可能なカメラと、前記デプス画像を用いた物体認識処理を実行する物体認識部と、を備える。前記物体認識部は、（ａ）前記カメラを用いて、同一形状を有する複数の物体を含むデプス画像を撮影する処理と、（ｂ）前記物体の形状を表す既知の３次元データと前記デプス画像とを用いて、前記複数の物体のうちの１つ以上の物体に関する３次元形状を認識する物体認識処理を実行する処理と、（ｃ）前記物体認識処理による認識結果から、前記物体の正解形状を、作業者からの入力に応じて選択する処理と、（ｄ）前記正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する処理と、（ｅ）前記複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する処理と、（ｆ）前記信頼度スコアの分布から、前記物体認識処理による認識結果の良否判定に用いる前記信頼度スコアの閾値を設定する処理と、を実行する。
この物体認識装置によれば、正解形状から生成した複数の疑似不正解形状を用いて、物体認識処理の認識結果の良否判定に用いる閾値を容易に設定できる。

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット制御装置とを備えたロボットシステム、ロボット制御装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１００…ロボット、１１０…基台、１２０…アーム、１２２…アームエンド、１５０…エンドエフェクター、２００…制御装置、３００…情報処理装置、３１０…プロセッサー、３１２…物体認識部、３２０…メモリー、３３０…インターフェイス回路、３５０…表示部、４００…架台、４２０…カメラ

Claims (5)

1. 物体認識結果の良否判定に用いる閾値を設定する方法であって、
   （ａ）同一形状を有する複数の物体を含むデプス画像を撮影する工程と、
   （ｂ）前記物体の形状を表す既知の３次元データと前記デプス画像とを用いて、前記複数の物体のうちの１つ以上の物体に関する３次元形状を認識する物体認識処理を実行する工程と、
   （ｃ）前記物体認識処理による認識結果から、前記物体の正解形状を、作業者からの入力に応じて選択する工程と、
   （ｄ）前記正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する工程と、
   （ｅ）前記複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する工程と、
   （ｆ）前記信頼度スコアの分布から、前記物体認識処理による認識結果の良否判定に用いる前記信頼度スコアの閾値を設定する工程と、
   を含む、方法。
2. 請求項１に記載の方法であって、
   前記物体は、前記複数の物体の姿勢を複数の姿勢カテゴリーに分類できる形状を有しており、
   前記工程（ｃ）から前記工程（ｆ）までの処理を、前記複数の姿勢カテゴリーのそれぞれに対して実行することによって、前記複数の姿勢カテゴリーに対して前記閾値をそれぞれ設定する、方法。
3. 請求項１又は２に記載の方法であって、
   前記工程（ｄ）は、前記並進ズレと前記回転ズレのズレ量を、前記作業者からの入力により取得する工程を含む、方法。
4. 請求項１～３のいずれか一項に記載の方法であって、
   前記工程（ｆ）は、
   前記信頼度スコアの分布を表示する工程と、
   前記閾値を、前記作業者からの入力により設定する工程と、
   を含む、方法。
5. 物体認識装置であって、
   デプス画像を撮影可能なカメラと、
   前記デプス画像を用いた物体認識処理を実行する物体認識部と、
   を備え、
   前記物体認識部は、
   （ａ）前記カメラを用いて、同一形状を有する複数の物体を含むデプス画像を撮影する処理と、
   （ｂ）前記物体の形状を表す既知の３次元データと前記デプス画像とを用いて、前記複数の物体のうちの１つ以上の物体に関する３次元形状を認識する物体認識処理を実行する処理と、
   （ｃ）前記物体認識処理による認識結果から、前記物体の正解形状を、作業者からの入力に応じて選択する処理と、
   （ｄ）前記正解形状に対して並進ズレと回転ズレの少なくとも一方を与えることによって、複数の疑似不正解形状を生成する処理と、
   （ｅ）前記複数の疑似不正解形状に対する信頼度スコアをそれぞれ算出する処理と、
   （ｆ）前記信頼度スコアの分布から、前記物体認識処理による認識結果の良否判定に用いる前記信頼度スコアの閾値を設定する処理と、
   を実行する、物体認識装置。

Images