JP2023152472A - ３次元モデルの生成システム、生成方法、及びプログラム - Google Patents

Abstract

【課題】３次元モデルの生成システム、生成方法、及びプログラムを提供する。
【解決手段】本実施形態に係る３次元モデルの生成システムは、物体を把持する柔軟な把持部を有するエンドエフェクタ３００と、物体を把持した状態の前記把持部の変形形状を検出する変形センサ３１６と、物体の表面形状データから物体の表面の法線方向を算出する算出部１０２と、法線方向に基づいて、エンドエフェクタ３００による物体の把持位置を決定する決定部と、把持部３１４の変形形状に応じて、基準座標系を設定する座標系設定部１２０と、を備えている。
【選択図】図１

Description

本開示は、３次元モデルの生成システム、生成方法、及びプログラムに関する。

特許文献１には、物体の位置姿勢を算出する情報処理装置が開示されている。特許文献１の情報処理装置は、物体の距離点群情報から３次元形状モデル（エッジ情報、点群情報）を取得し、第１軸周りの回転対称性を判定する。そして、情報処理装置は、第１の軸とは異なる第２の軸に周りにおける反転対称性を判定する。

特開２０２１－８５７８１号公報

https://arxiv.org/abs/1706.09911

特許文献１では、第１軸の周りの回転対称性と第２軸周りの反転対称性とを判定している。従って、人間が座標軸の設定を行う必要があり、座標軸を自動で設定することが困難である。よって、様々な物体の３次元モデルを効率良く生成することが困難である。このように物体の対称性を考慮した基準座標系で３次元モデルを作成することができる。

３次元形状モデルの生成において、例えば、物体の対称性を考慮した座標軸を設定することで、適切な情報をアノテーションすることができる。従って、物体の位置姿勢に関する位置姿勢情報を付加した学習用データを生成することができる。物体の位置姿勢情報を正解ラベル（教師データ）とする教師有り学習で物体の推定器を生成することができる。

本開示は、このような問題を解決するためになされたものであり、適切な座標系における３次元モデルを効率良く生成することができる３次元モデルの生成システム、生成方法、プログラムを提供するものである。

本実施の形態における３次元モデルの生成システムは、物体を把持する柔軟な把持部を有するエンドエフェクタと、前記物体を把持した状態の前記把持部の変形形状を検出する変形センサと、前記物体の表面形状データから前記物体の表面の法線方向を算出する算出部と、前記法線方向に基づいて、前記エンドエフェクタによる前記物体の把持位置を決定する決定部と、前記把持部の変形形状に応じて、基準座標系を設定する座標系設定部と、を備えている。

上記の３次元モデルの生成システムにおいて、前記物体をスキャンすることで、前記物体の３次元形状を計測する３次元形状計測器と、前記エンドエフェクタが前記３次元形状計測器のスキャン範囲に前記物体を置くように、前記エンドエフェクタを駆動する駆動制御部と、を備えていてもよい。

上記の３次元モデルの生成システムにおいて、前記３次元形状計測器が、前記物体までの距離を測定するデプスセンサを備え、前記基準座標系の軸周りに、前記デプスセンサに対する前記物体の姿勢を変化させるようにしてもよい。

上記の３次元モデルの生成システムにおいて、前記３次元形状計測器が、載置された前記物体を回転するテーブルをさらに備え、前記テーブルの回転軸と前記基準座標系の軸が一致するように、前記エンドエフェクタが前記物体を載置するようにしてもよい。

上記の３次元モデルの生成システムにおいて、前記エンドエフェクタが物体を把持する前に、前記物体の表面形状データを測定する表面形状センサをさらに備え、前記表面形状データにおいて、断面が最も円形に近似した箇所を前記エンドエフェクタの把持位置として選択するようにしてもよい。

上記の３次元モデルの生成システムにおいて、前記基準座標系の各軸に対して，前記物体の対称性を判定し、前記対称性の判定結果に応じて、前記基準座標系の軸を修正するようにしてもよい。

本実施の形態における３次元モデルの生成方法は、物体の表面形状データに応じて、前記物体の表面の法線方向を算出し、前記法線方向に基づいて、前記物体の把持位置を設定し、柔軟な把持部を有するエンドエフェクタが、前記把持位置で物体を把持し、前記物体を把持したときの前記把持部の変形形状を検出し、前記把持部の変形形状に応じて、基準座標系を設定する。

上記の３次元モデルの生成方法において、前記エンドエフェクタが３次元形状計測器のスキャン範囲に前記物体を置くように、前記エンドエフェクタを駆動し、前記３次元形状計測器が前記物体をスキャンすることで、前記物体の３次元形状を計測するようにしてもよい。

上記の３次元モデルの生成方法において、前記３次元形状計測器が、前記物体までの距離を測定するデプスセンサを備え、前記基準座標系の軸周りに、前記デプスセンサに対する前記物体の姿勢を変化させるようにしてもよい。

上記の３次元モデルの生成方法において、前記３次元形状計測器が、載置された前記物体を回転するテーブルをさらに備え、前記テーブルの回転軸と前記基準座標系の軸が一致するように、前記エンドエフェクタが前記物体を載置するようにしてもよい。

上記の３次元モデルの生成方法において、前記エンドエフェクタが物体を把持する前に、表面形状センサが前記物体の表面形状データを測定し、
前記表面形状データにおいて、断面が最も円形に近似した箇所を前記エンドエフェクタの把持位置として選択するようにしてもよい。

上記の３次元モデルの生成方法において、前記基準座標系の各軸に対する前記物体の対称性を判定し、前記対称性の判定結果に応じて、前記軸を修正するようにしてもよい。

本実施の形態におけるプログラムは、コンピュータに対して、物体の表面形状データに応じて、前記物体の表面の法線方向を算出するステップと、前記法線方向に基づいて、前記物体の把持位置を設定するステップと、柔軟な把持部を有するエンドエフェクタが、前記把持位置で物体を把持するように、前記エンドエフェクタを制御するステップと、前記物体を把持したときの前記把持部の変形形状を検出した変形形状データを取得するステップと、前記把持部の変形形状データに応じて、基準座標系を設定するステップと、を実行させる。

本開示により、適切な座標系における３次元モデルを効率良く生成することができる３次元モデルの生成システム、生成方法、プログラムを提供することができる。

システム構成を示す模式図である。 エンドエフェクタの構成を模式的に示す上面図である。 処理装置の構成を示すブロック図である。 本実施の形態にかかる３次元モデルの生成方法を示すフローチャートである。 本実施の形態にかかる３次元モデルの生成方法を示すフローチャートである。 回転対称性の判定処理を示すフローチャートである。 物体の凸包の断面形状Ｓｃとｒ（θ）を説明するための図である。 ｒ’（θ）とそのフーリエ変換を示すグラフである。 ｒ（θ）とｒ（θ＋ω_ｍaｘ）との差分を示すグラフである。 面対称性の判定処理を示すフローチャートである。 面対称性の判定処理を示すフローチャートである。 面対称性の判定処理での断面形状を示す図である。 面対称性の判定処理での軸を修正する処理を説明するための図である。 処理装置１００のハードウェア構成の一例を示すブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

近年、物体の位置姿勢を推定する推定器として、機械学習モデルが用いられている。このような推定器を機械学習により生成するためには、多数の学習用データを収集する必要がある。学習用データには、カメラが撮像した画像だけでなく、シミュレーションにより生成された合成画像が用いられることもある。

レンダラやシミュレータは、物体の３次元形状を示す３次元モデル（３次元形状モデル、又は３Ｄモデルとも言う）から、合成画像を生成する。シミュレータなどを用いることで、物体の位置姿勢を変えた大量の合成画像を簡便に生成することができる。さらに、シミュレータ等は、位置姿勢等のラベルを合成画像にアノテーションすることができる。

３次元モデルの作成には、ステレオカメラやデプスセンサなどのセンサが用いられる。例えば、デプスデプスが物体の点群データを計測する。点群データは、例えばＸＹＺ３次元直交座標系における各点の位置座標の情報を含んでいる。また、点群データをエッジデータ、メッシュデータ、又はサーフィスデータ等に変換することで、３次元モデルを形成することができる。

本実施の形態にかかる３次元モデルの生成システム、及び生成方法について、図を参照して説明する。図１は、システム１の構成を示すブロック図である。システム１は、処理装置１００と、３次元形状計測器２００と、エンドエフェクタ３００と、アーム機構４００と、測距センサ５００と、を備えている。システム１は、物体Ｏの３次元形状を示す３次元モデルを生成する。また、処理装置１００は、物体Ｏの対称性を判定するための処理を行ってもよい。

エンドエフェクタ３００は、物体を把持する把持機構（ロボットハンド）である。エンドエフェクタ３００は、把持している物体を開放することができる。エンドエフェクタ３００は柔軟な把持部を有する．具体的には、エンドエフェクタ３００において、物体Ｏと接触する部分が柔軟な弾性体などにより形成されている。エンドエフェクタ３００の構成については後述する。エンドエフェクタ３００は、アーム機構４００の先端に取り付けられている。

アーム機構４００はエンドエフェクタ３００を駆動する駆動機構である。アーム機構４００は、複数の関節を有するロボットアームである。アーム機構４００は、エンドエフェクタ３００によって把持されている物体Ｏの位置姿勢を変えることができる。例えば、アーム機構４００は、エンドエフェクタ３００の位置姿勢を変えることで、物体Ｏの位置姿勢を変える。アーム機構４００は、エンドエフェクタ３００を物体０の把持位置まで移動させることができる。また、エンドエフェクタ３００が物体Ｏを把持すると、アーム機構４００は、物体Ｏを所望の位置まで移動させることができる。アーム機構４００と後述する３次元形状計測器２００の位置関係は既知となっている。

例えば、アーム機構４００とエンドエフェクタ３００は物体Ｏをテーブル２１０の上に載せることができる。エンドエフェクタ３００が物体Ｏを把持した後、アーム機構４００がエンドエフェクタ３００を移動させる。これにより、物体Ｏがテーブル２１０の上に移動する。物体Ｏをテーブル２１０の載置面と接触した状態で、エンドエフェクタ３００が把持を開放する。これにより、アーム機構４００とエンドエフェクタ３００が物体Ｏをテーブル２１０の上に移動させることができる。

エンドエフェクタ３００は、柔軟な把持部を有している。そして、エンドエフェクタ３００が物体Ｏを把持したとき、把持部が変形する。エンドエフェクタ３００は把持部の変形形状を測定するためのセンサが内蔵されている。エンドエフェクタ３００としては、例えば、以下の非特許文献１に記載されたものを用いることが可能である。
https://arxiv.org/abs/1706.09911

図２は、エンドエフェクタ３００の一例を示す模式図である。エンドエフェクタ３００は、本体部３１１と、ベース部３１３と、把持部３１４と、爪部３１５と、変形センサ３１６と、アクチュエータ３１７と、を備えている。

本体部３１１には、一対の爪部３１５が回転可能に設けられている。爪部３１５は、物体Ｏを把持するために駆動するグリッパ機構である。ここで、エンドエフェクタ３００は、２本の爪部３１５を有する２フィンガータイプとなっている。もちろん、エンドエフェクタ３００には、３本以上のフィンガーが設けられていてもよい。エンドエフェクタ３００は、フィンガーを有するグリッパ機構に限られるものではない。

２本の爪部３１５の先端部分には、把持部３１４がそれぞれ取り付けられている。把持部３１４はベース部３１３を介して、爪部３１５に固定されている。一対の把持部３１４は、物体Ｏを両側から挟むように配置されている。２つの把持部３１４の間に物体Ｏが配置される。例えば、図２において、一方の把持部３１４が物体Ｏの右側に配置され、他方の把持部３１４が物体０の左側に配置されている。把持部３１４は、樹脂製のフィルムやシートにより形成されている。よって、把持部３１４は、把持位置における物体Ｏの形状に沿って変形する。つまり、把持部３１４は、物体Ｏと接触箇所における物体Ｏの形状にしたがって変形する。

本体部３１１は、図１で示したアーム機構４００に取り付けられている。本体部３１１には、２本の爪部３１５を駆動するためのアクチュエータ３１７が設けられている。アクチュエータ３１７は、２本の爪部３１５の先端側が近づけたり、遠ざけたりするように、爪部３１５を矢印の方向に駆動する。アクチュエータ３１７が２本の爪部３１５が物体Ｏを挟んだ状態で把持する。エンドエフェクタ３００が物体Ｏを把持する把持動作を行う場合、一対の爪部３１５が近づくように、アクチュエータ３１７が爪部３１５を駆動する。これにより、把持部３１４が物体Ｏと接触して、物体Ｏを挟み込むことができる。物体Ｏの把持を解除する解除動作を行う場合、一対の爪部３１５が離れるように、アクチュエータ３１７が爪部３１５を駆動する。これにより、把持部３１４が物体Ｏから離れるため、物体Ｏを開放することができる。

また、ベース部３１３には、変形センサ３１６が取り付けられている。変形センサ３１６が把持部３１４の変形形状を検出する。変形センサ３１６は、把持部３１４とベース部３１３との間に内蔵されている。例えば、把持部３１４は柔軟な膜で形成されている。把持部３１４は、空間を隔てて、ベース部３１３に取り付けられている。ベース部３１３と把持部３１４との間の空間が中空となっており、その中空空間に変形センサ３１６が設けられている。

変形センサ３１６は、カメラなどの光学センサである。把持部３１４のベース部３１３側の面には、変形センサ３１６で検出可能な模様などが設けられている。例えば、把持部３１４には、２次元に配列された点群模様が形成されている。

変形センサ３１６は、把持部３１４に設けられた点群模様を撮像する。把持部３１４の変形によって、撮像画像における各点の位置関係が変化する。つまり、把持部３１４の変形量に応じて、撮像画像における各点の位置が変化する。したがって、把持部３１４の点群模様を撮像することで、把持部３１４の変形形状を検出することができる。把持部３１４は、物体Ｏと接触している接触箇所の外形を検出する。変形センサ３１６は物体Ｏの接触箇所のみの形状、つまり、部分的な形状を測定することができる。

図１の説明に戻る。３次元形状計測器２００は、物体Ｏの３次元形状を計測するための計測器である。３次元形状計測器２００は、例えば、３次元スキャナである。３次元形状計測器２００は、テーブル２１０とデプスセンサ２２０とを備えている。テーブル２１０は、水平面と平行な載置面を有している。ユーザ又はロボットは、テーブル２１０の上に計測対象となる物体Ｏを載置する。

デプスセンサ２２０はテーブル２１０の上の物体Ｏまでの距離（深度）を計測する。例えば、デプスセンサ２２０は、例えば、ライダ（ＬｉＤＡＲ）、ステレオカメラ、デプスカメラであり、デプス画像を撮像する。テーブル２１０は物体Ｏを鉛直方向と平行な回転軸周りに回転させる。そして、テーブル２１０が物体Ｏを回転させている間、デプスセンサ２２０が物体Ｏの表面まで距離を測定する。

これにより、３次元形状計測器２００は、物体Ｏの全周の３次元形状を示す計測データを測定することができる。計測データは、デプスセンサ２２０から物体Ｏまで距離を示す測距データを複数有している。テーブル２１０の回転中に物体Ｏを計測することができるため、任意の方向からの物体Ｏの表面まで距離を測定することができる。さらに、物体Ｏの底面や上面の形状を測定するため、テーブル２１０上の物体Ｏの向きを変えて、３次元形状計測器２００が計測を行ってもよい。

デプスセンサ２２０の検出結果によって、物体の３次元形状データが得られる。つまり、デプスセンサ２２０は、物体の表面までの距離を検出することで、３次元形状データを取得する。３次元形状データは、物体Ｏの表面形状、つまり、物体Ｏと空間の境界を示すデプス画像である。

３次元形状計測器２００で計測された計測データは、例えば、複数の点を有する点群データである。各点は、３次元形状計測器２００のセンサ座標系における３次元座標の情報を含む。また、計測データはメッシュデータであってもよい。メッシュデータは、隣接する３点を結ぶ三角メッシュ（トライメッシュ）や隣接する４点を結ぶ四角メッシュ（クアッドメッシュ）で構成されている。３次元形状計測器２００は計測データを処理装置１００に出力する。

測距センサ５００は、物体Ｏの表面形状を測定するために、物体Ｏまでの距離を測定する。測距センサ５００は、ライダ、レーザレンジファインダ、デプスカメラ、超音波センサ、ステレオカメラなどである。測距センサ５００で測定されたデータを表面形状データとする。測距センサ５００は、物体Ｏの少なくとも一部分の表面形状を示す表面形状データを測定する。表面形状データは、物体Ｏの全体の表面形状を示すデータに限らず、一部分の表面形状を示すデータであればよい。ＣＡＤデータ等がない物体Ｏの表面形状を測定することができる。

処理装置１００は、パーソナルコンピュータの情報処理装置である。例えば、処理装置１００は、メモリ、プロセッサ、各種インタフェース、入力デバイス、出力デバイス、モニタなどを備えている。処理装置１００のプロセッサがメモリに格納されたプログラムを実行することで、後述する処理が行われる。さらに、処理装置１００は、無線又は有線で通信可能な情報処理装置である。

処理装置１００は、測距センサ５００からの表面形状データを取得する。処理装置１００は、３次元形状計測器２００からの３次元形状データを取得する。そして、処理装置１００は、３次元形状データに座標系を設定して、３次元モデルを作成する。さらに、処理装置１００は、アーム機構４００，及びエンドエフェクタ３００を制御する。

処理装置１００について、図３を用いて詳細に説明する。図３は、処理装置１００の構成を示す制御ブロック図である。処理装置１００は、表面形状データ取得部１０１と、算出部１０２と、把持位置設定部１０３と、駆動制御部１０５と、を備えている。処理装置１００は、さらに、計測データ取得部１１０と、座標系設定部１２０と、第１判定部１３０と、第２判定部１４０と、第３判定部１５０と、修正部１６０と、を備えている。

（３次元形状データの取得）
まず、物体Ｏの３次元形状データを取得するための処理について説明する。表面形状データ取得部１０１は、測距センサ５００で測定された表面形状データを取得する。表面形状データは、物体Ｏの部分的な形状を示すデータである。表面形状データは、測距センサ５０から物体０の複数の点までの距離を示すデータを含んでいる。表面形状データは、例えば、点群データやメッシュデータとなっている。

算出部１０２は、表面形状データから物体Ｏの表面の法線方向を算出する。そして、算出部１０２は、物体Ｏの表面の法線方向の分布を求める。つまり、算出部１０２は、物体Ｏの各点における法線を算出する。表面形状データは、例えば、点群データやメッシュデータである。算出部１０２は、点群データやメッシュデータから法線方向を求めることができる。法線は物体Ｏの表面と直交する方向である。法線方向は物体Ｏの位置に応じて異なる方向となる。

把持位置設定部１０３は、法線方向に基づいて、エンドエフェクタ３００による物体Ｏの把持位置を設定する。把持位置設定部１０３は、法線方向の分布に基づいて、最適な把持位置を探索する。

エンドエフェクタ３００が把持位置で物体Ｏを把持するように、駆動制御部１０５はエンドエフェクタ３００とアーム機構４００を制御する。駆動制御部１０５は、エンドエフェクタ３００，及びアーム機構４００の各モータに対して、指令値などを出力する。このようにすることで、エンドエフェクタ３００が、把持位置設定部１０３で設定された把持位置で、物体Ｏを把持することができる。物体Ｏの把持位置で、爪部３１５が駆動して、把持部３１４が物体Ｏを挟み込む。

例えば、把持位置設定部１０３は、法線方向の分布に基づいて、物体Ｏの把持位置となる断面（把持断面ともいう）を求める。物体Ｏにおける把持位置は、物体Ｏの断面の外形（輪郭）が最も円形に近くなる位置とすることができる。つまり、把持位置設定部１０３や、物体Ｏにおいて、最も円形に近くなる断面を把持位置(把持断面)と設定する。

具体的には、非特許文献１に示すように、把持位置設定部１０３は、物体Ｏの対蹠点を探索して、把持姿勢の候補を出力する。対蹠点とは、物体Ｏのある１点から物体Ｏの中心を通り、物体Ｏの反対側にある点である。把持位置設定部１０３は、物体Ｏと任意の点とその対蹠点を対として、その法線方向を求める。それぞれの候補に対して、平面上の点群法線を計算して、円に最もフィッティングできる箇所を把持位置姿勢として選択する。断面が円形である場合、対となる２点の法線方向が平行になる。したがって、対となる２点の法線方向のずれ量を求めることで，円形に近い断面を探索することができる。把持位置設定部１０３は、表面形状データに基づいて、物体Ｏの把持位置を設定する。

駆動制御部１１５は、エンドエフェクタ３００が把持位置に移動するようにアーム機構４００を駆動する。例えば、駆動制御部１１５は、アーム機構４００の各関節を駆動するモータに制御指令値を出力する。これにより、エンドエフェクタ３００が把持断面を通る平面上に移動する。把持断面において、物体Ｏの両側に把持部３１４が配置される。そして、駆動制御部１０５はエンドエフェクタのアクチュエータ３１７を駆動する。これにより、図２に示すように、把持部３１４が物体Ｏと接触して、物体Ｏが把持される。把持部３１４は、把持断面において、物体Ｏと接触する。

このように、最も円形に近い断面を把持位置として、図２に示す把持部３１４が物体Ｏを挟み込む。エンドエフェクタ３００が、安定して物体Ｏを把持することができる。エンドエフェクタ３００が、安定した位置姿勢で物体Ｏを把持することができる。

座標系設定部１２０は、物体Ｏの３次元モデルに対する初期基準座標系を設定する。座標系設定部１２０は、ＸＹＺ３次元直交座標系を初期基準座標系として、設定する。座標系設定部１２０は３次元モデルについて原点と、Ｘ軸、Ｙ軸、Ｚ軸の方向を設定する。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する方向となる。

座標系設定部１２０は、変形センサ３１６からの変形形状データに基づいて、初期基準座標系を設定する。座標系の１つの軸は把持断面に直交する。把持断面において、２つの把持部３１４の中心を通る。

把持部３１４の変形形状から物体Ｏの把持断面における形状が求められている。把持断面において、物体Ｏは、円形に近い形状となっている。座標系設定部１２０は、初期基準座標系の軸が物体Ｏの中心又は重心を通るように初期基準座標系を設定する。つまり、初期基準座標系の中心（原点）を把持断面の中心（重心）と一致させる。例えば、物体Ｏが回転対称である場合、物体Ｏの対称軸を初期基準座標系の軸に一致させることができる。

そして、駆動制御部１０５が、３次元形状計測器２００のスキャン範囲に物体Ｏを置くように、アーム機構４００及びエンドエフェクタ３００を制御する。駆動制御部１０５による制御によって、アーム機構４００及びエンドエフェクタ３００が物体Ｏをテーブル２１０に載置する。具体的には、アーム機構４００は、初期基準座標系の軸をスキャン範囲の中心に揃えるように、物体Ｏを移動する。例えば、図１に示すように、初期基準座標系の軸は物体Ｏの中心又は重心を通る中心軸となっている。よって、中心軸がテーブルの回転軸と一致するように駆動制御部１０５がアーム機構４００とエンドエフェクタ３００を制御する。そして、３次元形状計測器２００がテーブル２１０を回転させて、物体Ｏの３次元形状を計測する。

把持時の姿勢とできる限り近くなるような姿勢で、物体Ｏの中心位置をスキャン範囲の中心と揃えることができる。３次元形状計測器２００による３次元スキャンのための物体Ｏの置き直し回数を減らすことができる。例えば、テーブル２１０の任意のスキャン角度（回転角度）において、物体Ｏの一部がスキャン範囲からはみ出すことを防ぐことができる。また、３次元形状計測器２００が、安定的かつ効率良く３次元計測を行うことができうる。適切な座標系での３次元モデルを生成することができる。

計測データ取得部１１０は、３次元形状計測器２００で計測された計測データを取得する。上記の通り、計測データは物体の３次元形状を示す点群データやメッシュデータとなっている。つまり、処理装置１００は、３次元形状を示す３次元モデルのデータ（３次元データ）を取得する。さらに、座標系設定部１２０で設定された座標系で、計測データが取得される。つまり、座標系設定部１２０で設定された初期基準座標系のＸＹＺ軸上の位置座標（ＸＹＺ座標）で、計測データが示されている。

以下、計測データ取得部１１０が、３次元形状を示すメッシュモデルを取得するものとして説明する。もちろん、計測データ取得部１１０は、３次元形状計測器２００から点群データを取得して、処理装置１００が点群データからメッシュデータを生成しても良い。３次元形状計測器２００と配置ポイントの相対位置関係は既知となっている。これにより物体Ｏの３次元モデルとエンドエフェクタ３００から導出された軸との対応付が可能となる。

（対称性の判定）
さらに、処理装置１００は、オプションとして、３次元モデルの対称性を判定してもよい。具体的には、処理装置１００は、基準座標系の各軸に対する対称性を判定する。そして、処理装置１００は、対称性の判定結果に応じて、基準座標系の軸を修正している。

ここで、物体の３次元形状を示す３次元モデルでは、座標系の座標軸を適切に設定することが望まれる。例えば、物体が回転対称の場合、回転軸と一致する座標軸を設定することで、物体の位置姿勢を適切に変えることができる。物体の対称性を適切に判定することが望まれる。本実施の形態にかかる方法では、物体の対称性を適切に判定することができる。このようにすることで、推定器での６軸位置姿勢の推定の有用な座標系を設定することが可能となる。以下、対称性の判定に関する構成について説明する。

第１判定部１３０は、物体Ｏの回転対称性を判定する。第１判定部１３０は、３軸のそれぞれについて、回転対称であるか否かを判定する。例えば、Ｘ軸について、物体Ｏが回転対称形状である場合、Ｘ軸が回転対称軸となる。したがって、物体をＸ軸周りにある角度回転させると、物体の形状が一致する。

第２判定部１４０は、物体Ｏが角度周期を有する回転対称であるか否かを判定する。回転対称な軸がある場合、第２判定部１４０は、その軸についての回転対称性が角度周期を有するか否かを判定する。例えば、Ｘ軸が回転対称軸である場合、第２判定部１４０は、Ｘ軸について、角度周期を有する回転対称な形状であるか否かを判定する。

角度周期を有する回転対称な形状の一例は、軸と直交する断面において、正多角形である。具体的には、断面が正四角形の場合、物体は４回対称の回転対称形状となる。角度周期を有しない回転対称な形状の一例は、例えば、軸と直交する断面において、円形である。

第３判定部１５０は、面対称性を判定する。物体形状が面対称性を有する場合、平面に対して反転対称な形状となる。軸を含む平面に対して、反転対称である場合、第３判定部１５０は、物体が面対称であると判定する。

修正部１６０は基準座標系を修正する。第２判定部１４０において、角度周期を有する回転対称であると判定された場合、修正部１６０が基準座標系を修正する。これにより、初期基準座標系と異なる基準座標系が設定される。具体的には、修正部１６０は、回転対称軸ではない軸の向きを修正する。例えば、Ｘ軸が回転対称軸である場合、修正部１６０は、Ｙ軸とＺ軸の向きを変える。修正部１６０は、Ｙ軸とＺ軸をＸ軸周りに回転する。

また、修正部１６０は、第３判定部１５０において、物体Ｏが面対称性を有すると判定された場合、修正部１６０は、基準座標系を修正する。つまり、軸が対称面内に含まれるように基準座標系の軸方向を変化させる。このようにすることで、対称面と平行な２軸を座標軸とする基準座標系を設定することができる。

図４を用いて本実施の形態にかかる３次元モデルの生成方法について説明する。図４は、本実施の形態にかかる３次元モデルの生成方法を示すフローチャートである。

まず、表面形状データ取得部１０１が物体Ｏの表面形状データを取得する（Ｓ１１）。これにより、測距センサ５００で測定された表面形状データが取得される。ここで、表面形状データは、物体Ｏの表面を示す点群データやメッシュデータである。ここでは、目酒データであるとして説明する。

次に、算出部１０２が、表面形状データに基づいて、物体Ｏの表面の法線方向を算出する（Ｓ１２）。これにより、物体Ｏの表面の法線方向分布が求められる。把持位置設定部１０３が法線方向に基づいて、把持位置を設定する（Ｓ１３）。ここでは、算出部１０２は、上記のように、＾円形に近い断面を物体Ｏの把持位置として設定する。

エンドエフェクタ３００が把持位置で物体Ｏを把持する（Ｓ１４）。つまり、アーム機構４００がエンドエフェクタ３００は把持位置に移動させた後、エンドエフェクタ３００が物体０を把持する。

ここでは、柔軟な把持部３１４が物体Ｏを把持している。従って、物体Ｏの外形に応じて、把持部３１４が変形する。そして、変形センサ３１６が把持部３１４の変形形状を検出する（Ｓ１５）。

座標系設定部１２０が、把持部３１４の変形形状に応じて、初期基準座標系を設定する（Ｓ１６）。上記のように、把持部３１４は柔軟な材料により形成しているため、把持している物体Ｏに沿って変形する。したがって、座標系設定部１２０は、把持部３１４の変形形状に応じて初期基準座標系の軸方向を設定することができる。

エンドエフェクタ３００及びアーム機構４００が物体Ｏをテーブル２１０に載置する（Ｓ１７）。ここでは、物体Ｏが３次元形状計測器２００のスキャン範囲に置かれるように、アーム機構４００が物体Ｏを移動させる。より詳細には、初期基準座標系の軸方向がスキャン軸と一致するように、物体Ｏが３次元形状計測器２００に設置される。

３次元形状計測器２００が物体Ｏをスキャンする（Ｓ１８）。３次元形状計測器２００が物体Ｏの全周をスキャンして、計測を行う。計測データ取得部１１０が、初期基準座標系での計測データを取得する（Ｓ１９）。つまり、把持部３１４の変形形状に応じた設定されたＸＹＺ３次元直交座標系における物体Ｏの３次元形状モデルが得られる。

図５を用いて、３次元モデルの対称性を判定する処理について説明する。図５は、対称性を判定する処理の一例を説明するためのフローチャートである。以下の説明では、ステップＳ１５で導出された初期基準座標系の各軸に対する対称性を判定する。これにより、ステップＳ１８で計測された計測データに対応する３次元モデルの対称性が判定される。

第１判定部１３０が初期基準座標系における軸（ｘ，ｙ，ｚ）を選択する（Ｓ１０３）。つまり、第１判定部１３０がｘ軸、ｙ軸、ｚ軸から１つの軸を選択する。第１判定部１３０は、選択された軸（以下、選択軸ともいう）について、物体０が回転対称か否かを判定する（Ｓ１０４）。回転対称は、選択軸周りに回転させた時の形状が元の形状と一致する形状である。

物体Ｏが回転対称な場合（Ｓ１０４のＹＥＳ）、第２判定部１４０は、回転対称性が角度周期を有するか否かを判定する（Ｓ１０５）。つまり、第３判定部１５０は、物体Ｏが角度周期を有する回転対称な形状か否かを判定する。角度周期を有する回転対称は、選択軸周りに所定の角度（０°より大きく３６０より小さい角度）だけ回転させた時の形状が元の形状と一致する形状である。換言すると、角度周期の示す角度以外の角度だけ軸周りに回転させた時の形状が、元の形状と一致しない。

回転対称性が角度周期を有する場合（Ｓ１０５のＹＥＳ）、修正部１６０が基準座標系を修正する（Ｓ１０６）。修正部１６０は、初期基準座標系において、選択軸以外の２軸の方向を変える。これにより、選択軸と直交する平面における２軸の方向が決定する。そして、処理がステップＳ１０９に移行する。回転対称性が角度周期を有していない場合（Ｓ１０５のＮＯ）、処理がステップＳ１０９に移行する。

物体Ｏが回転対称でない場合（Ｓ１０４のＮＯ）、第３判定部１５０は、物体Ｏが面対称か否かを判定する（Ｓ１０７）。面対称性は、選択軸を含む平面において、物体Ｏを反転させた時の形状が、元の形状と一致する形状である。物体Ｏが面対称な場合（Ｓ１０７のＹＥＳ）、修正部１６０が基準座標系を修正する（Ｓ１０８）。修正部１６０は、初期基準座標系において、選択軸以外の２軸の方向を変える。具体的には、選択軸以外の１軸を対称面（反転面）と平行な方向にする。そして、処理がＳ１０９に移行する。

物体Ｏが面対称でない場合（Ｓ１０７のＮＯ）、処理がＳ１０９に移行する。そして、第１判定部１３０が、全軸について処理が終了したか否かを判定する（Ｓ１０９）。全軸について処理が終了していない場合（Ｓ１０９のＮＯ），ステップＳ１０３に戻り、第１判定部１３０が軸を選択する。つまり、対称性が判定されていない軸について、処理装置１００が上記の処理を行う。例えば、ｚ軸、ｙ軸、ｘ軸の順番でＳ１０４～Ｓ１０８の処理が行われる。全軸について処理が終了していない場合（Ｓ１０９のＹＥＳ），処理を終了する。

図６は、第１判定部１３０と第２判定部１４０における判定処理の一例を説明するためのフローチャートである。ここで、図のステップＳ１０３に選択された軸をａとして説明する。つまり、軸ａは、初期基準座標系におけるｘ軸、ｙ軸、ｚ軸のいずれか一つである。以下の説明では、軸ａがｚ軸として、軸ａと直交する平面Ｐがｘｙ平面であるとして説明する。

第１判定部１３０が、軸ａと直交する平面Ｐにおいて、物体モデルとその凸包（convex hull）の断面形状Ｓｏ、Ｓｃを作成する（Ｓ３０１）。断面形状Ｓｏ及び断面形状Ｓｃは、平面Ｐと物体モデルの交差から求められる。物体の断面形状Ｓｏは、平面Ｐにおける物体の輪郭を示す形状となる。凸包は平面Ｐにおいて、物体（つまり、断面形状Ｓｏ）を包含する最小の多角形となる。第１判定部１３０は、軸ａ上の位置を変えていき、断面形状Ｓｏ、Ｓｃを生成する。したがって、１つの物体Ｏについて、第１判定部１３０は、複数の断面形状Ｓｏ及び複数の断面形状Ｓｃを生成する。

第１判定部１３０は、平面Ｐにおいて、直線ｌと断面形状Ｓｃ（もしくはＳｏでも可）との最も外側の交点と原点Ｐｏとの距離ｒを求める（Ｓ３０２）。図７を用いて、断面形状Ｓｃとそのｒを説明する。図７は、平面Ｐを示している。ここで、直線ｌは、図７に示すように、平面Ｐと平行で、平面Ｐの原点Ｐｏを通る直線である。また、直線ｌは原点Ｐ０を始点としている。平面Ｐにおいて直線ｌとｘ軸の成す角度はθとなっている。直線ｌ上において、距離ｒは、原点Ｐｏと断面形状Ｓｃの外形までの距離を示す。なお、直線ｌと断面形状Ｓｃとの交点が２つ以上ある場合、最も外側の交点と原点Ｐｏとの距離をｒとする。

上記の通り、第１判定部１３０は、断面形状Ｓｃの代わりに、物体モデルの断面形状Ｓｏを用いてもよい。よって、以下のフローにおいて、断面形状Ｓｃを断面形状Ｓｏと置き換えることも可能である。断面形状Ｓｏを用いる場合、直線ｌ上において、原点Ｐｏから断面形状Ｓｏの外形までの距離を距離ｒとする。以下の説明では、断面形状Ｓｃについての処理を行う例について説明する。このため、図７に示すように、原点Ｐｏから、直線ｌと断面形状Ｓｃとの交点までの距離を距離ｒとして説明する。

さらに、第１判定部１３０は、θを変えていき、距離ｒを求めていく。つまり、第１判定部１３０は、平面Ｐにおいて、原点Ｐｏを中心とする円の全周に渡って、ｒを算出する。第１判定部１３０は、例えば、θをδ_θ間隔で変化させて、ｒを求める。これにより、第１判定部１３０は、離散的な関数ｒ（θ）を求めることができる。例えば、θは０°～３６０°の離散的な値を取る。ｒ（θ）は、断面形状Ｓｃの極座標表現となる。つまり、ｒ（θ）は、断面形状Ｓｃを極座標変換した関数に対応する。さらに、第１判定部１３０は、軸ａ上の位置（ここではｚ位置）を変えて生成された複数の断面形状Ｓｃについて、それぞれｒ（θ）を算出する。

第１判定部１３０は、ｒ（θ）を正規化する（Ｓ３０３）。例えば、第１判定部１３０は、ｒ（θ）の最大値が１となるように、一定の係数をｒ（θ）に乗じる。これにより、ｒ（θ）が０以上１以下の範囲となる。第１判定部１３０は、ｒ（θ）の値が一定であるか否かを判定する（Ｓ３０４）。つまり、第１判定部１３０は、断面形状Ｓｃが円形であるか否かを判定する。より、詳細には、第１判定部１３０は、断面形状Ｓｃの外形が円形となるか否かを判定する。

ｒ（θ）が一定である場合（Ｓ３０４のＹＥＳ）、第１判定部１３０は、物体が円形（回転対称）であると判定する（Ｓ３０５）。円形であると判定されると、第１判定部１３０，及び第２判定部１４０の処理が終了する。つまり、図２のステップＳ１０５において、ＮＯと判定される。断面形状が円形となる３次元物体の例としては、球、円柱、円錐、ラグビーボールなどがある。また、軸ａの位置に応じて、直径が変わるビン、ボトルなどがある。これらの形状は、中心軸に対して、回転対称となる。

ｒ（θ）が一定でない場合（Ｓ３０４のＮＯ）、第１判定部１３０は、物体が円形ではない判定する（Ｓ３０６）。次に、第２判定部１４０が角度周期を有する回転対称性か否かを判定する。つまり、図２のステップＳ１０５における判定処理が施される。

第２判定部１４０は、ｒ’（θ）について離散フーリエ変換を行う（Ｓ３０７）。ここで、ｒ’（θ）はｒ（θ）とｒの平均値ｒ_ａｖｅとから算出される。具体的には、ｒ’（θ）＝ｒ（θ）－ｒ_ａｖｅで求めることができる。平均値ｒ_ａｖｅはｒのＤＣ成分に対応する。また、離散フーリエ変換により得られたフーリエ級数（振幅スペクトル）Ｒ（ω）を図８に示す。図８の左側のグラフはｒ’（θ）を示し、右側のグラフはＲ（ω）を示す。なお、図７に示すように断面形状Ｓｃが正六角形となる場合、図８に示すＲ（ｗ）では６０°毎にピークが存在する。また、図８では、実関数をフーリエ変換しているため、正負対称となっている。

第２判定部１４０は、Ｒ（ω）から振幅Ｒが最大となる角度周期ω_ｍａｘを求める（Ｓ３０８）。ここで、ω_ｍａｘは０°以上１８０°以下とする。図８では、Ｒ（６０°）に最大となるピークが表れているため、ω_ｍａｘは６０°（＝π／３［rad））となる。

第２判定部１４０は差（ｒ（θ）―ｒ（θ＋ω_ｍａｘ））の絶対値の面積Ｅを求める（Ｓ３０９）。ここで、差とは、関数ｒ（θ）と、関数ｒ（θ）を角度周期ω_ｍａｘ分だけシフトさせた関数ｒ（θ＋ω_ｍａｘ）との差分値を示す。絶対値の面積Ｅは以下の式（１）で算出することができる。

絶対値をθについて０°～３６０°までの範囲で積分することで、面積Ｅが求められる。なお、式（１）において、θが離散的な値を取るため、θが０～３６０°の範囲における絶対値の総和が面積Ｅとなる。第２判定部１４０は面積Ｅがしきい値未満であるか否かを判定する（Ｓ３１０）。つまり、第３判定部１５０は面積Ｅを予め設定されているしきい値と比較する。

しきい値未満である場合（Ｓ３１０のＹＥＳ）、第２判定部１４０は、角度周期ω_ｍａｘを持つ回転対称（線対称）形状であると判定する（Ｓ３１１）。つまり、角度周期ω_ｍａｘだけシフトした時の関数の差が小さいため、第２判定部１４０は角度周期を有する回転対称（線対称形状）と判定する。しきい値未満でない場合（Ｓ３１０のＮＯ）、第２判定部１４０は、角度周期を持つ回転対称（線対称形状）でないと判定する（Ｓ３１２）。

図９に、ｒ（θ）とｒ（θ＋ω_ｍａｘ）を示す。図９では、左側に回転対称形状でないグラフが示され、右側に回転対称な場合のグラフが示されている。回転対称ではない場合、ｒ（θ）とｒ（θ＋ω_ｍａｘ）の差が０とならないため、式（１）で求められる面積Ｅが大きくなる。角度周期のある回転対称形状の場合、ｒ（θ）とｒ（θ＋ω_ｍａｘ）とがほぼ一致する関数となる。よって、いずれのθにおいても、ｒ（θ）とｒ（θ＋ω_ｍａｘ）との差がほぼ０となり、面積Ｅがほぼ０となる。よって、第２判定部１４０が、面積Ｅを予め設定されたしきい値と比較することで、角度周期のある回転対称か否かを判定することができる。

なお、軸ａ上の位置を変えていくことで、複数の断面形状Ｓｃが生成されている。回転対称性の判定は、断面形状Ｓｃのそれぞれについて判定される。よって、全ての断面形状Ｓｃについて、ｒ（θ）の値が一定である場合、角度周期を有しない回転対称であると判定される。１つ以上の断面形状Ｓｃについて、面積Ｅがしきい値未満でない場合、回転対称ではないと判定される。一部の断面形状Ｓｃについて、面積Ｅがしきい値未満で有り、残りの全ての断面形状でｒ（θ）が一定である場合、角度周期を有する回転対称であると判定される。
また、全ての断面形状Ｓｃについて、面積Ｅがしきい値未満である場合であっても、角度周期ω_ｍａｘが異なる場合、角度周期を有する回転対称とはならないこともある。具体的には、全ての断面形状Ｓｃにおける角度周期ω_ｍａｘがずれていて、重ならない場合、角度周期を有する回転対称とはならない。例えば、ある断面形状において角度周期ω_ｍａｘが６０°で、残りの断面形状において、角度周期ω_ｍａｘが７２°の場合、角度周期を有する回転対称とならない。反対に、ある断面形状において角度周期ω_ｍａｘが６０°で、残りの断面形状において、角度周期ω_ｍａｘが３０°の場合、角度周期を有する回転対称となる。つまり、６回の回転対称となる。

なお、物体が角度周期を有する回転対称性を有する場合（Ｓ３１１）、図２のステップＳ１０６のように、修正部１６０が初期基準座標系を修正する。修正部１６０は、ピーク面に基づいて初期基準座標系の軸方向を修正してもよい。例えば、ｒ（θ）が最大となる角度θ_ｍａｘの方向が軸方向となるように、修正部１６０が基準座標系を設定する。修正部１６０は、ｒが最大となるθ_ｍａｘを特定する。ここで、ω_ｍａｘは０°以上３６０°未満とする。

ｒ（θ_ｍａｘ）となる断面形状Ｓｃ又は断面形状Ｓｏの位置がピーク位置となる。修正部１６０は、ｘ軸から角度θ_ｍａｘだけ傾いた直線を軸ｂとする。図７ではθ_ｍａｘが０°となっている。軸ｂは原点とピーク位置を通る直線となる。選択軸（軸ａ）と軸ｂとを含む平面がピーク面となる。なお、ｒ（θ）が最大となる角度θが複数ある場合、その一つのピーク位置に基づいて、軸ｂを設定すればよい。

ステップＳ３１２の後、ステップＳ１０７のように、第３判定部１５０が面対称性の判定を行う。面対称性の判定の一例について、図１０～図１２を用いて説明する。図１０，図１１は、判定処理の一例を示すフローチャートである。図１２は、面対称な断面形状を示す図である。また、以下の説明では、凸包の断面形状Ｓｃについて、処理を行うが、物体の断面形状Ｓｏについて処理を行うことも可能である。よって、以下のフローにおいて、断面形状Ｓｃを断面形状Ｓｏと置き換えることも可能である。

第３判定部１５０は、平面Ｐの原点Ｐ_Ｏを通る直線Ｌ（φ）を一定の角度間隔δ_φで引く（Ｓ４０１）。したがって、平面Ｐにおいて、複数の直線Ｌ（φ）が設定される。ここで、直線Ｌ（φ）は図１２に示すように、平面Ｐ上において、原点Ｐｏを通り、ｘ軸から角度φとなる直線である。つまり、角度φは、平面Ｐにおいて、ｘ軸と直線Ｌ（φ）との成す角度である。また、φは０°以上１８０°未満の範囲とする。直線Ｌ（φ）は、断面形状Ｓｃを横切るように設定される。

第３判定部１５０は、直線Ｌ（φ）上に、一定間隔δｍ毎にサンプル点Ｑｍを取る（Ｓ４０２）。これにより、直線（φ）上の複数点をサンプリングすることができる。第３判定部１５０は、各サンプル点Ｑｍのｘｙ座標を記録する。図１２には、直線Ｌ（φ）と、直線Ｌ（φ）上のサンプル点Ｑｍの一部が示されている。ここでは、１本の直線Ｌ（φ）上に置かれた３点のサンプル点のみが示されている。また、第３判定部１５０は、角度φを変えることで複数の直線Ｌ（φ）を引く。第３判定部１５０は、それぞれの直線Ｌ（φ）上で、複数のサンプル点Ｑｍを求める。以下の、処理では特に言及しない限り、それぞれの断面形状について、同様の処理を行う。

第３判定部１５０は、全てのサンプル点Ｑｍについて、Ｑｍを通り直線Ｌ（φ）と直交する直交直線Ｋ（Ｑｍ）を引く（Ｓ４０３）。第３判定部１５０は、Ｋ（Ｑｍ）と断面形状Ｓｃとの交点Ｑｍｕ、Ｑｍｌを求める（Ｓ４０４）。ここで、図１２に示すように、Ｋ（Ｑｍ）は凸包の断面形状Ｓｃを横切る直線であるため、Ｋ（Ｑｍ）は断面形状Ｓｃと２箇所で交わる。よって、図１１に示すように、Ｋ（Ｑｍ）と断面形状Ｓｃとの正側の交点をＱｍｕとし、負側の交点をＱｍｌとする。また、Ｋ（Ｑｍ）は断面形状Ｓｃと３箇所以上で交わる場合、正側において最も外側の交点をＱｍｕ、負側において最も外側の交点をＱｍｌとする。

第３判定部１５０は、サンプル点Ｑｍから交点Ｑｍｕ、Ｑｍｌの距離ｄｕ、ｄｌを求める（Ｓ４０５）。第３判定部１５０は、図１２に示すように、サンプル点Ｑｍと交点Ｑｍｕとの距離をｄｕとし、サンプル点Ｑｍと交点Ｑｍｌとの距離をｄｌとする。

次に、第３判定部１５０は、符号付き距離差分ｄ＝ｄｕ－ｄｌを計算する（Ｓ４０６）。第３判定部１５０は、ｄの平均値ｄ_ａｖｅを算出する（Ｓ４０７）。第３判定部１５０は、１つの直線Ｌ（φ）上の複数のサンプル点Ｑｍについて、ｄの総和を求め、総和をサンプル点数で除することで、平均値ｄ_ａｖｅを求める。第３判定部１５０はｄとｄ_ａｖｅの差の絶対値の総和ｄ_ｓｕｍを算出する（Ｓ４０８）。総和ｄ_ｓｕｍは以下の式（２）で求めることが可能である。

第３判定部１５０は、総和ｄ_ｓｕｍが最小となる角度φ_ｍｉｎを求める（Ｓ４０９）。上記のように、符号付き距離差分ｄ、平均値ｄ_ａｖｅ、総和ｄ_ｓｕｍのそれぞれは、角度φ毎に求められる。つまり、直線Ｌ（φ）のそれぞれについて、第３判定部１５０が、上記の処理を行うことで、符号付き距離差分ｄ、平均値ｄ_ａｖｅ、総和ｄ_ｓｕｍを算出する。第３判定部は、複数の総和ｄ_ｓｕｍを比較して、最小となる総和ｄ_ｓｕｍを求め、その時の直線Ｌ（φ）の角度φを求める。断面形状Ｓｃが直線Ｌ（φ）について最も線対称（反転対称）に近くなる角度φが角度φ_ｍｉｎとして設定される。

第３判定部１５０は、角度φ_ｍｉｎの時の符号付き距離差分ｄの平均値ｄ_{ａｖｅ_min}と総和ｄ_{ｓｕｍ_min}を求める（Ｓ４１０）。総和ｄ_{ｓｕｍ_min}がしきい値未満か否かを判定する（Ｓ４１１）。第３判定部１５０は総和ｄ_{ｓｕｍ_min}を予め設定されているしきい値と比較する。

総和ｄ_{ｓｕｍ_min}がしきい値未満でない場合（Ｓ４１１のＮＯ）、第３判定部１５０は、対称形状ではないと判定する（Ｓ４１２）。つまり、軸ａについて、断面形状Ｓｃ（又は断面形状Ｓｏ）が回転対称でもなく、面対称でもない。よって、物体は軸ａについて、何の対称性も有していない。

総和ｄ_{ｓｕｍ_min}がしきい値未満である場合（Ｓ４１１のＹＥＳ）、修正部１６０は、φ_minとｄ_{ａｖｅ_min}とに基づいて、軸ｂを設定する（Ｓ４１３）。具体的には、軸ｂは、ｘ軸に対して角度φの傾きを持ち、かつ、原点Ｐｏからのｄ_{ａｖｅ_min}だけ離れた直線である。図１３に、ｚ軸に直交する平面Ｐにおける軸ｂを示す。軸ｂは直線Ｌ（φｍｉｎ）を直線と直交する方向にｄ_{ａｖｅ_min}だけ平行移動した直線に相当する。また、原点Ｐｏの位置も同様に平行移動している。軸ｂと直交し、かつ軸ａと直交する方向が残りの軸ｃとなる。第３判定部１５０は、軸ａと軸ｂを含む平面（反転面）に対して、面対称であると判定する（Ｓ４１４）。このように、物体Ｏが面対称性を有する場合、修正部１６０は、反転面に沿った軸を有するように、初期基準座標系の軸方向を修正する。

なお、図１０、図１１に示した面対称性の判定処理は、それぞれの断面形状Ｓｃについて行われる。そして、全ての断面形状Ｓｃについて、総和ｄ_{ｓｕｍ_min}がしきい値未満であり、かつ、軸ｂが共通である場合、面対称として判定される。なお、図３～図１１に示した処理は、判定処理の一例であり、本実施の形態は上記の処理に限定されるものではない。

システム１は、上記の判定処理を初期基準座標系の３軸のそれぞれについて行う。つまり、３軸のそれぞれについての対称性が判定される。２軸以上で角度周期を持たない回転対称形状と判定された場合、球体形状と判定される。１軸で回転対称、かつ、他の１軸で面対称の場合、円柱やラグビーボール形状などの２つの対称性を持つ物体となる。１軸について回転対称である場合、角度周期を持つ対称性（離散対称性）か、角度周期を持つ対称性かを判別することができる。離散対称な断面形状としては正多角形や星形形状などがある。上記のアルゴリズムにより、様々な対称性を判定することができる。

以上まとめると、システム１は、エンドエフェクタ３００と、変形センサ３１６と、算出部１０２と、把持位置設定部１０３と、座標系設定部１２０とを有している。エンドエフェクタ３００は、物体９を把持する柔軟な把持部３１４を有する。変形センサ３１６は物体を把持した状態の把持部の変形形状を検出する。算出部１０２は、物体の表面形状データから物体の表面の法線方向を算出する。把持位置設定部１０３は、法線方向に基づいて、エンドエフェクタ３００による物体Ｏの把持位置を決定する。座標系設定部１２０は、把持部３１４の変形形状に応じて、基準座標系を設定する。

また、３次元モデルの生成方法は、以下の処理を行う。
（Ａ）算出部１０２が、物体の表面形状データに応じて、前記物体の表面の法線方向を算出する。
（Ｂ）把持位置設定部１０３が、法線方向に基づいて、物体Ｏの把持位置を設定する。
（Ｃ）柔軟な把持部３１４を有するエンドエフェクタ３００が、把持位置で物体を把持する。
（Ｄ）物体を把持したときの物体の変形形状を変形センサ３１６が、検出する。
（Ｅ）把持部３１４の変形形状に応じて、基準座標系を設定する。

このようにすることで、適切な座標系での３次元モデルを簡便に生成することができる。

また、処理装置１００は、以下の処理（１）～（６）を実行してもよい。
（１）基準座標系における物体の３次元形状を示す計測データを取得し、
（２）前記初期基準座標系の軸を選択し、
（３）前記軸に対する回転対称性の有無を判定し、
（４）前記軸に対して、角度周期を有する回転対称性か否かを判定し、
（５）前記回転対称性がない場合、前記軸に対する面対称性を判定し、
（６）前記（２）において選択される軸を変えることで、前記（３）～（５）の処理を前記初期基準座標系の３軸それぞれについて行う。

このようにすることで、適切な座標系を設定することができる。そして、上記のように設定された３次元座標系を用いて、物体の３次元モデルを表現する。つまり、物体の３次元形状を示す３次元モデルが、適切な座標系で表される。例えば、３次元モデルを示す点群やメッシュの位置座標が適切な座標系で示される。様々な対称性に関する情報をアノテーションすることができる。対称性を考慮した座標軸で３次元形状モデルを作成することができる。もちろん、（１）～（６）の処理は省略しても良い。

処理装置１００は、３次元モデルから初期基準座標を導出する。そして、処理装置１００は、各軸における回転対称性、及び面対称性を順に探索することで、効率良く、計算を行うことができる。物体の３次元形状モデルに対する座標系設定と対称性に関する情報をアノテーションすることができる。適切な座標系における３次元モデルを効率良く生成することができる。

対称性を有する物体の場合、座標系の軸が対称軸や対称面（反転面）を規定している。記角度周期を有する回転対称性がある場合、又は、面対称性を有している場合、修正部１６０が、初期基準座標系を修正する。修正された座標系の軸を用いることで、物体の位置姿勢を適切に変えることができる。学習用データの作成を簡便かつ適切に行うことができる。さらに、学習用データに位置姿勢を示す位置姿勢情報などを適切かつ簡便にアノテーションすることができる。推定器での６軸位置姿勢の推定の有用な座標系を設定することが可能となる。

３次元形状を示すメッシュモデルの各メッシュに対する法線の方向に基づいて、座標系設定部１２０が初期基準座標を導出するようにしてもよい。これにより、適切な初期基準座標系を簡便に決定することができる。

座標系設定部１２０は、物体Ｏを包含する直方体を３次元バウンディングボックスとしている。そして、座標系設定部１２０は、直方体の中心を原点とし、直方体の各辺方向をｘｙｚ軸とする初期基準座標系を導出している。

物体が面対称性を有する場合、修正部１６０は、反転面に沿った軸を有するように、初期基準座標系の軸方向を修正する。

物体が角度周期を有する回転対称性を有する場合、修正部１６０は、ピーク面に基づいて初期基準座標系の軸方向を修正する。

上記の処理方法はコンピュータプログラムやハードウェアで実施可能である。つまり、処理装置１００が所定のプログラムを実行することで、生成装置又は生成システムとして機能する。図１４に処理装置１００のハードウェア構成の一例を示す。処理装置１００はプロセッサ１０，メモリ２０、及びインタフェース３０等を備えている。メモリ２０は、プログラムや各種パラメータ、計測データなどを格納する。プロセッサ１０は。メモリ２０に格納されたプログラムを実行する。インタフェース３０が３次元形状計測器２００、エンドエフェクタ３００、アーム機構４００、測距センサ５００等に対してデータを送信する。また、インタフェース３０は、３次元形状計測器２００、エンドエフェクタ３００、アーム機構４００、測距センサ５００等からのデータを受信する。

処理装置１００のプロセッサ１０がプログラムを実行することで、本実施の形態にかかる方法を実行することができる。処理装置１００は、少なくとも一つのプロセッサ１０を有していればよい。そして、１つ以上のプロセッサ１０がメモリに格納されたプログラムを実行することで、上記の処理が実施される。処理装置１００は、物理的に単一な装置に限らず、複数の装置に分散されていてもよい。つまり、複数の装置が分散処理を行うことで、上記の方法を実行してもよい。

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。つまり、処理装置１００を構成する制御コンピュータがプログラムを実行することで、上記の処理装置１００の制御が実行される。上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１ システム
１０ プロセッサ
２０ メモリ
３０ インタフェース
１００ 処理装置
１０１ 表面形状データ取得部
１０２ 算出部
１０３ 把持位置設定部
１０５ 駆動制御部
１１０ 計測データ取得部
１２０ 座標系設定部
１３０ 第１判定部
１４０ 第２判定部
１５０ 第３判定部
１６０ 修正部
２００ ３次元形状計測器
２１０ テーブル
２２０ デプスセンサ
３００ エンドエフェクタ
３１１ 本体部
３１３ ベース部
３１４ 把持部
３１５ 爪部
３１６ 変形センサ
３１７ アクチュエータ
４００ アーム機構
５００ 測距センサ

Claims (13)

1. 物体を把持する柔軟な把持部を有するエンドエフェクタと、
   前記物体を把持した状態の前記把持部の変形形状を検出する変形センサと、
   前記物体の表面形状データから前記物体の表面の法線方向を算出する算出部と、
   前記法線方向に基づいて、前記エンドエフェクタによる前記物体の把持位置を決定する決定部と、
   前記把持部の変形形状に応じて、基準座標系を設定する座標系設定部と、を備えた３次元モデルの生成システム。
2. 前記物体をスキャンすることで、前記物体の３次元形状を計測する３次元形状計測器と、
   前記エンドエフェクタが前記３次元形状計測器のスキャン範囲に前記物体を置くように、前記エンドエフェクタを駆動する駆動制御部と、を備えた請求項１に記載の３次元モデルの生成システム。
3. 前記３次元形状計測器が、前記物体までの距離を測定するデプスセンサを備え、
   前記基準座標系の軸周りに、前記デプスセンサに対する前記物体の姿勢を変化させる請求項２に記載の３次元モデルの生成システム。
4. 前記３次元形状計測器が、載置された前記物体を回転するテーブルをさらに備え、
   前記テーブルの回転軸と前記基準座標系の軸が一致するように、前記エンドエフェクタが前記物体を載置する請求項３に記載の３次元モデルの生成システム。
5. 前記エンドエフェクタが物体を把持する前に、前記物体の表面形状データを測定する表面形状センサをさらに備え、
   前記表面形状データにおいて、断面が最も円形に近似した箇所を前記エンドエフェクタの把持位置として選択する請求項１～４のいずれか１項に記載の３次元モデルの生成システム。
6. 前記基準座標系の各軸に対して，前記物体の対称性を判定し、
   前記対称性の判定結果に応じて、前記基準座標系の軸を修正する請求項１～４のいずれか１項に記載の３次元モデルの生成システム。
7. 物体の表面形状データに応じて、前記物体の表面の法線方向を算出し、
   前記法線方向に基づいて、前記物体の把持位置を設定し、
   柔軟な把持部を有するエンドエフェクタが、前記把持位置で物体を把持し、
   前記物体を把持したときの前記把持部の変形形状を検出し、
   前記把持部の変形形状に応じて、基準座標系を設定する、３次元モデルの生成方法。
8. 前記エンドエフェクタが３次元形状計測器のスキャン範囲に前記物体を置くように、前記エンドエフェクタを駆動し、
   前記３次元形状計測器が前記物体をスキャンすることで、前記物体の３次元形状を計測する請求項７に記載の３次元モデルの生成方法。
9. 前記３次元形状計測器が、前記物体までの距離を測定するデプスセンサを備え、
   前記基準座標系の軸周りに、前記デプスセンサに対する前記物体の姿勢を変化させる請求項８に記載の３次元モデルの生成方法。
10. 前記３次元形状計測器が、載置された前記物体を回転するテーブルをさらに備え、
    前記テーブルの回転軸と前記基準座標系の軸が一致するように、前記エンドエフェクタが前記物体を載置する請求項９に記載の３次元モデルの生成方法。
11. 前記エンドエフェクタが物体を把持する前に、表面形状センサが前記物体の表面形状データを測定し、
    前記表面形状データにおいて、断面が最も円形に近似した箇所を前記エンドエフェクタの把持位置として選択する請求項７～１０のいずれか１項に記載の３次元モデルの生成方法。
12. 前記基準座標系の各軸に対する前記物体の対称性を判定し、
    前記対称性の判定結果に応じて、前記軸を修正する請求項７～１０のいずれか１項に記載の３次元モデルの生成方法。
13. 少なくとも一つのコンピュータに対して、
    物体の表面形状データに応じて、前記物体の表面の法線方向を算出するステップと、
    前記法線方向に基づいて、前記物体の把持位置を設定するステップと、
    柔軟な把持部を有するエンドエフェクタが、前記把持位置で物体を把持するように、前記エンドエフェクタを制御するステップと、
    前記物体を把持したときの前記把持部の変形形状を検出した変形形状データを取得するステップと、
    前記把持部の変形形状に応じて、基準座標系を設定するステップと、を実行させるプログラム。

Images