JP2020019083A - 情報処理装置、制御システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】他の対象物と嵌合する対象物の取るべき位置姿勢を容易に決定できる。【解決手段】情報処理装置は、第１対象物と第２対象物とが嵌合する様子を撮像することにより得られる動画像の各フレームについて、第１対象物および第２対象物の各々の３次元位置姿勢を計測する。情報処理装置は、第１対象物と第２対象物とが接触し始めるときの第１フレームと、第１対象物と第２対象物との嵌合が完了したときの第２フレームとを選択する。情報処理装置は、第１対象物と第２対象物とが接触し始めてから嵌合完了するまでの期間における、第２対象物に対する第１対象物の相対的な３次元位置姿勢の変化を示す相対変化情報を生成する。【選択図】図７

Description

本開示は、情報処理装置、制御システム、情報処理方法およびプログラムに関する。

特開２０１５−５４３７８号公報（特許文献１）には、障害物を避けて移動するワークが撮像された時系列の撮像画像に基づいて、当該ワークの移動経路上での３次元位置情報を求める情報処理装置が開示されている。情報処理装置は、当該３次元位置情報に基づいて、移動経路に沿ってワークをロボットにより移動させるためのシナリオ情報を生成する。

特開２０１５−５４３７８号公報 特開２０１２−３２９０９号公報

Carlo Tomasi、他１名、"Shape and Motion from Image Streams under Orthography: a Factorization Method"、International Journal of Computer Vision、1992年、9:2、p 137-154 李尭希、他１名、"単眼カメラのビデオ画像に基づく動作再現を目指したビジュアルサーボの応用に関する基礎検討"、［online］、［平成30年7月24日検索］、インターネット〈http://hflab.k.u-tokyo.ac.jp/papers/2016/RSJ2016_ri.pdf〉

特許文献１に記載の情報処理装置は、障害物を避けるように移動するワークの位置姿勢を求め、他のワークに嵌合するワークの位置姿勢を求めるものではない。障害物を避けるためにワークが取るべき位置姿勢は、障害物の位置やワークの初期位置などの環境条件に応じて決定され、ある程度のマージンを有する。そのため、環境条件が少し変化した場合であっても、求められた位置姿勢に基づいてワークを移動させることにより、障害物を避けることができる。

一方、２つのワークを嵌合させる場合、ワークの種類に応じて嵌合方法が異なる。そのため、ワークの種類に応じて、ワークが取るべき位置姿勢も変化する。さらに、２つのワークの一方の状態に応じて、他のワークが取るべき位置姿勢も異なる。したがって、特許文献１に記載の技術を用いて、他のワークと嵌合するワークの移動経路上での３次元位置情報を求めたとしても、ワークの種類や当該他のワークの状態などのワーク条件が変化すると、当該３次元位置情報を利用することができない。

本発明は、上記の問題を鑑みてなされたものであり、その目的は、他の対象物と嵌合する対象物の取るべき位置姿勢を容易に決定可能な情報処理装置、制御システム、情報処理方法およびプログラムを提供することである。

本開示の一例によれば、情報処理装置は、計測部と、選択部と、情報生成部とを備える。計測部は、第１対象物と第２対象物とが嵌合する様子を撮像することにより得られる動画像の各フレームから第１対象物と第２対象物とを検出し、検出した第１対象物および第２対象物の各々の３次元位置姿勢を計測する。選択部は、計測部によって計測された３次元位置姿勢に基づいて、動画像から、第１対象物と第２対象物とが接触し始めるときの第１フレームと、第１対象物と第２対象物との嵌合が完了したときの第２フレームとを選択する。情報生成部は、第１フレームから第２フレームまでの各フレームについて計測部によって計測された３次元位置姿勢に基づいて、相対変化情報を生成する。相対変化情報は、第１対象物と第２対象物とが接触し始めてから第１対象物と第２対象物との嵌合が完了するまでの期間における、第２対象物に対する第１対象物の相対的な３次元位置姿勢の変化を示す。

この開示によれば、第１対象物と第２対象物とが嵌合する様子を示す動画像を準備することにより、情報処理装置から相対変化情報を得ることができる。当該相対変化情報を参照することにより、第２対象物と嵌合する第１対象物が取るべき位置姿勢を容易に決定することができる。

上述の開示において、情報処理装置は、第１対象物と第２対象物と障害物とが配置された空間上における、第１対象物の経路を生成するための経路生成部をさらに備える。経路生成部は、第１対象物が第２対象物および障害物と干渉しないように、初期位置姿勢から第２対象物と接触し始めるときの位置姿勢までの第１対象物の第１経路を生成する。さらに、経路生成部は、相対変化情報と空間上における第２対象物の位置姿勢とに基づいて、第２対象物と接触し始めるときの位置姿勢から第２対象物との嵌合が完了するときの位置姿勢までの第１対象物の第２経路を生成する。この開示によれば、情報処理装置によって生成された第１経路および第２経路に沿って第１対象物の位置姿勢を変化させることにより、第２対象物および障害物と干渉することなく、第１対象物を第２対象物と嵌合させることができる。

上述の開示において、経路生成部は、第２経路と滑らかに接続するように第１経路を生成する。この開示によれば、情報処理装置によって生成された第１経路および第２経路に沿って第１対象物の位置姿勢を変化させることにより、第１対象物を滑らかに移動させることができる。

上述の開示において、相対変化情報は、第２対象物に対する第１対象物の相対的な３次元位置が直線に沿って変化することを示す。さらに、相対変化情報は、第２対象物に対する第１対象物の相対的な３次元姿勢が一定であることを示してもよい。もしくは、相対変化情報は、第２対象物に対する第１対象物の相対的な３次元姿勢が直線を軸として回転することを示してもよい。このように、情報処理装置は、第１対象物と第２対象物との嵌合の仕方に応じた相対変化情報を生成できる。

本開示の一例によれば、制御システムは、上記の情報処理装置と、第１対象物の位置姿勢を変化させるためのロボットと、ロボットを制御する制御装置とを備える。制御装置は、情報処理装置によって生成された第１経路および第２経路に従って第１対象物の位置姿勢が変化するように、ロボットを制御する。

この開示によれば、ロボットを用いて第１対象物を第２対象物に嵌合させることができる。

本開示の一例によれば、情報処理方法は、第１〜第３のステップを備える。第１のステップは、第１対象物と第２対象物とが嵌合する様子を撮像することにより得られる動画像の各フレームから第１対象物と第２対象物とを検出し、検出した第１対象物および第２対象物の各々の３次元位置姿勢を計測するステップである。第２のステップは、計測された３次元位置姿勢に基づいて、動画像から、第１対象物と第２対象物とが接触し始めるときの第１フレームと、第１対象物と第２対象物との嵌合が完了したときの第２フレームとを選択するステップである。第３のステップは、第１フレームから第２フレームまでの各フレームについて計測された３次元位置姿勢に基づいて、相対変化情報を生成するステップである。

本開示の一例によれば、プログラムは、上記の制御方法をコンピュータに実行させるためのプログラムである。これらの開示によっても、他の対象物と嵌合する対象物の取るべき位置姿勢を容易に決定できる。

本発明によれば、他の対象物と嵌合する対象物の取るべき位置姿勢を容易に決定できる。

実施の形態に係る情報処理システムの概要を示す模式図である。 撮像装置から出力された動画像の一例を示す図である。 実施の形態に係る情報処理装置のハードウェア構成を示す模式図である。 実施の形態に係る情報処理装置の機能構成を示すブロック図である。 ２Ｄモデル画像の一例を示す図である。 相対変化情報の一例を示す図である。 情報処理装置による処理の流れの一例を示すフローチャートである。 変形例１に係る情報処理装置の内部構成を示すブロック図である。 経路生成部による経路の生成方法を説明する図である。 嵌合する２つの対象物の別の例を示す図である。 変形例１に係る情報処理装置を含む制御システムの一例を示す図である。

以下、図面を参照しつつ、本発明に従う実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。

＜Ａ．適用例＞
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る情報処理システムの概要を示す模式図である。

本実施の形態に係る情報処理システム１は、たとえば、オスコネクタ２とメスコネクタ３とを嵌合させる生産ラインに適用される。

図１に示すように、情報処理システム１は、撮像装置１０と、情報処理装置２０とを備える。

撮像装置１０は、撮像視野に存在する被写体を撮像して動画像データ（以下、単に「動画像」ともいう）を生成する。撮像装置１０は、定位置に設定され、被写体であるオスコネクタ２とメスコネクタ３とが嵌合する様子を撮像することにより得られる動画像を出力する。撮像装置１０は、人の手によってオスコネクタ２とメスコネクタ３とが嵌合される様子を撮像してもよいし、ロボットによってオスコネクタ２とメスコネクタ３とが嵌合される様子を撮像してもよい。

図２は、撮像装置から出力された動画像の一例を示す図である。図２に示す例の動画像は、フレーム６０〜６２を含む。フレーム６０は、オスコネクタ２とメスコネクタ３とが離れているときの画像を示す。フレーム６１は、オスコネクタ２とメスコネクタ３とが接触し始めるときの画像を示す。フレーム６２は、オスコネクタ２とメスコネクタ３との嵌合が完了したときの画像を示す。

情報処理装置２０は、撮像装置１０の撮像によって得られた動画像を用いて、以下の処理を行なう。情報処理装置２０は、オスコネクタ２とメスコネクタ３とが嵌合する様子を撮像することにより得られる動画像の各フレームからオスコネクタ２とメスコネクタ３とを検出し、検出したオスコネクタ２およびメスコネクタ３の各々の３次元位置姿勢を計測する。

情報処理装置２０は、計測した３次元位置姿勢に基づいて、動画像から、オスコネクタ２とメスコネクタ３とが接触し始めるときのフレーム６１と、オスコネクタ２とメスコネクタ３との嵌合が完了したときのフレーム６２とを選択する。情報処理装置２０は、オスコネクタ２およびメスコネクタ３の設計データ（３Ｄ−ＣＡＤ（3 Dimensional Computer Aided Design）データ）を用いて、オスコネクタ２とメスコネクタ３とが接触し始めるときのフレームであるか否かを判断する。同様に、情報処理装置２０は、オスコネクタ２およびメスコネクタ３の３Ｄ−ＣＡＤデータを用いて、オスコネクタ２とメスコネクタ３との嵌合が完了したときのフレームであるか否かを判断する。

情報処理装置２０は、フレーム６１からフレーム６２までの各フレームについて計測したオスコネクタ２およびメスコネクタ３の各々の３次元位置姿勢に基づいて、相対変化情報を生成する。相対変化情報とは、オスコネクタ２とメスコネクタ３とが接触し始めてからオスコネクタ２とメスコネクタ３との嵌合が完了するまでの期間における、メスコネクタ３に対するオスコネクタ２の相対的な３次元位置姿勢の変化を示す情報である。

相対変化情報を用いることにより、メスコネクタ３と嵌合するオスコネクタ２が取るべき位置姿勢を容易に決定することができる。たとえば、ロボットを用いてオスコネクタ２をメスコネクタ３に嵌合させる場合、相対変化情報を用いることにより、ロボットの動作プログラムを容易に設計することができる。

＜Ｂ．具体例＞
次に、実施の形態に係る情報処理装置２０の具体例について説明する。

＜Ｂ−１．情報処理装置のハードウェア構成＞
図３は、実施の形態に係る情報処理装置のハードウェア構成を示す模式図である。図３に示されるように、情報処理装置２０は、コンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の処理を実現する。

より具体的には、情報処理装置２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ２１０と、ＲＡＭ（Random Access Memory）２１２と、表示コントローラ２１４と、システムコントローラ２１６と、Ｉ／Ｏ（Input Output）コントローラ２１８と、ハードディスク２２０と、カメラインターフェイス２２２と、入力インターフェイス２２４と、通信インターフェイス２２８と、メモリカードインターフェイス２３０とを含む。これらの各部は、システムコントローラ２１６を中心として、互いにデータ通信可能に接続される。

プロセッサ２１０は、システムコントローラ２１６との間でプログラム（コード）などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。

システムコントローラ２１６は、プロセッサ２１０、ＲＡＭ２１２、表示コントローラ２１４、およびＩ／Ｏコントローラ２１８とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、情報処理装置２０全体の処理を司る。

ＲＡＭ２１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク２２０から読み出されたプログラムや、動画像に対する処理結果、およびワークデータなどを保持する。

表示コントローラ２１４は、表示部２３２と接続されており、システムコントローラ２１６からの内部コマンドに従って、各種の情報を表示するための信号を表示部２３２へ出力する。

Ｉ／Ｏコントローラ２１８は、情報処理装置２０に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、Ｉ／Ｏコントローラ２１８は、ハードディスク２２０と、カメラインターフェイス２２２と、入力インターフェイス２２４と、通信インターフェイス２２８と、メモリカードインターフェイス２３０と接続される。

ハードディスク２２０は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ２１０で実行される処理プログラム２５０に加えて、各種情報が格納される。このハードディスク２２０にインストールされる処理プログラム２５０は、メモリカード２３６などに格納された状態で流通する。なお、ハードディスク２２０に代えて、フラッシュメモリなどの半導体記憶装置やＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）などの光学記憶装置を採用してもよい。

カメラインターフェイス２２２は、撮像装置１０から動画像データを受付ける入力部に相当し、プロセッサ２１０と撮像装置１０との間のデータ伝送を仲介する。カメラインターフェイス２２２は、撮像装置１０からの動画像データを一時的に蓄積するための画像バッファを含む。

入力インターフェイス２２４は、プロセッサ２１０とキーボード、マウス、タッチパネル、専用コンソールなどの入力装置２３４との間のデータ伝送を仲介する。

通信インターフェイス２２８は、プロセッサ２１０と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス２２８は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。

メモリカードインターフェイス２３０は、プロセッサ２１０と記録媒体であるメモリカード２３６との間のデータ伝送を仲介する。メモリカード２３６には、情報処理装置２０で実行される処理プログラム２５０などが格納された状態で流通し、メモリカードインターフェイス２３０は、このメモリカード２３６から処理プログラム２５０を読み出す。メモリカード２３６は、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記録媒体や、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの光学記録媒体等からなる。あるいは、通信インターフェイス２２８を介して、配信サーバなどからダウンロードしたプログラムを情報処理装置２０にインストールしてもよい。

上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係る処理プログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および／またはタイミングで呼び出して処理を実行するものであってもよい。

さらに、本実施の形態に係る処理プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る処理プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。

なお、代替的に、処理プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

＜Ｂ−２．情報処理装置の機能構成＞
図４は、実施の形態に係る情報処理装置の機能構成を示すブロック図である。図４に示されるように、情報処理装置２０は、設計データ記憶部２１と、モデルデータ記憶部２２と、計測部２３と、選択部２４と、情報生成部２５とを備える。設計データ記憶部２１およびモデルデータ記憶部２２は、図３に示すハードディスク２２０およびＲＡＭ２１２によって構成される。計測部２３と選択部２４と情報生成部２５とは、図３に示すプロセッサ２１０が処理プログラム２５０を実行することにより実現される。

＜Ｂ−２−１．設計データ記憶部＞
設計データ記憶部２１は、オスコネクタ２およびメスコネクタ３の各々の形状を示す３Ｄ−ＣＡＤデータを記憶する。

＜Ｂ−２−２．モデルデータ記憶部＞
モデルデータ記憶部２２は、オスコネクタ２およびメスコネクタ３の各々について、複数のモデルデータを記憶する。複数のモデルデータの各々は、ある姿勢の対象物（オスコネクタ２およびメスコネクタ３のいずれか）の２次元モデル画像における当該対象物の複数の特徴点の座標と各特徴点の特徴量とを示す。モデルデータ記憶部２２は、複数のモデルデータの各々を姿勢パラメータと対応付けて記憶する。姿勢パラメータは、対象物の姿勢を示すパラメータであり、基準姿勢からのピッチ方向、ヨー方向およびロール方向の各々の回転角度である。

図５は、２Ｄモデル画像の一例を示す図である。複数の２Ｄモデル画像は、３Ｄ−ＣＡＤデータに基づいて作成される。複数の２Ｄモデル画像は、定位置の視点が設定された仮想空間に、３Ｄ−ＣＡＤデータで示される対象物を様々な姿勢で配置することにより作成される。

特徴点は、画像に含まれるかどや輪郭などから特徴づけられる点であり、たとえばエッジ点である。特徴量は、たとえば、輝度、輝度勾配方向、量子化勾配方向、ＨｏＧ（Histogram of Oriented Gradients）、ＨＡＡＲ−ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などである。輝度勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向（角度）を連続値で表すものであり、量子化勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す（たとえば、８方向を０〜７の１バイトの情報で保持する）ものである。

＜Ｂ−２−３．計測部＞
計測部２３は、公知の２次元照合法（たとえば特開２０１２−３２９０９号公報（特許文献２）参照）を用いて、動画像の各フレームから、オスコネクタ２およびメスコネクタ３の各々の３次元位置姿勢を計測する。

具体的には、計測部２３は、撮像装置１０の撮像によって得られた動画像の各フレームから複数の特徴点およびそれらの特徴量を抽出する。計測部２３は、抽出された特徴点および特徴量と、モデルデータ記憶部２２が記憶するモデルデータとを照合することにより、各フレームに含まれるオスコネクタ２とメスコネクタ３とを検出する。計測部２３は、検出したオスコネクタ２およびメスコネクタ３の各々の３次元位置姿勢を計測する。

３次元位置は、互いに直交する３軸（Ｘ，Ｙ，Ｚ軸）の座標によって示される。３次元姿勢は、基準姿勢からのピッチ方向、ヨー方向およびロール方向の回転角度によって示される。

計測部２３は、対象物（オスコネクタ２およびメスコネクタ３のいずれか）ごとに、複数のモデルデータの中から、動画像の各フレームから抽出された特徴点および特徴量との類似度が最も高いモデルデータを特定する。計測部２３は、特定したモデルデータに対応する姿勢パラメータを対象物の３次元姿勢として決定する。

さらに、計測部２３は、キャリブレーションデータと、フレームから検出された対象物の画像上の位置と、モデルデータに対応する２次元モデル画像の対象物とフレームから検出された対象物とのサイズ比とに基づいて、対象物の３次元位置を計測する。キャリブレーションデータは、画像の座標系と実空間の座標系との対応関係を示すデータである。

なお、計測部２３は、２次元照合法以外の方法を用いて、動画像の各フレームから、オスコネクタ２およびメスコネクタ３の各々の３次元位置姿勢を計測してもよい。たとえば、「Carlo Tomasi、他１名、“Shape and Motion from Image Streams under Orthography: a Factorization Method”、International Journal of Computer Vision、1992年、9:2、p 137-154」（非特許文献１）に記載の因子分解法を用いて、フレーム上のオスコネクタ２およびメスコネクタ３の各々の３次元位置姿勢を計測してもよい。因子分解法は、動画像に基づいて対象物の３次元形状と動きとを推定する方法である。

＜Ｂ−２−４．選択部＞
選択部２４は、計測部２３によって計測された３次元位置姿勢に基づいて、動画像から、オスコネクタ２とメスコネクタ３とが接触し始めるときのフレーム（以下、「接触開始フレーム」という）と、オスコネクタ２とメスコネクタ３との嵌合が完了したときのフレーム（以下、「完了フレーム」という）とを選択する。

たとえば、選択部２４は、計測部２３によって計測されたオスコネクタ２の３次元位置姿勢に基づいて、オスコネクタ２の重心の座標を求める。同様に、選択部２４は、計測部２３によって計測されたメスコネクタ３の３次元位置姿勢に基づいて、メスコネクタ３の重心の座標を求める。選択部２４は、オスコネクタ２の重心とメスコネクタ３の重心との距離が最初に第１規定値に到達したときのフレームを接触開始フレームとして選択する。第１規定値は、オスコネクタ２とメスコネクタ３とが接触し始めるときの両者の重心間の距離であり、３Ｄ−ＣＡＤデータに基づいて予め設定されている。

さらに、選択部２４は、オスコネクタ２の重心とメスコネクタ３の重心との距離が最初に第２規定値に到達したときのフレームを完了フレームとして選択する。第２規定値は、オスコネクタ２とメスコネクタ３との嵌合が完了したときの両者の重心間の距離であり、３Ｄ−ＣＡＤデータに基づいて予め設定されている。

＜Ｂ−２−５．情報生成部＞
情報生成部２５は、接触開始フレームから完了フレームまでの各フレームについて計測部２３によって計測された３次元位置姿勢に基づいて、相対変化情報を生成する。相対変化情報は、上述したように、オスコネクタ２とメスコネクタ３とが接触し始めてからオスコネクタ２とメスコネクタ３との嵌合が完了するまでの期間における、メスコネクタ３に対するオスコネクタ２の相対的な３次元位置姿勢の変化（時間変化）を示す。

メスコネクタ３に対するオスコネクタ２の相対的な３次元位置は、オスコネクタ２の３次元位置を示す３軸（Ｘ，Ｙ，Ｚ軸）の座標値からメスコネクタ３の３次元位置を示す３軸の座標値をそれぞれ差し引いた座標値によって示される。メスコネクタ３に対するオスコネクタ２の相対的な３次元姿勢は、オスコネクタ２における基準姿勢からの３方向の回転角度から、メスコネクタ３における基準姿勢からの３方向の回転角度をそれぞれ差し引いた回転角度によって示される。当該３方向は、ピッチ方向、ヨー方向およびロール方向である。このように、相対的な３次元位置姿勢は、６つの変数によって示される。

図６は、相対変化情報の一例を示す図である。図６には、オスコネクタ２とメスコネクタ３とが接触し始めてからオスコネクタ２とメスコネクタ３との嵌合が完了するまでの期間における、メスコネクタ３に対するオスコネクタ２の相対的な３次元位置の変化が示される。図６において、点Ｐ１は、接触開始フレームにおけるオスコネクタ２およびメスコネクタ３の３次元位置に基づいて特定された、メスコネクタ３に対するオスコネクタ２の相対的な３次元位置を示す点である。点Ｐ２は、完了フレームにおけるオスコネクタ２およびメスコネクタ３の３次元位置に基づいて特定された、メスコネクタ３に対するオスコネクタ２の相対的な３次元位置を示す点である。図６に示す例では、メスコネクタ３に対するオスコネクタ２の相対的な３次元位置は、直線Ｂ１に沿って変化する。

一方、オスコネクタ２とメスコネクタ３とが接触し始めてからオスコネクタ２とメスコネクタ３との嵌合が完了するまでの期間において、メスコネクタ３に対するオスコネクタ２の相対的な３次元姿勢は一定である。

＜Ｃ．動作例＞
図７を参照して、情報処理装置２０の処理の流れについて説明する。図７は、情報処理装置による処理の流れの一例を示すフローチャートである。

まずステップＳ１において、情報処理装置２０は、オスコネクタ２とメスコネクタ３とが嵌合する様子を示す動画像を撮像装置１０から取得する。

ステップＳ２において、計測部２３は、モデルデータ記憶部２２が記憶するモデルデータと動画像の各フレームとを照合することにより、当該フレームに含まれるオスコネクタ２およびメスコネクタ３の３次元位置姿勢を計測する。

ステップＳ３において、選択部２４は、各フレームに含まれるオスコネクタ２およびメスコネクタ３の３次元位置姿勢に基づいて、動画像から接触開始フレームと完了フレームとを選択する。

ステップＳ４において、情報生成部２５は、接触開始フレームから完了フレームまでの各フレームについて計測部２３によって計測された３次元位置姿勢に基づいて、相対変化情報を生成する。ステップＳ４の後、処理は終了する。

＜Ｄ．変形例＞
＜Ｄ−１．変形例１＞
情報処理装置は、オスコネクタ２について、初期位置姿勢からメスコネクタ３との嵌合が完了するときの３次元位置姿勢までの経路を生成してもよい。当該経路は、オスコネクタ２の３次元位置姿勢の時間変化を示す。以下、変形例１では、メスコネクタ３および障害物の３次元位置姿勢が変化しないものとして説明する。障害物とは、オスコネクタ２とメスコネクタ３との周囲に配置される物体である。

図８は、変形例１に係る情報処理装置の内部構成を示すブロック図である。図８に示されるように、変形例１に係る情報処理装置２０Ａは、図４に示す情報処理装置２０と比較して、配置情報記憶部２６と経路生成部２７とをさらに備える点で相違する。

配置情報記憶部２６は、実空間における、オスコネクタ２とメスコネクタ３と障害物との初期位置姿勢を示す配置情報を記憶する。

経路生成部２７は、初期位置姿勢からメスコネクタ３と接触し始めるときの３次元位置姿勢までのオスコネクタ２の第１経路を生成する。さらに、経路生成部２７は、メスコネクタ３と接触し始めるときの３次元位置姿勢からメスコネクタ３との嵌合が完了するときの３次元位置姿勢までのオスコネクタ２の第２経路を生成する。

図９は、経路生成部による経路の生成方法を説明する図である。図９には、配置情報に従って実空間に配置されたオスコネクタ２とメスコネクタ３と障害物４ａ，４ｂとが示される。

経路生成部２７は、メスコネクタ３の初期位置姿勢と相対変化情報とに基づいて、メスコネクタ３と接触し始めるときの３次元位置姿勢Ｐ２０から、メスコネクタ３との嵌合が完了するときの３次元位置姿勢Ｐ２１までのオスコネクタ２の第２経路Ａ２を求める。

さらに、経路生成部２７は、初期位置姿勢Ｐ０からメスコネクタ３と接触し始めるときの３次元位置姿勢Ｐ２０までのオスコネクタ２の第１経路Ａ１を求める。経路生成部２７は、たとえば以下の手順に従って、第１経路Ａ１を求める。

まず、経路生成部２７は、実空間上において、オスコネクタ２の取り得る３次元位置姿勢の複数の候補（以下、「位置姿勢候補」という）を求める。メスコネクタ３および障害物４ａ，４ｂのいずれかと干渉する３次元位置姿勢は、位置姿勢候補から除外される。図９には、経路生成部２７によって求められた複数の位置姿勢候補の一部の位置姿勢候補Ｐ１０〜Ｐ１４が示される。

経路生成部２７は、初期位置姿勢Ｐ０と３次元位置姿勢Ｐ２０と複数の位置姿勢候補とのうちの任意の２つを直線で結ぶ区間候補を生成する。図９には、複数の区間候補の一部の区間候補Ｃ１０〜Ｃ１６が示される。

経路生成部２７は、各区間候補について、メスコネクタ３および障害物４ａ，４ｂのいずれかと干渉するか否か判断する。経路生成部２７は、複数の区間候補から、メスコネクタ３および障害物４ａ，４ｂのいずれかと干渉する区間候補を除外する。たとえば、図９に示す例では、障害物４ｂと干渉する区間候補Ｃ１２と、障害物４ａ，４ｂと干渉する区間候補Ｃ１３とが除外される。

経路生成部２７は、残った区間候補から選択された区間候補を順次連結することにより、初期位置姿勢Ｐ０を起点とし、３次元位置姿勢Ｐ２０を終点とする、複数の経路候補を生成する。

経路生成部２７は、複数の経路候補の各々を、高次（たとえば３次以上）のスプライン曲線となるように変形する。これにより、複数の経路候補の各々は滑らかとなる。

経路生成部２７は、変形後の経路候補（以下、「変形経路候補」という）について、メスコネクタ３および障害物４ａ，４ｂのいずれかと干渉するか否か判断する。経路生成部２７は、複数の変形経路候補から、メスコネクタ３および障害物４ａ，４ｂのいずれかと干渉する変形経路候補を除外する。

経路生成部２７は、メスコネクタ３および障害物４ａ，４ｂのいずれとも干渉しない変形経路候補の１つを第１経路Ａ１として決定する。複数の変形経路候補が存在する場合、経路生成部２７は、最も短い変形経路候補を第１経路Ａ１として決定すればよい。図９に示す例では、区間候補Ｃ１０，Ｃ１１，Ｃ１４〜Ｃ１６を順に連結した経路候補を変形させた変形経路候補が第１経路Ａ１として決定されている。

なお、配置情報記憶部２６が記憶する配置情報には、オスコネクタ２を把持するロボットのハンド３０ａ（図９参照）の形状を示す情報が含まれていてもよい。この場合、経路生成部２７は、ハンド３０ａとメスコネクタ３および障害物４ａ，４ｂのいずれかとの干渉の有無も判断する。そして、経路生成部２７は、ハンド３０ａとメスコネクタ３および障害物４ａ，４ｂのいずれかとが干渉する位置姿勢候補、区間候補および変形経路候補を除外する。

経路生成部２７は、第１経路Ａ１と第２経路Ａ２とを連結することにより、初期位置姿勢からメスコネクタ３との嵌合が完了するときの３次元位置姿勢までのオスコネクタ２の経路Ａを生成する。このとき、経路生成部２７は、第２経路Ａ２と滑らかに接続するように、第１経路Ａ１を補正することが好ましい。

ここで、「滑らか」とは、ｄＸ（ｓ）／ｄｓ、ｄＹ（ｓ）／ｄｓ、ｄＺ（ｓ）／ｄｓ、ｄＲｙ（ｓ）／ｄｓ、ｄＲｐ（ｓ）／ｄｓ、ｄＲｒ（ｓ）／ｄｓの各々が距離ｓの変化に対して連続するということを意味する。距離ｓは、初期位置姿勢Ｐ０から経路Ａに沿った距離を示す。ｄＸ（ｓ）／ｄｓは、初期位置姿勢Ｐ０から経路Ａに沿って距離ｓの点におけるＸ座標Ｘ（ｓ）の１回微分値を示す。ｄＹ（ｓ）／ｄｓは、初期位置姿勢Ｐ０から経路Ａに沿って距離ｓの点におけるＹ座標Ｙ（ｓ）の１回微分値を示す。ｄＺ（ｓ）／ｄｓは、初期位置姿勢Ｐ０から経路Ａに沿って距離ｓの点におけるＺ座標Ｚ（ｓ）の１回微分値を示す。ｄＲｙ（ｓ）／ｄｓは、初期位置姿勢Ｐ０から経路Ａに沿って距離ｓの点における、基準姿勢からのヨー方向の回転角度Ｒｙ（ｓ）の一回微分値を示す。ｄＲｐ（ｓ）／ｄｓは、初期位置姿勢Ｐ０から経路Ａに沿って距離ｓの点における、基準姿勢からのピッチ方向の回転角度Ｒｐ（ｓ）の一回微分値を示す。ｄＲｒ（ｓ）／ｄｓは、初期位置姿勢Ｐ０から経路Ａに沿って距離ｓの点における、基準姿勢からのロール方向の回転角度Ｒｒ（ｓ）の一回微分値を示す。

また、経路生成部２７は、第２経路Ａ２を３次元位置姿勢Ｐ２０側に外挿することにより得られる線上に位置姿勢候補を設定し、当該位置姿勢候補を含む複数の位置姿勢候補を結ぶことにより得られる変形経路候補を第２経路Ａ２として生成することが好ましい。図９に示す例において、位置姿勢候補Ｐ１４は、第２経路Ａ２を３次元位置姿勢Ｐ２０側に外挿することにより得られる線上に設定されている。これにより、第２経路Ａ２に滑らかに接続する第１経路Ａ１を生成しやすくなる。

なお、メスコネクタ３の３次元位置姿勢が時間変化する場合、経路生成部２７は、メスコネクタ３の３次元位置姿勢の時間変化を考慮して、相対変化情報を用いて第２経路Ａ２を生成すればよい。たとえば、メスコネクタ３が搬送ベルト上に載置されている場合である。

＜Ｄ−２．変形例２＞
上記の例では、オスコネクタ２とメスコネクタ３とが嵌合するとき、メスコネクタ３に対してオスコネクタ２が直線に沿って移動する。しかしながら、嵌合する２つ対象物の一方に対する他方の相対的な３次元位置姿勢の変化は、これに限定されない。たとえば、２つ対象物の一方に対する他方の相対的な３次元位置は、複数の直線が組み合わされた経路（たとえばＬ字状の経路）に沿って変化してもよい。もしくは、２つ対象物の一方に対する他方の相対的な３次元位置が直線に沿って変化し、当該一方に対する他方の相対的な３次元姿勢が回転してもよい。もしくは、２つ対象物の一方に対する他方の相対的な３次元姿勢は、第１軸を中心に回転した後、第１軸と異なる第２軸を中心に回転してもよい。

図１０は、嵌合する２つの対象物の別の例を示す図である。図１０に示されるように、嵌合する２つの対象物は、ボルト５およびナット６であってもよい。情報処理装置２０，２０Ａは、たとえば、ナット６に対するボルト５の相対的な３次元位置姿勢の変化を示す相対変化情報を生成すればよい。この場合、ボルト５とナット６とが接触し始めてからボルト５とナット６との嵌合（螺合）が完了するまでの期間において、ナット６に対するボルト５の相対的な３次元位置は、ナット６のネジ穴の軸を示す直線Ｂ２に沿って変化する。一方、当該期間において、ナットに対するボルトの相対的な３次元姿勢は、直線Ｂ２を軸として回転する。

なお、ボルトの頭部の一部に切欠きが設けられているため、情報処理装置２０は、直線Ｂ２を軸とするボルトの回転角度を認識できる。

もしくは、嵌合する２つの対象物は、電源タップおよび電源プラグであってもよい。情報処理装置２０，２０Ａは、たとえば、電源タップに対する電源プラグの相対的な３次元位置姿勢の変化を示す相対変化情報を生成すればよい。電源タップと電源プラグとが接触し始めてから電源タップと電源プラグとの嵌合が完了するまでの期間において、電源タップに対する電源プラグの相対的な３次元位置は、直線に沿って変化する。一方、電源タップが抜け止め機構を有している場合、電源タップに電源プラグを挿入した後に、電源プラグを所定量だけ回転させる。そのため、電源タップに対する電源プラグの相対的な３次元姿勢は、電源タップと電源プラグとが接触し始めてから電源タップと電源プラグとの嵌合が完了するまでの期間の前半において変化せず、当該期間の後半において回転する。

＜Ｅ．利用例＞
＜Ｅ−１．利用例１＞
図１１を参照して、上記の変形例１に係る情報処理装置２０Ａの利用例について説明する。図１１は、変形例１に係る情報処理装置を含む制御システム９の一例を示す図である。

制御システム９は、情報処理装置２０Ａと、ロボット３０と、ロボットコントローラ４０と、制御装置５０とを備える。

ロボット３０は、オスコネクタ２の３次元位置姿勢を変化させるための機構であり、たとえば垂直多関節ロボットである。ロボット３０は、先端にオスコネクタ２を把持するためのハンドを有し、ハンドの３次元位置姿勢を６自由度で変化させる。当該６自由度は、Ｘ方向、Ｙ方向およびＺ方向の並進自由度と、ピッチ方向、ヨー方向およびロール方向の回転自由度とを含む。なお、ロボット３０は、垂直多関節ロボットに限定されるものではなく、他のロボット（たとえばパラレルリンクロボット）であってもよい。

ロボット３０は、複数のサーボモータを有しており、当該サーボモータが駆動されることにより、オスコネクタ２の３次元位置姿勢を変化させる。当該複数のサーボモータの各々に対応してエンコーダが設けられており、サーボモータの位置が計測される。

ロボットコントローラ４０は、制御装置５０から受けた制御指令に従って、ロボット３０の動作制御を行なう。ロボットコントローラ４０は、Ｘ方向、Ｙ方向およびＺ方向の並進自由度ならびにピッチ方向、ヨー方向およびロール方向の回転自由度の各々の制御指令を制御装置５０から受ける。ロボットコントローラ４０は、ハンドのＸ方向、Ｙ方向およびＺ方向の並進移動量がＸ方向、Ｙ方向およびＺ方向の並進自由度の制御指令にそれぞれ近づくように、ロボット３０に対してフィードバック制御を行なう。ロボットコントローラ４０は、ハンドのピッチ方向、ヨー方向およびロール方向の回転移動量がピッチ方向、ヨー方向およびロール方向の回転自由度の制御指令にそれぞれ近づくように、ロボット３０に対してフィードバック制御を行なう。

制御装置５０は、ロボットコントローラ４０に制御指令を出力することにより、ロボット３０を制御する。制御装置５０は、情報処理装置２０Ａによって生成された、オスコネクタ２の経路Ａ（第１経路Ａ１および第２経路Ａ２）（図９参照）に従ってオスコネクタ２の３次元位置姿勢が変化するように制御指令を生成する。制御装置５０は、生成した制御指令をロボットコントローラ４０に出力する。

制御システム９によれば、情報処理装置２０Ａによって生成された経路Ａに沿って、オスコネクタ２の３次元位置姿勢を変化させることができる。その結果、ロボット３０を用いて、メスコネクタ３に対してオスコネクタ２を嵌合させることができる。

＜Ｅ−２．利用例２＞
近年、画像を用いてロボットを制御する技術が開発されている。たとえば、「李尭希、他１名、“単眼カメラのビデオ画像に基づく動作再現を目指したビジュアルサーボの応用に関する基礎検討”、［online］、［平成30年7月24日検索］、インターネット〈http://hflab.k.u-tokyo.ac.jp/papers/2016/RSJ2016_ri.pdf〉」（非特許文献２）には、予め与えられた動画像を用いて、ロボットの動作再現を行なう技術が開示されている。当該動画像としてＣＧ（Computer Graphics）動画を用いることが考えられる。

ＣＧ動画は、嵌合する２つの対象物の３Ｄ−ＣＡＤデータと、当該２つの対象物の一方に対する他方の相対的な３次元位置姿勢の変化とを指定することにより、作成可能である。そのため、情報処理装置２０，２０Ａによって生成される相対変化情報を用いることにより、ロボットの動作再現を行なうためのＣＧ動画を容易に作成することができる。

＜Ｆ．付記＞
以上のように、実施の形態および変形例は以下のような開示を含む。

（構成１）
第１対象物（２，５）と第２対象物（３，６）とが嵌合する様子を撮像することにより得られる動画像の各フレームから前記第１対象物（２，５）と前記第２対象物（３，６）とを検出し、検出した前記第１対象物（２，５）および前記第２対象物（３，６）の各々の３次元位置姿勢を計測するための計測部（２３）と、
前記計測（２３）部によって計測された３次元位置姿勢に基づいて、前記動画像から、前記第１対象物と前記第２対象物とが接触し始めるときの第１フレームと、前記第１対象物と前記第２対象物との嵌合が完了したときの第２フレームとを選択するための選択部（２４）と、
前記第１フレームから前記第２フレームまでの各フレームについて前記計測部（２３）によって計測された３次元位置姿勢に基づいて、前記第１対象物と前記第２対象物とが接触し始めてから前記第１対象物と前記第２対象物との嵌合が完了するまでの期間における、前記第２対象物に対する前記第１対象物の相対的な３次元位置姿勢の変化を示す相対変化情報を生成するための情報生成部（２５）とを備える、情報処理装置（２０，２０Ａ）。

（構成２）
前記第１対象物（２，５）と前記第２対象物（３，６）と障害物（４ａ，４ｂ）とが配置された空間上における、前記第１対象物（２，５）の経路を生成するための経路生成部（２７）をさらに備え、
前記経路生成部（２７）は、前記第１対象物（２，５）が前記第２対象物（３，６）および前記障害物（４ａ，４ｂ）と干渉しないように、初期位置姿勢から前記第２対象物（３，６）と接触し始めるときの位置姿勢までの前記第１対象物（２，５）の第１経路を生成するとともに、前記相対変化情報と前記空間上における前記第２対象物（３，６）の位置姿勢とに基づいて、前記第２対象物（３，６）と接触し始めるときの位置姿勢から前記第２対象物（３，６）との嵌合が完了するときの位置姿勢までの前記第１対象物（２，５）の第２経路を生成する、構成１に記載の情報処理装置（２０Ａ）。

（構成３）
前記経路生成部（２７）は、前記第２経路と滑らかに接続するように前記第１経路を生成する、構成２に記載の情報処理装置（２０Ａ）。

（構成４）
前記相対変化情報は、前記第２対象物（３，６）に対する前記第１対象物（２，５）の相対的な３次元位置が直線に沿って変化することを示す、構成１から３のいずれかに記載の情報処理装置（２０，２０Ａ）。

（構成５）
前記相対変化情報は、前記第２対象物（３）に対する前記第１対象物（２）の相対的な３次元姿勢が一定であることを示す、構成４に記載の情報処理装置（２０，２０Ａ）。

（構成６）
前記相対変化情報は、前記第２対象物（６）に対する前記第１対象物（５）の相対的な３次元姿勢が前記直線を軸として回転することを示す、構成４に記載の情報処理装置（２０，２０Ａ）。

（構成７）
構成２に記載の前記情報処理装置（２０Ａ）と、
前記第１対象物（２，５）の位置姿勢を変化させるためのロボット（３０）と、
前記ロボットを制御する制御装置（５０）とを備える制御システム（９）であって、
前記制御装置（５０）は、前記情報処理装置（２０Ａ）によって生成された前記第１経路および前記第２経路に従って前記第１対象物（２，５）の位置姿勢が変化するように、前記ロボット（３０）を制御する、制御システム（９）。

（構成８）
第１対象物（２，５）と第２対象物（３，６）とが嵌合する様子を撮像することにより得られる動画像の各フレームから前記第１対象物（２，５）と前記第２対象物（３，６）とを検出し、検出した前記第１対象物（２，５）および前記第２対象物（３，６）の各々の３次元位置姿勢を計測するステップと、
計測された３次元位置姿勢に基づいて、前記動画像から、前記第１対象物（２，５）と前記第２対象物（３，６）とが接触し始めるときの第１フレームと、前記第１対象物（２，５）と前記第２対象物（３，６）との嵌合が完了したときの第２フレームとを選択するステップと、
前記第１フレームから前記第２フレームまでの各フレームについて計測された３次元位置姿勢に基づいて、前記第１対象物（２，５）と前記第２対象物（３，６）とが接触し始めてから前記第１対象物（２，５）と前記第２対象物（３，６）との嵌合が完了するまでの期間における、前記第２対象物（３，６）に対する前記第１対象物（２，５）の相対的な３次元位置姿勢の変化を示す相対変化情報を生成するステップとを備える、情報処理方法。

（構成９）
第１対象物（２，５）と第２対象物（３，６）とが嵌合する様子を撮像することにより得られる動画像の各フレームから前記第１対象物（２，５）と前記第２対象物（３，６）とを検出し、検出した前記第１対象物（２，５）および前記第２対象物（３，６）の各々の３次元位置姿勢を計測するステップと、
計測された３次元位置姿勢に基づいて、前記動画像から、前記第１対象物（２，５）と前記第２対象物（３，６）とが接触し始めるときの第１フレームと、前記第１対象物（２，５）と前記第２対象物（３，６）との嵌合が完了したときの第２フレームとを選択するステップと、
前記第１フレームから前記第２フレームまでの各フレームについて計測された３次元位置姿勢に基づいて、前記第１対象物（２，５）と前記第２対象物（３，６）とが接触し始めてから前記第１対象物（２，５）と前記第２対象物（３，６）との嵌合が完了するまでの期間における、前記第２対象物（３，６）に対する前記第１対象物（２，５）の相対的な３次元位置姿勢の変化を示す相対変化情報を生成するステップとを備える、情報処理方法をコンピュータに実行させるためのプログラム。

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 情報処理システム、２ オスコネクタ、３ メスコネクタ、４ａ，４ｂ 障害物、５ ボルト、６ ナット、９ 制御システム、１０ 撮像装置、２０，２０Ａ 情報処理装置、２１ 設計データ記憶部、２２ モデルデータ記憶部、２３ 計測部、２４ 選択部、２５ 情報生成部、２６ 配置情報記憶部、２７ 経路生成部、３０ ロボット、３０ａ ハンド、４０ ロボットコントローラ、５０ 制御装置、２１０ プロセッサ、２１２ ＲＡＭ、２１４ 表示コントローラ、２１６ システムコントローラ、２１８ Ｉ／Ｏコントローラ、２２０ ハードディスク、２２２ カメラインターフェイス、２２４ 入力インターフェイス、２２８ 通信インターフェイス、２３０ メモリカードインターフェイス、２３２ 表示部、２３４ 入力装置、２３６ メモリカード、２５０ 処理プログラム、Ａ 経路、Ａ１ 第１経路、Ａ２ 第２経路。

Claims (9)

1. 第１対象物と第２対象物とが嵌合する様子を撮像することにより得られる動画像の各フレームから前記第１対象物と前記第２対象物とを検出し、検出した前記第１対象物および前記第２対象物の各々の３次元位置姿勢を計測するための計測部と、
   前記計測部によって計測された３次元位置姿勢に基づいて、前記動画像から、前記第１対象物と前記第２対象物とが接触し始めるときの第１フレームと、前記第１対象物と前記第２対象物との嵌合が完了したときの第２フレームとを選択するための選択部と、
   前記第１フレームから前記第２フレームまでの各フレームについて前記計測部によって計測された３次元位置姿勢に基づいて、前記第１対象物と前記第２対象物とが接触し始めてから前記第１対象物と前記第２対象物との嵌合が完了するまでの期間における、前記第２対象物に対する前記第１対象物の相対的な３次元位置姿勢の変化を示す相対変化情報を生成するための情報生成部とを備える、情報処理装置。
2. 前記第１対象物と前記第２対象物と障害物とが配置された空間上における、前記第１対象物の経路を生成するための経路生成部をさらに備え、
   前記経路生成部は、前記第１対象物が前記第２対象物および前記障害物と干渉しないように、初期位置姿勢から前記第２対象物と接触し始めるときの位置姿勢までの前記第１対象物の第１経路を生成するとともに、前記相対変化情報と前記空間上における前記第２対象物の位置姿勢とに基づいて、前記第２対象物と接触し始めるときの位置姿勢から前記第２対象物との嵌合が完了するときの位置姿勢までの前記第１対象物の第２経路を生成する、請求項１に記載の情報処理装置。
3. 前記経路生成部は、前記第２経路と滑らかに接続するように前記第１経路を生成する、請求項２に記載の情報処理装置。
4. 前記相対変化情報は、前記第２対象物に対する前記第１対象物の相対的な３次元位置が直線に沿って変化することを示す、請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記相対変化情報は、前記第２対象物に対する前記第１対象物の相対的な３次元姿勢が一定であることを示す、請求項４に記載の情報処理装置。
6. 前記相対変化情報は、前記第２対象物に対する前記第１対象物の相対的な３次元姿勢が前記直線を軸として回転することを示す、請求項４に記載の情報処理装置。
7. 請求項２に記載の前記情報処理装置と、
   前記第１対象物の位置姿勢を変化させるためのロボットと、
   前記ロボットを制御する制御装置とを備える制御システムであって、
   前記制御装置は、前記情報処理装置によって生成された前記第１経路および前記第２経路に従って前記第１対象物の位置姿勢が変化するように、前記ロボットを制御する、制御システム。
8. 第１対象物と第２対象物とが嵌合する様子を撮像することにより得られる動画像の各フレームから前記第１対象物と前記第２対象物とを検出し、検出した前記第１対象物および前記第２対象物の各々の３次元位置姿勢を計測するステップと、
   計測された３次元位置姿勢に基づいて、前記動画像から、前記第１対象物と前記第２対象物とが接触し始めるときの第１フレームと、前記第１対象物と前記第２対象物との嵌合が完了したときの第２フレームとを選択するステップと、
   前記第１フレームから前記第２フレームまでの各フレームについて計測された３次元位置姿勢に基づいて、前記第１対象物と前記第２対象物とが接触し始めてから前記第１対象物と前記第２対象物との嵌合が完了するまでの期間における、前記第２対象物に対する前記第１対象物の相対的な３次元位置姿勢の変化を示す相対変化情報を生成するステップとを備える、情報処理方法。
9. 第１対象物と第２対象物とが嵌合する様子を撮像することにより得られる動画像の各フレームから前記第１対象物と前記第２対象物とを検出し、検出した前記第１対象物および前記第２対象物の各々の３次元位置姿勢を計測するステップと、
   計測された３次元位置姿勢に基づいて、前記動画像から、前記第１対象物と前記第２対象物とが接触し始めるときの第１フレームと、前記第１対象物と前記第２対象物との嵌合が完了したときの第２フレームとを選択するステップと、
   前記第１フレームから前記第２フレームまでの各フレームについて計測された３次元位置姿勢に基づいて、前記第１対象物と前記第２対象物とが接触し始めてから前記第１対象物と前記第２対象物との嵌合が完了するまでの期間における、前記第２対象物に対する前記第１対象物の相対的な３次元位置姿勢の変化を示す相対変化情報を生成するステップとを備える、情報処理方法をコンピュータに実行させるためのプログラム。

Images