JP2023162117A

JP2023162117A - 情報処理システム、情報処理方法、ロボットシステム、ロボットシステムの制御方法、ロボットシステムを用いた物品の製造方法、プログラム、記録媒体

Info

Publication number: JP2023162117A
Application number: JP2023039698A
Authority: JP
Inventors: 聡菅谷; Satoshi Sugaya; 聡温品; Satoshi Nukushina
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-04-26
Filing date: 2023-03-14
Publication date: 2023-11-08

Abstract

【課題】装置とその周辺環境のモデルを、シミュレーション装置に効率的に取得させ得る方法が求められていた。【解決手段】物体の形状を測定可能な測定部を備えた可動部を有する装置と、仮想モデルを用いて、仮想空間にて前記装置の動作シミュレーションを行うシミュレーション部と、を備え、前記可動部が前記測定部を所定の測定ポイントに移動させ、前記装置の周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、ことを特徴とする情報処理システムである。【選択図】図２

Description

本発明は、情報処理システム、ロボットシステムに関する。

ロボット等の装置に所定の動作を行わせる制御プログラムを開発する方法として、装置を実際に動作させて周辺環境にある物体と干渉しないか等を確認しながら、装置に動作を教示する方法が知られている。しかし、実機を動作させてのプログラム開発では、実際に干渉が発生して装置が破損する危険があるうえ、動作の確認にも時間がかかり、制御プログラムの開発を効率的に行えない場合がある。

そこで、装置およびその周辺環境にある物体の３次元モデル情報を用いて仮想空間内で装置モデルを動作させ、装置モデルが物体モデルと干渉しないか等を確認しながら装置の制御プログラムを開発する方法が試みられている。仮想空間内におけるシミュレーションが適切に行われるためには、装置およびその周辺環境の正確な３次元モデルを、予めシミュレーション装置に構築しておく必要がある。

装置の周辺環境にある物体としては、例えば壁や柱などの構造物や、当該装置の周辺に設置された他の装置などが有り得るが、それら物体の三次元形状情報（例えばＣＡＤデータ）が必ずしも存在するとは限らない。

特許文献１には、基準面に載置した対象物を計測して点群データを取得し、点群データからサーフェスデータを作成し、さらにサーフェスデータを用いてソリッドデータを作成して、ＣＡＤシステム上に３次元モデルを作成する方法が記載されている。

特開２００３－３４５８４０号公報

装置の周辺環境にある物体の三次元形状情報（例えば３ＤＣＡＤデータ）が存在しない場合に、その物体が基準面に載置できる物であれば、特許文献１の方法によりＣＡＤシステム上に３次元モデルを作成することができる。しかし、壁や柱などのように測定装置の基準面に載置できない構造物については、特許文献１の方法では三次元形状情報を取得することはできない。

また、装置の周辺環境にある物体の三次元形状情報（例えば３ＤＣＡＤデータ）を入手できたとしても、それだけでは装置に対する位置関係が不明であるため、装置とその周辺環境の正確な３次元モデルを仮想空間に構築するのは容易ではなかった。そのため、シミュレーション装置を用いた所謂オフラインシミュレーションを立ち上げるのには、多大な時間と労力を要し、装置の制御プログラムの開発を迅速に行う妨げとなっていた。
そこで、装置とその周辺環境のモデルを、シミュレーション装置に効率的に取得させ得る方法が求められていた。

本発明の第１の態様は、物体の形状を測定可能な測定部を備えた可動部を有する装置と、仮想モデルを用いて、仮想空間にて前記装置の動作シミュレーションを行うシミュレーション部と、を備え、前記可動部が前記測定部を所定の測定ポイントに移動させ、前記装置の周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、ことを特徴とする情報処理システムである。

また、本発明の第２の態様は、物体の形状を測定可能な測定部を備えた可動部を有するロボットと、仮想モデルを用いて、仮想空間にて前記ロボットの動作シミュレーションを行うシミュレーション部と、を備え、前記可動部が前記測定部を所定の測定ポイントに移動させ、前記ロボットの周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、ことを特徴とするロボットシステムである。

本発明によれば、装置とその周辺環境のモデルを、シミュレーション装置に効率的に取得させることができる。

実施形態１に係る情報処理システム１００の概略構成を示す模式図。実施形態１に係る情報処理システム１００を説明するための機能ブロック図。ロボット制御装置Ａ、ビジョンセンサ制御装置Ｂ、モデル作成装置Ｃ、シミュレーション装置Ｄのそれぞれの構成を示す図。撮像準備の手順を説明するためのフローチャート。（ａ）ビジョンセンサ１０２が精度よく測定（撮像）できる測定範囲ＩＭＡ（測定範囲）を説明するための図。（ｂ）測定ポイントの設定を説明するための概念図。（ａ）測定ポイントを教示する第２の教示方法を説明するための模式図。（ｂ）測定ポイントの自動的な設定について説明するための図。測定ポイントの好適な設定方法を説明するための図。撮像（測定）の手順を説明するためのフローチャート。各測定ポイントで取得された点群データについての合成処理、フィルタ処理を説明するための模式図。３次元モデル生成の手順を説明するためのフローチャート。モデル生成の各工程におけるデータ形態の推移を説明するための模式図。仮想空間中に正しい位置関係で生成された仮想モデル１０１Ｍと仮想モデル１０３Ｍが、表示装置Ｅに表示された例を示す図。実施形態２に係る測定設定画面４００の例図。実施形態２に係るフローチャート。実施形態２に係る仮想空間を示した例図。（ａ）実施形態２に係る測定ポイントの取得に関し、センサ情報より計算する分割幅を説明するための模式図。（ｂ）測定領域の分割を説明するための模式図。（ａ）実施形態２に係る測定ポイントとロボットの姿勢に関し、角度０度の測定ポイントの状態を示した模式図。（ｂ）Ｘ軸方向にＤｒｘだけ傾けた測定ポイントの状態を示した模式図。（ａ）実施形態２に係る測定ポイントとロボットの姿勢に関し、移動禁止領域とロボットが干渉している状態を示す模式図。（ｂ）同じ位置で角度が異なる測定ポイントのロボットの状態を示す模式図。実施形態３に係るフローチャート。実施形態３に係る測定ポイントの階層化について説明するための模式図。（ａ）実施形態３に係る測定ポイントを除外する手順を説明するため、第Ｎ階層の測定ポイントおよび測定状態を示す模式図。（ｂ）点群データ取得処理時の模式図。（ｃ）メッシュ化したモデルの模式図。（ｄ）第Ｎ＋１階層の測定ポイントのセンサ焦点距離の直線モデルとメッシュ化したモデルが交わった状態を示す模式図。（ｅ）除外した測定ポイントを示す模式図。実施形態４に係る測定設定画面４００の例図。実施形態５に係る情報処理システムの概略構成を示す模式図。実施形態６に係る情報処理システムの概略構成を示す模式図。実施形態５および実施形態６に係る情報処理システムの構成を説明するための機能ブロック図。実施形態７に係るロボット１０１を示した模式図。

図面を参照して、本発明の実施形態である情報処理システム、ロボットシステム、情報処理方法、等について説明する。尚、以下に示す実施形態は例示であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更して実施をすることができる。

以下の実施形態の説明において参照する図面では、特に但し書きがない限り、同一の参照番号を付して示す要素は、同様の機能を有するものとする。また、図面は、図示および説明の便宜のために模式的に表現されている場合があるため、実物の形状、大きさ、配置などと厳密に一致しているとは限らないものとする。

［実施形態１］
（情報処理システムの構成）
図１は、実施形態１に係る情報処理システム１００（ロボットシステム）の概略構成を示す模式図である。また、図２は、情報処理システム１００の構成を説明するための機能ブロック図である。尚、図２では本実施形態の特徴を説明するために必要な機能要素を機能ブロックで表しているが、本発明の課題解決原理とは直接関係のない一般的な機能要素については記載を省略している。また、図２に図示された各機能要素は機能概念的なものであり、必ずしも物理的に図示のごとく構成されていることを要しない。例えば、各機能ブロックの分散や統合の具体的形態は図示の例に限らず、その全部または一部を、使用状況等に応じて任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックはハードウェアあるいはソフトウェアを用いて構成することができる。

１０１は可動部を備えた装置としてのロボット、１０２は測定部としてのビジョンセンサ、１０３は測定対象物としてのモデル作成対象物、Ａはロボット１０１を制御するロボット制御装置である。Ｂはビジョンセンサ１０２を制御するビジョンセンサ制御装置、Ｃはモデル作成装置、Ｄはシミュレーション装置、Ｅは表示装置である。

本実施形態の情報処理システム１００は、ロボット１０１に装着された測定部としてのビジョンセンサ１０２を用いてモデル作成対象物１０３を測定する。そして、測定結果を用いてシミュレーション用の３次元モデルを自動的に作成し、シミュレーション部としてのシミュレーション装置Ｄに格納する。モデル作成対象物１０３は、ロボット１０１の周囲環境に存する物体であって、シミュレーション用の３次元モデル（仮想モデル）が未だに作成されていない物体である。モデル作成対象物１０３の例を挙げるとすれば、ロボット１０１の可動範囲に存する物体であって、例えばロボット１０１と協業する装置（部品の搬送装置、加工装置、等）や、例えば壁や柱などの構造物を挙げることができるが、これらに限られない。

可動部を有する装置として、図１に例示されたロボット１０１は、６軸制御の多関節ロボットであるが、ロボット１０１はそれ以外の形式のロボットや装置であってもよい。例えば、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を行うことができる可動部を備えた装置であってもよい。

ビジョンセンサ１０２は、ロボット１０１のアーム先端部あるいはハンドなど、ロボット１０１の周囲環境を撮像するのに適した所定位置に装着された撮像装置である。撮像画像（測定結果）とロボット座標系の対応付けを可能にするため、ビジョンセンサ１０２はロボット１０１の可動部に堅固に固定されるのが望ましいが、位置決め精度が担保される限り着脱可能な方法で一時的に固定されていてもよい。尚、ロボット座標系とは、設置されたロボットの中で動かない部分（例えば基台）を原点として設定される３次元座標系（Ｘ，Ｙ，Ｚ）である。（図６（ａ）参照）。

測定装置としてのビジョンセンサ１０２は、３次元モデルの作成に適した画像データ（あるいは３次元測定データ）を取得できればどのような装置でもよいが、例えば照明光源付きのステレオカメラが好適に用いられる。また、３次元モデルの作成に適したロボット座標系基準の３次元点群データを測定により取得できるデバイスはステレオカメラに限られるわけではなく、例えば単眼のカメラを用いて、輻輳（視差）をつけて複数の箇所から対象物を撮影して３次元測定データを取得するように構成してもよい。また、撮像センサでなくとも、例えばレーザ光線を利用して物体形状を測定可能なＬｉＤＡＲスキャナ（ＬｉｇｈｔＤｅｔｅｃｔｉｎｇＲａｎｇｉｎｇＳｃａｎｎｅｒ）を測定装置として用いてもよい。尚、以下の説明では、ビジョンセンサ１０２を用いた撮像のことを、測定と記す場合がある。

ロボット制御装置Ａは、モデル作成装置Ｃから送信されるロボット１０１の位置・姿勢に関する指令に従って、ロボット１０１の各関節を動作させる動作制御情報を生成し、ロボット１０１の動作を制御する機能を有する。

ビジョンセンサ制御装置Ｂは、モデル作成装置Ｃから送信される測定指令に基づいて、ビジョンセンサ１０２を制御する制御信号を生成してビジョンセンサ１０２に送信する。それと共に、ビジョンセンサ１０２から出力される測定データをモデル作成装置Ｃに送信する機能を有する。

モデル作成装置Ｃは、ロボット制御装置Ａに指令を送信して、モデル作成対象物１０３を測定するための所定の位置・姿勢（測定ポイント）にロボット１０１を移動させるとともに、ビジョンセンサ制御装置Ｂに指令を送信してビジョンセンサ１０２にモデル作成対象物１０３を測定させ、測定データを取得する機能を有する。さらに、取得した測定データを用いてモデル作成対象物１０３の３次元モデルを生成し、生成した３次元モデルをロボット座標系を基準とした位置情報とともにシミュレーション装置Ｄに格納する機能を有する。３次元モデルを生成する手順については後に詳述する。

シミュレーション部としてのシミュレーション装置Ｄは、モデル作成装置Ｃから取得した３次元モデル、およびその位置情報を用いて、仮想空間上にロボット１０１とその周囲環境の仮想モデルを構築する。そして、ロボット１０１のオフラインシミュレーションを行う機能を有する。シミュレーション装置Ｄは、モデル作成装置Ｃが作成した３次元モデルや、ロボット１０１とその周囲環境の仮想モデルや、オフラインシミュレーションに係る情報等を、適宜に表示装置Ｅに表示させる機能を有する。また、シミュレーション装置Ｄは、通信部を介してロボット制御装置Ａ、ビジョンセンサ制御装置Ｂ、モデル作成装置Ｃから取得した情報を、表示装置Ｅに表示させることもできる。

表示部としての表示装置Ｅは、シミュレーション装置Ｄのユーザインタフェースとして用いられるディスプレイである。例えば液晶表示装置や有機ＥＬ表示装置のような直視型のフラットパネルディスプレイや、プロジェクションディスプレイや、ゴーグル型のステレオディスプレイや、ホログラフィックディスプレイなどが用いられ得る。また、本実施形態の情報処理システムは、不図示の入力装置として、例えばキーボード、ジョグダイアル、マウス、ポインティングデバイス、音声入力機などの入力デバイスを備えることができる。

尚、図１では、ロボット１０１、ロボット制御装置Ａ、ビジョンセンサ１０２、ビジョンセンサ制御装置Ｂ、モデル作成装置Ｃ、シミュレーション装置Ｄ、表示装置Ｅは、有線通信で接続されているが、これに限られない。例えば、その一部または全部を無線通信で接続してもよいし、ＬＡＮやインターネットなどの汎用ネットワークを介して接続してもよい。

ロボット制御装置Ａ、ビジョンセンサ制御装置Ｂ、モデル作成装置Ｃ、シミュレーション装置Ｄのそれぞれは、上述した各機能を遂行するコンピュータである。図１においては、これらの装置は別々の装置として示されているが、その一部又は全部を統合することも可能である。

これらの装置は、例えば、図３に示す構成をそれぞれが備えている。すなわち、各装置は、プロセッサであるＣＰＵ２０１（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、記憶部２０３と、入出力インタフェース２０４を備えている。必要に応じて、ＧＰＵ２０２（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を備えることもできる。記憶部２０３は、ＲＯＭ２０３ａ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ２０３ｂ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＨＤＤ２０３ｃ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）を備える。ＣＰＵ２０１、ＧＰＵ２０２、記憶部２０３、入出力インタフェース２０４は、互いに通信可能に不図示のバスラインで接続されている。

記憶部２０３が備えるＲＯＭ２０３ａは、非一時的な記憶装置であり、コンピュータの起動時にＣＰＵ２０１によって読み出される基本プログラムが格納されている。ＲＡＭ２０３ｂは、ＣＰＵ２０１の演算処理に用いられる一時的な記憶装置である。ＨＤＤ２０３ｃは、ＣＰＵ２０１が実行する処理プログラムや、ＣＰＵ２０１の演算処理結果等の各種データを記憶する非一時的な記憶装置である。ここで、ＣＰＵ２０１が実行する処理プログラムとは、各装置が上述した機能を遂行するための処理プログラムであり、ＣＰＵ２０１が当該プログラムを実行することにより、各装置には図２に示した機能ブロックの少なくとも一部が構成され得る。例えば、モデル作成装置Ｃであれば、ＣＰＵ２０１が処理プログラムを実行することにより、設定部、モデル化制御部、画像処理部、フィルタ処理部、メッシュ処理部、モデル作成部等の機能ブロックが構成され得る。ただし、画像処理に係る定型的な処理を行う機能ブロックは、処理の高速化のためにＣＰＵ２０１ではなくＧＰＵ２０２によって構成され得る。

入出力インタフェース２０４には、他の装置やネットワークが接続され得る。例えばデータベース２３０にデータをバックアップしたり、他の装置との間で命令やデータ等の情報の授受を行うことができる。

［３次元モデルの生成とシミュレーション］
情報処理システム１００を用いて３次元モデルを生成する手順について説明する。測定準備、測定、３次元モデル生成、３次元モデルを用いたシミュレーション、について順に説明する。

（測定準備）
図１に示すように、ロボット１０１およびモデル作成対象物１０３の位置が固定された状態で、ビジョンセンサ１０２を用いてモデル作成対象物１０３を測定するための準備工程を行う。図４は、測定するための準備の手順を説明するためのフローチャートである。

測定準備工程が開始されると、ステップＳ１１にて、ビジョンセンサ１０２がモデル作成対象物１０３を撮像する際にロボット１０１がとるべき測定位置・測定姿勢を、オペレータがモデル作成装置Ｃに登録する。尚、以後の説明では、測定位置と測定姿勢のことをまとめて測定ポイントと記す場合がある。

測定ポイントを登録する第１の方法は、オペレータがロボット１０１をオンラインで操作して、モデル作成対象物１０３の周囲に複数（例えばＮ個）の測定ポイントを設定情報として登録していく方法である。その際、ビジョンセンサ１０２が撮像した画像を表示装置Ｅに表示し、オペレータが画像を確認しながら測定ポイントを設定してゆくことも可能である。

図５（ａ）に示すように、被写界深度や画像の歪みを考慮すれば、ビジョンセンサ１０２（例えばステレオカメラ）が精度よく測定（撮像）できる測定範囲ＩＭＡ（撮像範囲）は、一定の狭い範囲に限られている。そのため、精度の良い３次元モデルを生成するためには、図５（ｂ）に示すように、測定範囲ＩＭＡが隙間なくモデル作成対象物１０３の外面を網羅するように測定ポイントを設定する必要がある。したがって、第１の方法では熟練したオペレータが作業を行う必要があり、しかも作業負荷や所要時間が大きくなる傾向がある。

そこで、測定ポイントを登録する第２の方法は、図６（ａ）に示すように、まず、オペレータがモデル作成対象物１０３を包含するように、設定情報として測定対象領域３０１（撮像対象領域）を設定する。すると、モデル作成装置Ｃは、図６（ｂ）に模式的に示すように、ビジョンセンサ１０２が精度よく撮像できる測定範囲ＩＭＡが測定対象領域３０１を隙間なく網羅するように、測定対象領域３０１（撮像対象領域）をマス目で分割する。そして、それぞれの測定範囲ＩＭＡを撮像するためにロボット１０１がとるべき位置・姿勢を、測定ポイントとして自動的に設定して登録する。尚、オペレータは、測定対象領域３０１（撮像対象領域）とともに、ロボット１０１が移動することを禁止する移動禁止領域３０２を予め設定しておくこともできる。その場合は、モデル作成装置Ｃは、移動禁止領域３０２内にはロボット１０１が移動すべき測定ポイントを設定しないようにする。尚、ビジョンセンサ１０２が撮像した画像を表示装置Ｅに表示しながら、オペレータが測定対象領域３０１および／または移動禁止領域３０２を設定できるようにモデル作成装置Ｃを構成してもよい。

図７に示すように、モデル作成対象物の形状によっては、エッジや凹部などの外形的な特徴を適切に検出できるようにするため、測定方向ＰＤ（撮像方向）がＺ方向に沿った測定ポイントＡだけでなく、Ｘ軸回りあるいはＹ軸回りに測定方向ＰＤ（撮像方向）を回転させた測定ポイントＢを設定する。その場合、測定ポイントＡの設定条件（例えば、ＸＹＺの各方向について、測定対象領域３０１を分割する際の分割領域の幅あるいは分割数）や、測定ポイントＢの設定条件（例えば、Ｘ軸回り・Ｙ軸回りの回転角度の大きさ、あるいは何種類の回転角度から測定するか）を、オペレータが予め設定しておき、設定に基づいて測定ポイントＡおよび／または測定ポイントＢをモデル作成装置Ｃが自動的に生成するように構成してもよい。

第１の方法あるいは第２の方法で、オペレータが入力した設置情報に基づいて設定された複数（Ｎ個）の測定ポイントは、モデル作成装置Ｃの設定部に登録される。尚、設定された複数の測定ポイントを表示装置Ｅに表示し、オペレータが確認あるいは編集できるようにモデル作成装置Ｃを構成してもよい。

ステップＳ１１にて測定ポイントの登録が完了したら、ステップＳ１２に進み、各測定ポイントにて何回の測定（撮像）を行うかを、オペレータが設定する。もし、３次元モデルを生成するための測定データ（撮像データ）が１回の測定（撮像）で確実に取得できるのならば、各測定ポイントにて１回の測定（撮像）を行えばよい。しかし、モデル作成対象物の材質、形状、表面状態、あるいはモデル作成対象物に当たる外光の状態等に依存して、撮像される画像が変化する場合がある。例えば、モデル作成対象物が金属のような光沢性の材料でできていたり、モデル作成対象物に凹凸部分やテクスチャが存在するような場合には、外光の状態により輝度分布、コントラスト、凹凸部分やテクスチャの見え方、等が変化するため、１回の撮影（測定）では３次元モデルを生成するのに適した測定データ（撮像データ）を取得できない可能性がある。特に、ビジョンセンサ１０２としてステレオカメラを用いる場合には、両眼に輻輳があるため外光の状態等に依存して測定データ（撮像データ）が影響を受けやすい傾向がある。

そこで、本実施形態では、後に説明する点群データを漏れなく取り込むことができるように、オペレータは、モデル作成対象物の外観上の特性や外光の状態を考慮して、各測定ポイントにて複数回の測定（撮像）を行うように、測定回数Ｍを設定することができる。尚、照明光源付きのビジョンセンサ１０２を用いる場合には、各回の撮像において照明光源の動作条件（例えば照明強度や照明方向）を変更するように設定してもよい。ステップＳ１２にて設定された結果は、モデル作成装置Ｃの設定部に登録される。尚、これらの設定をする際の操作画面や、設定された回数等を表示装置Ｅに表示し、オペレータが確認あるいは編集できるようにモデル作成装置Ｃを構成してもよい。ステップＳ１２が完了したら、モデル作成対象物１０３を測定（撮像）するための準備工程を終了する。

（測定）
測定準備工程が終了したら、ビジョンセンサ１０２を用いてモデル作成対象物１０３を測定（撮像）する測定工程（撮像工程）を行う。図８は、測定（撮像）の手順を説明するためのフローチャートである。

測定（撮像）が開始されると、ステップＳ２１にて、モデル作成装置Ｃは、設定部に登録された複数の測定ポイントの中の一つを読み出し、ロボット１０１を当該測定ポイントに移動させるようにロボット制御装置Ａに通信部を介して命令を送信する。ロボット制御装置Ａは、受信した命令を解釈し、ロボット１０１を当該測定ポイントに移動させる。

次に、ステップＳ２２にて、モデル作成装置Ｃは、ビジョンセンサ１０２に測定（撮像）を実行させるべく、ビジョンセンサ制御装置Ｂに通信部を介して命令を送信する。ビジョンセンサ制御装置Ｂは、受信した命令を解釈し、ビジョンセンサ１０２に測定（撮像）を実行させる。

次に、ステップＳ２３にて、モデル作成装置Ｃは、測定（撮像）時におけるビジョンセンサ１０２の位置を、ロボット１０１を原点とするロボット座標系を基準とする位置情報として送信するように、ロボット制御装置Ａにリクエストする。モデル作成装置Ｃのモデル化制御部は、通信部を介して受信した位置情報を、記憶部に格納する。

次に、ステップＳ２４にて、モデル作成装置Ｃは、ビジョンセンサ１０２による測定結果（撮像結果）を送信するように、ビジョンセンサ制御装置Ｂにリクエストする。モデル作成装置Ｃのモデル化制御部は、通信部を介して受信した測定結果（撮像結果）を、ロボット制御装置Ａから取得した位置情報と紐づけて、記憶部に格納する。

次に、ステップＳ２５にて、モデル作成装置Ｃの画像処理部は、ロボット座標系基準で表されたビジョンセンサ１０２の位置情報と紐づけられた測定結果（撮像結果）を用いて、ロボット座標系基準で表された３次元点群データを取得する。３次元点群データは、当該測定ポイントから計測されたモデル作成対象物１０３の外形に係る点群データであり、３次元点群データを構成する点データのそれぞれは、ロボット座標系基準で表された位置情報（空間座標）を有する。画像処理部が取得した３次元点群データは、モデル作成装置Ｃの記憶部に格納される。

次に、ステップＳ２６にて、モデル作成装置Ｃは、ステップＳ１２にて設定された測定回数Ｍについて、当該測定ポイントにおいて測定（撮像）が完了したかを判定する。設定された回数の測定（撮像）が完了していない場合（ステップＳ２６：ＮＯ）には、ステップＳ２２に戻り、当該測定ポイントにおいてステップＳ２２以降の工程を再度行う。設定された回数の測定（撮像）が完了した場合（ステップＳ２６：ＹＥＳ）には、ステップＳ２７に進む。

ステップＳ２７に進むと、モデル作成装置Ｃの画像処理部は、当該測定ポイントにて取得されたＭ個の点群データを記憶部から読み出し、合成（重ね合わせ）する。例えば当該測定ポイントが測定ポイント１である場合には、図９に示すように、ＰＧ１１～ＰＧ１ＭのＭ個の点群データを重ね合わせて、測定ポイント１にて取得された全ての点群データを含んだ合成点群データＳＧ１を生成する。Ｍ個の点群データの合成（重ね合わせ）は、公知の画像合成ソフトを用いて行うことができる。

次に、ステップＳ２８にて、モデル作成装置Ｃのフィルタ処理部は、ステップＳ２７にて生成した合成点群データに対してフィルタ処理を行ってノイズを除去し、モデル作成用の部分点群データを生成する。すなわち、例えば当該測定ポイントが測定ポイント１である場合には、図９に示すように、合成点群データＳＧ１に対してフィルタ処理を行ってノイズを除去し、モデル作成用の部分点群データＦＧ１を生成する。フィルタ処理は、例えば公知のオープンソースソフトウェアであるＯｐｅｎ３Ｄを用いて行うことができるが、それ以外の手法で行ってもよい。

次に、ステップＳ２９にて、モデル作成装置Ｃの画像処理部は、ステップＳ２８にて生成したモデル作成用の部分点群データを記憶部に格納して記憶させる。

次に、ステップＳ３０にて、モデル作成装置Ｃのモデル化制御部は、Ｎ個の全ての測定ポイントについて、モデル作成用の部分点群データの記憶が完了したかを判定する。完了している測定ポイントがＮ個未満の場合（ステップＳ３０：ＮＯ）には、ステップＳ３１に進み、モデル作成装置Ｃは、設定部に登録されたＮ個の測定ポイントの中から新しく別の一つを読み出し、ロボット１０１を当該測定ポイントに移動させるようにロボット制御装置Ａに通信部を介して命令を送信する。そして、ステップＳ２２以降の処理を再び行う。

ステップＳ３０にて、Ｎ個の全ての測定ポイントについて、モデル作成用の部分点群データの記憶が完了したと判定された場合（ステップＳ３０：ＹＥＳ）には、測定工程（撮像工程）を終了する。

尚、ロボット１０１との干渉を検証すべき対象物、言い換えればロボット１０１の可動範囲内に在るモデル作成対象物は、図１に例示したように１個だけであるとは限らない。複数のモデル作成対象物が存在する場合には、図８で示した処理手順に従って、全てのモデル作成対象物についての測定処理をまとめて実行してもよいし、個別のモデル作成対象物ごとに測定処理を分けて実行してもよい。

（３次元モデル生成およびシミュレーション）
測定結果（撮像結果）である部分点群データを用いて、モデル作成対象物１０３の３次元モデルを生成し、オフラインシミュレーションを実行する手順について説明する。図１０は、３次元モデル生成の手順を説明するためのフローチャートである。また、図１１は、モデル生成の各工程におけるデータの推移を説明するための模式図である。

モデル生成が開始されると、ステップＳ４１にて、モデル作成装置Ｃのモデル作成部は、記憶部に記憶されているモデル作成用の部分点群データＦＧ１～ＦＧＮを読み出す。図１１では、読み出された部分点群データＦＧ１～ＦＧＮは、左側に点線で囲まれて模式的に示されている。

次に、ステップＳ４２にて、モデル作成装置Ｃのモデル作成部は、読み出された部分点群データをロボット座標系基準で重ね合わせて合成する。すなわち、各測定ポイントにおいて取得された部分点群データＦＧ１～ＦＧＮを用いて、モデル作成対象物１０３の外形の全体に係る全体点群データＷＰＧを合成する。部分点群データから全体点群データＷＰＧを合成するのは、公知の画像合成ソフトを用いて行うことができる。

次に、ステップＳ４３にて、モデル作成装置Ｃのフィルタ処理部は、ステップＳ４２にて生成した全体点群データＷＰＧに対してフィルタ処理を行ってノイズを除去し、図１１に示すように、モデル作成用の点群データＦＷＰＧを生成する。フィルタ処理は、例えば公知のオープンソースソフトウェアであるＯｐｅｎ３Ｄを用いて行うことができるが、それ以外の手法で行ってもよい。

次に、ステップＳ４４にて、モデル作成装置Ｃのメッシュ処理部は、点群データＦＷＰＧに対してメッシュ化処理を行い、メッシュ情報ＭＳＨ、すなわち三角形ポリゴンの集合体であるポリゴン情報を取得する。メッシュ化処理は、例えば公知のオープンソースソフトウェアであるＭｅｓｈＬａｂを用いて行うことができるが、それ以外の手法で行ってもよい。尚、生成されたメッシュ情報ＭＳＨをロボット座標系基準で表示装置Ｅに表示し、オペレータが確認できるようにモデル作成装置Ｃを構成してもよい。

次に、ステップＳ４５にて、モデル作成装置Ｃのモデル作成部は、メッシュ情報ＭＳＨを用いてモデル作成対象物１０３の外形に表れるエッジ等の輪郭線を作成し、サーフェスモデルを作成する。モデル作成対象物１０３のサーフェス（外面）だけでなく、容積（内部）を含んだソリッドモデルが必要な場合には、サーフェスモデルを基にソリッドモデルを生成することもできる。ロボット座標系基準で生成された３次元モデルＭＯＤＥＬは、モデル作成装置Ｃの記憶部に記憶される。メッシュ情報ＭＳＨを用いた３次元モデルの作成は、例えば、株式会社システムクリエイト社製の３ＤモデリングソフトであるＱＵＩＣＫＳＵＲＦＡＣＥを用いて行うことができるが、それ以外の手法で行ってもよい。尚、生成した３次元モデルＭＯＤＥＬをロボット座標系基準で表示装置Ｅに表示し、オペレータが３次元モデルＭＯＤＥＬの適否を確認できるようにモデル作成装置Ｃを構成してもよい。

次に、ステップＳ４６にて、モデル作成装置Ｃは、生成した３次元モデルＭＯＤＥＬのデータを、通信部を介してシミュレーション装置Ｄに送信する。シミュレーション装置Ｄは、受信した３次元モデルＭＯＤＥＬのデータを記憶部に記憶する。また、シミュレーション装置Ｄは、３次元モデルＭＯＤＥＬのデータをフォーマット化し、外部入出力部を介して外部のデータベースにバックアップファイルＦとして格納することもできる。

次に、ステップＳ４７にて、シミュレーション装置Ｄの仮想環境制御部は、３次元モデルＭＯＤＥＬのデータを用いて、ロボット座標系を基準として対象物が配置された仮想環境モデルを生成する。そして、例えば図１２に例示するように、仮想空間中に正しい位置関係でロボット１０１の仮想モデル１０１Ｍと周囲環境の仮想モデル１０３Ｍが配置された状況を、表示装置Ｅを用いてオペレータに表示することができる。

次に、ステップＳ４８にて、シミュレーション装置Ｄは、ロボット１０１との干渉をチェックすべき対象として、周囲環境の仮想モデル１０３Ｍを自動的に設定して登録する。オペレータが表示装置Ｅに表示された仮想環境モデルを参照しながら、ロボット１０１との干渉チェックを行う対象を選択して登録できるようにシミュレーション装置Ｄを構成してもよい。以上により、ロボット１０１の周囲環境の仮想モデルの構築が完了し、干渉チェック等のシミュレーションをオフラインで実施し得る準備が整う。

オペレータは、シミュレーション装置Ｄを用いてオフラインシミュレーションを行い、仮想空間中でロボット１０１の仮想モデル１０１Ｍを動作させて、作業の遂行や周囲環境との干渉の有無等を確認することができる。例えば、ロボットが設置された生産ラインを上述した手順で仮想モデル化し、ロボットに実行させるべき作業動作（例えば、部品の組立、加工装置への部品のセット、部品の移動など）を仮想空間中でロボットの仮想モデルに実行させて、周囲環境との干渉の有無や作業の遂行を検討することができる。こうして検証されたロボットの作業動作に係る制御データは、通信部を介してシミュレーション装置Ｄからロボット制御装置Ａに送信され、教示データとしてロボット制御装置Ａに格納することができる。ロボット制御装置Ａは、こうして教示された作業動作（例えば、部品の組立、加工装置への部品のセット、部品の移動など）をロボット１０１に実行させて、ロボット１０１に物品の製造を行わせることができる。係る手順で行われる物品の製造方法も、本実施形態に含まれ得る。

本実施形態では、ロボットの可動部に固定された測定装置（撮像装置）を用いて、ロボットを動作させながらモデル作成対象物を測定（撮像）し、ロボット座標系を基準にしたモデル作成対象物の点群データを取得する。そして、当該点群データに基づいて対象物の３Ｄモデルを生成するため、対象物の３次元形状情報だけでなくロボットに対する位置情報も含めてモデル化することができる。このため、対象物の３次元形状モデルを作成後に、オペレータが仮想空間中で仮想ロボットモデルに対する仮想対象物モデルの位置あわせ作業を行う必要が無く、ロボットの作業環境の仮想モデルを効率的に構築することができる。

本実施形態の情報処理システムを用いれば、例えば、新たな製造ラインを立ち上げる際、製造ラインにおいて所定の動作を行う位置にロボットを設置した後、ロボットを用いて周囲環境を測定し、周囲環境の仮想モデルをシミュレーション装置に容易に構築できる。あるいは、ロボットが設置された既存の製造ラインにおいて、作業内容を変更するためにロボットの周囲に設置された装置の種類や位置が変更された場合に、ロボットを用いてそれらの装置を測定する。そして、変更された周囲環境の仮想モデルをシミュレーション装置に容易に構築することができる。本実施形態によれば、ロボットの周囲環境のシミュレーションモデルを容易に作成することができるため、シミュレーション装置を用いたロボットのオフラインシミュレーション作業を短時間で立ち上げることができる。

［実施形態２］
実施形態２は、実施形態１で示した測定ポイントの自動生成を行う方法について具体的に詳述する。実施形態１と共通する事項については、説明を簡略化または省略する。図１３は、実施形態２に係る測定設定画面４００を説明するための図であり、図１４は、実施形態２に係る測定ポイントの自動生成のフローチャートである。

図１３より、測定設定画面４００には、センサ情報設定部４０１、基準ポイント設定部４０２、測定領域設定部４０４、移動禁止領域設定部４０５、計算ボタン４０８が表示される。なお図１３では不図示とするが、後述する仮想空間の表示も別画面にて行われるものとする。

センサ情報設定部４０１には、ロボットの周辺領域を測定するためのセンサの視野範囲θｘ、θｙ、焦点距離ｈ、ピント距離±Ｆｈ、測定範囲ＩＭＡの数値設定欄が表示されている。数値設定欄４０１ａは視野範囲θｘを設定できる。数値設定欄４０１ｂは視野範囲θｙを設定できる。数値設定欄４０１ｃは焦点距離ｈを設定できる。数値設定欄４０１ｄはピント距離－Ｆｈを設定できる。数値設定欄４０１ｅはピント距離＋Ｆｈを設定できる。数値設定欄４０１ｆは測定範囲ＩＭＡを設定できる。また、センサ表示部４０１ｇにおいてセンサを簡略して表示し各数値設定欄で設定される数値がセンサにおいてどこの設定情報であるのかを図示している。これにより、ロボットの周辺領域に合わせてセンサにおける測定条件をユーザが容易に設定することが可能となる。

基準ポイント設定部４０２には、Ｘ、Ｙ、Ｚの各値入力できる数値設定欄４０２ａ、４０２ｂ、４０２ｃが表示され、位置の取得ボタン４０３が設けられている。

測定領域設定部４０４には、センサによる測定範囲設定として範囲設定Ｘ、Ｙ、Ｚと角度設定Ｒｘ、Ｒｙ、Ｒｚの最小値Ｍｉｎと最大値Ｍａｘを入力できる数値設定欄が表示されている。数値設定欄４０４ａはＸの値の最小値を、数値設定欄４０４ｂはＸの値の最大値を、それぞれ設定できる。数値設定欄４０４ｃはＹの値の最小値を、数値設定欄４０４ｄはＹの値の最大値を、それぞれ設定できる。数値設定欄４０４ｅはＺの値の最小値を、数値設定欄４０４ｆはＺの値の最大値を、それぞれ設定できる。数値設定欄４０４ｇはＲｘの値の最小値を、数値設定欄４０４ｈはＲｘの値の最大値を、それぞれ設定できる。数値設定欄４０４iはＲｙの値の最小値を、数値設定欄４０４ｊはＲｙの値の最大値を、それぞれ設定できる。数値設定欄４０４ｋはＲｚの値の最小値を、数値設定欄４０４ｌはＲｚの値の最大値を、それぞれ設定できる。また角度設定Ｒｘ、Ｒｙ、Ｒｚには、測定範囲の分割角度をそれぞれ設定できる。数値設定欄４０４ｍはＲｘの分割角度を設定できる。数値設定欄４０４ｎはＲｙの分割角度を設定できる。数値設定欄４０４ｏはＲｚの分割角度を設定できる。

移動禁止領域設定部４０５には、設定された移動禁止領域を表示するリスト４０９と、仮想空間で選択した移動禁止領域の追加ボタン４０６と削除ボタン４０７が設けられている。リスト４０９で表示されたエリアが、測定を行う際にセンサの侵入を禁止する領域となる。実施形態２では、以下で説明する操作手順を行うことで必要な測定領域を網羅した測定ポイントの自動生成を行うことが可能となる。

図１４より、ステップＳ５０にて、図１３で説明した測定設定画面４００を用いてセンサ情報を設定する。センサ情報設定部４０１に必要な情報を入力する。最低限必要なセンサ情報としては、センサの視野範囲θｘ、θｙ、焦点距離ｈが必要である。さらに、精度良く測定を行うためにはピント距離±Ｆｈ、測定範囲ＩＭＡが必要となる。

次に、ステップＳ５１にて、基準ポイントを設定する。基準ポイント設定部４０２に測定の基準となる場所のＸ、Ｙ、Ｚの値を直接入力、もしくは仮想モデルを構築する仮想空間中において選択した位置を取得ボタン４０３の押下で設定する。

次に、ステップＳ５２にて、測定領域を設定する。測定領域設定部４０４において、基準ポイントからの領域Ｘ、Ｙ、Ｚの最小値Ｍｉｎ、最大値Ｍａｘの値を入力する。図１５は、実施形態２に係る仮想空間において測定領域を表示した際の図である。測定領域を設定することで、入力した値に応じた測定対象領域３０１がロボット１０１の仮想モデル１０１Ｍの周辺に設定される。実空間においては測定対象領域３０１内に対象となる周辺物が存在しているものとする。

次に、ステップＳ５３にて、測定を行う際にセンサの移動を禁止する移動禁止領域を設定する。仮想空間に表示された移動禁止領域３０２（Ａｒｅａ_１）、３０３（Ａｒｅａ_２）をそれぞれ選択し、移動禁止領域設定部４０５の追加ボタン４０６を押下することで移動禁止領域に登録される。もちろん仮想空間中において位置を直接入力して移動禁止領域をユーザにより設定し、登録しても構わない。リストから登録の削除をする場合は、削除する移動禁止領域をリストから選択して削除ボタン４０７を押下すると削除される。以上説明した、センサ情報設定、基準ポイント設定、測定領域設定、移動禁止領域設定を行うことで、測定ポイントの自動生成の準備を行う。

次に、ステップＳ５４にて、測定ポイントの計算を実行する。計算ボタン４０８を押下すると計算処理が実行される。図１６（ａ）および図１６（ｂ）は、実施形態２に係る測定ポイントの自動生成を説明するための模式図である。図１６（ａ）は、センサ情報より計算する分割幅を説明するための模式図である。図１６（ｂ）は、測定領域の分割を説明するための模式図である。

図１６（ａ）より、Ｘ、Ｙの分割幅Ｄｘ、Ｄｙは、センサ情報の視野範囲θｘ、θｙと焦点距離ｈの２倍の値でＸ、Ｙの視野範囲を計算し、さらに精度良く測定できる範囲である測定範囲ＩＭＡを掛け合わせて計算する。Ｚの分割幅Ｄｚはピント距離＋Ｆｈを用いる。
図１６（ｂ）より、測定領域Ｘ、Ｙ、Ｚの最小値Ｍｉｎと最大値Ｍａｘからセンサ情報より取得した分割幅Ｄｘ、Ｄｙ、Ｄｚを割った数が分割数となり、それぞれ基準ポイント（Ｐ）より計算した分割幅ごとに格子状に測定ポイントの位置を取得する。次に、角度設定Ｒｘ、Ｒｙ、Ｒｚと分割角度Ｄｒｘ、Ｄｒｙ、Ｄｒｚより各角度の分割数を取得し、格子状に設定した位置の１ポイントごとに対してそれぞれ分割した角度を付与し、測定ポイントを自動作成する。

図１７（ａ）および図１７（ｂ）は、実施形態２に係る測定ポイントにおけるロボット１０１及びビジョンセンサ１０２の姿勢の模式図である。図１７（ａ）は、角度０度の測定ポイントの状態を示しており、図１７（ｂ）は、Ｘ軸方向にＤｒｘだけ傾けた測定ポイントの状態を示している。
次に、ステップＳ５５にて、各測定ポイントにおいて逆キネマ計算を行いロボット１０１が移動できないポイントを除外する。ロボット１０１には稼働範囲があり、その稼働範囲外のポイントへは移動できないため、そのポイントを除外する。逆キネマ計算に関しては公知な技術を使用するものとし、詳細な説明は割愛する。

次に、ステップＳ５６にて、各測定ポイントにおいてロボットが移動禁止領域や周辺環境と干渉するポイントを除外する。図１８（ａ）および図１８（ｂ）は、実施形態２に係わる測定ポイントの干渉チェック状態の模式図である。図１８（ａ）は、移動禁止領域３０２、３０３とロボット１０１が干渉している状態を示しており、この測定ポイントは除外される。図１８（ｂ）は、同じ測定ポイントに対する角度が異なるロボットの状態であり、この測定ポイントは移動禁止領域と干渉しないため除外されない。このようにすべての測定ポイントにおいて干渉チェックを行い、移動不可能な測定ポイントを事前に除外しておく。各測定ポイントにおいて、少なくとも２つ、ビジョンセンサ１０２が異なる姿勢を取るように設定している。これにより、或る測定ポイントの或る姿勢では移動禁止領域に干渉してしまうが、姿勢を変えれば移動禁止領域に干渉せずに、或る測定ポイントで測定できるため、移動禁止領域との干渉を回避しつつ、測定ポイントをある程度の数、確保することが可能となる。

次に、ステップＳ５７において、測定ポイントの結果を表示する。結果はリスト表示や仮想空間においてモデル表示し、表示された測定ポイントを選択すると仮想空間でそのポイントのロボットの姿勢を確認することができる。
以上本実施形態によれば、測定ポイントの自動生成を行うことが可能となり、移動可能な測定範囲内における測定が可能となる。よってロボットの周辺環境をロボットとセンサによって測定を実行する際におけるユーザの負担を軽減することができる。

[実施形態３]
実施形態２では、測定ポイントを自動的に設定したが、モデル内部に測定ポイントも含んでいる状態であり無駄がある。そのため、実施形態３では、周辺環境を測定中にモデル内部の測定ポイントであるか否かを判断してモデル内部の測定ポイントを除外する形態について説明する。実施形態１、２と共通する事項については、説明を簡略化または省略する。図１９は実施形態３に係る測定方法のフローチャートである。図２０は、実施形態３に係る測定ポイントの階層構造に係る模式図である。図２１（ａ）～図２１（ｅ）は、実施形態３に係る測定ポイントの除外対象を説明するための模式図である。

まず、図２０より、測定領域における同一ＸＹ平面上のポイントをグループにして、さらにそのグループをＺ軸の値が大きい順に階層化し、階層番号をそれぞれの階層の測定ポイントに付与した状態を示している。階層の幅はＺ軸の分割幅である。本実施形態では、測定ポイントにおいて階層を設定して取得しておき、図１９で示す測定のフローチャートを実行する。実施形態３では、第一階層の測定ポイントより測定を実施し、徐々に下の階層の測定を実施する。

図１９より、測定を開始すると、実施形態１と同様にステップＳ２１からステップＳ２９を実行する。ステップＳ２１からステップＳ２９は実施形態１と同様であるため、説明を割愛する。

次に、ステップＳ６０にて、１階層分の撮影が終了したか確認を行う。終了していない場合はＮｏとなりステップＳ３１に進み、実施形態１のステップＳ３１と同様の処理を行い、同一階層の測定を続ける。終了した場合はＹｅｓとなるステップＳ６１に進む。図２１（ａ）は、第Ｎ階層の測定ポイントおよび測定状態を示しており、この階層の測定ポイントが終了したらステップＳ６１に進む。

次に、ステップＳ６１にて、全階層の測定が終了したか確認を行う。終了した場合はＹｅｓとなり、測定完了に進みフローを終了する。終了していない場合はＮｏとなりステップＳ６２に進み、下位階層の測定ポイントの自動除外処理を行う。

次に、ステップＳ６２にて、全ての三次元データより測定範囲とピント距離の範囲内の点群データを取得して合成する。図２１（ｂ）は、点群データ取得処理時の模式図であり、第Ｎ階層におけるすべての撮像範囲をＸＹ平面に、ピント距離±ＦｈをＺ方向にしたバウンダリボックスＶＢｏｘを作成し、その内部に存在する点群データを取得している。これにより精度良く測定できる範囲の点群データのみを取得することができる。

次に、ステップＳ６３にて、合成した三次元点群データをメッシュ処理する。図２１（ｃ）は、メッシュ化したモデルの模式図であり、点群データよりバウンダリボックスＶＢｏｘ内に存在する計測物の側面情報を取得することができる。

次に、ステップＳ６４にて、センサの焦点距離ｈの直線モデルとメッシュ化したモデルが交わった測定ポイントを除外する。図２１（ｄ）は、第Ｎ＋１階層の測定ポイントのセンサ焦点距離の直線モデルとメッシュ化したモデルが交わった（干渉した）状態を示している。この状態の測定ポイントは測定対象の内部になるため、測定ポイントから除外することができる。図２１（ｅ）は、除外した測定ポイントの模式図である。

次に、ステップＳ６５にて、メッシュ化したモデルとロボットの干渉チェックを行い、干渉状態の測定ポイントを除外する。これにより、計測対象との接触を防ぐことができる。除外処理が終了すると、ステップＳ３１に戻る。

以上のような除外処理を行うことにより、不要な測定ポイントや干渉の可能性がある測定ポイントを除外することができ、測定時間の短縮、ロボットまたは周辺物の破損の危険性の低減を図ることができる。

[実施形態４]
実施形態２では、移動禁止領域設定部４０５によって、移動禁止領域３０２、３０３を設定したが、例えば周辺機器のモデルや装置の壁や天井のモデルがすでに仮想空間内で設定されている場合は、そのモデルを移動禁止領域設定部４０５によって移動禁止領域として設定してもよい。実施形態１～３と共通する事項については、説明を簡略化または省略する。

図２２は実施形態４に係る周辺モデルの説明図であり、壁モデル５０１Ｍ（Ｗａｌｌ）、天井モデル５０２Ｍ（Ｃｅｉｌｉｎｇ）が仮想空間画面４１０上に表示されている状態である。この壁モデル５０１Ｍや天井モデル５０２Ｍを選択し、測定設定画面４００の移動禁止領域設定部４０５の追加ボタン４０６を押下することで移動禁止領域として既存のモデルを選択して設定し、実施形態２のステップＳ５６を実行することができる。

以上のような設定を行うことにより、測定ポイントにおいて周辺機器や壁や天井などとの干渉を防ぐことができる。また天井や壁などは製造ラインにおいて、移動することは稀であり、予めモデルとして設定しておけば、更新などを行うことは稀である。よって本実施形態のようにモデルで設定できるようにしておけば、ユーザにとって容易に移動禁止領域を設定できるため有用である。

［実施形態５］
本発明を実施した情報処理システムの形態は、図１、図２を参照して説明した実施形態の例に限られるわけではない。図２３は、実施形態５に係る情報処理システムの概略構成を示す模式図であり、図２５は、実施形態５に係る情報処理システムの構成を説明するための機能ブロック図である。実施形態１から実施形態４と共通する事項については、説明を簡略化または省略する。

実施形態５では、実施形態１で説明したロボット制御装置Ａ、ビジョンセンサ制御装置Ｂ、モデル作成装置Ｃ、シミュレーション装置Ｄが単一の情報処理装置Ｈとして統合されているとともに、情報処理装置Ｈにはタブレット端末Ｇ１が通信可能に接続されている。情報処理装置Ｈとタブレット端末Ｇ１の接続は、図示のように有線接続でもよいし、無線接続でもよい。

本実施形態では、実施形態１と同様の手順で、測定準備（撮像準備）、測定（撮像）、３次元モデル生成、仮想空間におけるシミュレーションを行うが、その際にタブレット端末Ｇ１を用いて各種設定の入力や情報の表示を行うことができるため、オペレータの作業効率が向上する。タブレット端末Ｇ１は、ティーチングペンダントとしての機能を兼ね備えていてもよい。オフラインシミュレーション時に、タブレット端末Ｇ１の表示画面に仮想空間を表示させてもよい。

［実施形態６］
実施形態６は、実施形態５と同様の情報処理装置Ｈに、ステレオ表示が可能なヘッドマウントディスプレイＧ２が接続された情報処理システムである。図２４は、実施形態６に係る情報処理システムの概略構成を示す模式図であり、図２５は、実施形態６に係る情報処理システムの構成を説明するための機能ブロック図である。実施形態１から実施形態５と共通する事項については、説明を簡略化または省略する。

実施形態６では、実施形態１で説明したロボット制御装置Ａ、ビジョンセンサ制御装置Ｂ、モデル作成装置Ｃ、シミュレーション装置Ｄが単一の情報処理装置Ｈとして統合されている。それと共に、情報処理装置ＨにはヘッドマウントディスプレイＧ２が通信可能に接続されている。情報処理装置ＨとヘッドマウントディスプレイＧ２の接続は、図示のように有線接続でもよいし、無線接続でもよい。

本実施形態では、実施形態１と同様の手順で、測定準備（撮像準備）、測定（撮像）、３次元モデル生成、仮想空間におけるシミュレーションを行う。例えば生成した３次元モデルの確認や仮想空間におけるシミュレーションにおいて、ステレオ表示が可能なヘッドマウントディスプレイＧ２を用いることにより、オペレータがロボット環境を空間的に把握・認識するのが容易になり、作業効率が向上する。ヘッドマウントディスプレイＧ２は、ステレオ表示が可能なデバイスであればよく、ヘルメット型、ゴーグル型など、種々の形態のデバイスが用いられ得る。情報処理装置Ｈは、ロボットとその周辺環境の仮想モデルを用いて、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）、またはＸＲ（ＣｒｏｓｓＲｅａｌｉｔｙ）等の態様で、オペレータに仮想モデルやシミュレーション結果を表示することができる。

[実施形態７]
実施形態７では、ロボットの周囲環境のシミュレーションモデルを取得する際の別の実施形態について説明する。実施形態１から実施形態６と共通する事項については、説明を簡略化または省略する。

図２６は実施形態７に係るロボットと周辺物との概略構成を示す模式図である。本実施形態では移動台車１０５にロボット１０１を搭載し、人がロボット１０１を移動させることができるようになっている。ロボット１０１にはハンド１０４を搭載している。移動台車１０５の前方には台座（架台）１１０の上に箱１１１が設置されている。移動台車１０５を台座１１０の前に設置し、箱１１１の中にあるワークをピッキングする作業を行う状況であり、ロボット１０１と台座１１０および箱１１１のレイアウトが任意に変更できるようなケースである。箱１１１にハンド１０４が接触しないようにワークをピッキングするためには、ロボット１０１と箱１１１の位置関係を調整する必要がある。

そこで、移動台車１０５を移動後に実施形態１で説明したようにロボットの周囲環境を三次元ビジョンセンサで測定してロボット座標系を基準とした箱１１１をモデル化する。さらに、作成した箱１１１のモデルをロボット１０１との干渉チェック対象とすることで、ピッキングの際に箱１１１を回避したピッキングを行うことができるようになる。

以上の様に、対象物とロボット１０１の位置関係が不明確な場合に実環境のモデル化を行うことで、手動でＣＡＤモデルの作成やレイアウトを行う必要なく、スムーズにピッキング作業を行える様になる。またロボット座標系により、ロボットと周辺物との位置関係を取得したモデルにより把握できる。よって、人がラフに台座１１０の前にロボット１０１を配置したとしても、ハンド１０４と箱１１１との干渉を回避しつつ、スムーズな作業をロボット１０１に実行させることができる。なお移動台車１０５は、自律して移動することが可能な台車（搬送車）であるＡＧＶ（ＡｕｔｏｍａｔｉｃＧｕｉｄｅｄＶｅｈｉｃｌｅ）であっても構わない。

［他の実施形態］
尚、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。例えば、上述した異なる実施形態を組合わせて実施しても構わない。

上述した実施形態における仮想モデル作成、オフラインシミュレーション、オフラインシミュレーションにより作成した制御プログラムに基づく実機の動作制御、等の処理を実行させるための制御プログラムも本発明の実施形態に含まれる。また、制御プログラムを格納したコンピュータで読み取り可能な記録媒体も、本発明の実施形態に含まれる。記録媒体として、例えば、フレキシブルディスク、光ディスク、光磁気ディスク、磁気テープ、ＵＳＢメモリ等の不揮発性メモリ、ＳＳＤ等を用いることができる。

本発明の情報処理システムや情報処理方法は、生産設備の他に、例えば産業用ロボット、サービス用ロボット、コンピュータによる数値制御で動作する加工機械、等の様々な機械や設備のソフト設計やプログラム開発に適用することが可能である。例えば、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる可動部を備えた装置の周辺環境の仮想モデルを生成できる。また、装置の動作シミュレーションを仮想空間で行う際に適用可能である。

本発明は、実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成および方法を含む。
［構成１］
物体の形状を測定可能な測定部を備えた可動部を有する装置と、
仮想モデルを用いて、仮想空間にて前記装置の動作シミュレーションを行うシミュレーション部と、を備え、
前記可動部が前記測定部を所定の測定ポイントに移動させ、
前記装置の周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、
測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、
ことを特徴とする情報処理システム。
［構成２］
前記所定の測定ポイントに係る情報には、前記装置の位置を基準とした前記測定部の位置および測定方向の情報が含まれる、
ことを特徴とする構成１に記載の情報処理システム。
［構成３］
前記所定の測定ポイントは、オペレータが入力した設定情報に基づいて登録される、
ことを特徴とする構成１または２に記載の情報処理システム。
［構成４］
前記設定情報は、オペレータが、予め前記装置を動作させながら入力した情報である、
ことを特徴とする構成３に記載の情報処理システム。
［構成５］
前記設定情報は、前記対象物を包含する測定対象領域に係る情報を含む、
ことを特徴とする構成３に記載の情報処理システム。
［構成６］
前記設定情報は、前記可動部が移動することを禁止する移動禁止領域の情報を含む、
ことを特徴とする構成３に記載の情報処理システム。
［構成７］
前記移動禁止領域を、予め設定された、前記周囲環境に存在する周辺物の仮想モデルにより設定することができる、
ことを特徴とする構成６に記載の情報処理システム。
［構成８］
前記設定情報は、前記所定の測定ポイントにて、前記測定部が測定を行う回数に係る情報を含む、
ことを特徴とする構成３乃至６のいずれか１項に記載の情報処理システム。
［構成９］
前記設定情報および／または前記測定ポイントに係る情報を、表示部に表示する、
ことを特徴とする構成３乃至８のいずれか１項に記載の情報処理システム。
［構成１０］
前記所定の測定ポイントにて複数回の測定を行い、前記複数回の測定の測定結果を合成して、前記対象物の位置情報を含む３次元点群データを取得し、前記３次元点群データに基づき前記モデルを取得する、
ことを特徴とする構成１乃至９のいずれか１項に記載の情報処理システム。
［構成１１］
前記測定部による測定範囲が、前記対象物を網羅するように、前記所定の測定ポイントとして複数の測定ポイントが登録される、
ことを特徴とする構成１乃至１０のいずれか１項に記載の情報処理システム。
［構成１２］
前記複数の測定ポイントにて測定された測定結果を合成して、前記対象物の位置情報を含む３次元点群データを取得する、
ことを特徴とする構成１１に記載の情報処理システム。
［構成１３］
前記測定結果を合成した後に、前記３次元点群データにフィルタ処理を行う、
ことを特徴とする構成９または１１に記載の情報処理システム。
［構成１４］
前記シミュレーション部は、前記仮想空間に設定された前記対象物の仮想モデルを、表示部に表示する、
ことを特徴とする構成１乃至１３のいずれか１項に記載の情報処理システム。
［構成１５］
前記測定部に関する情報と前記測定に係る測定領域に関する情報とをユーザによって設定できる設定画面を表示する、
ことを特徴とする構成１乃至１４のいずれか１項に記載の情報処理システム。
［構成１６］
前記設定画面によって設定された情報に基づき、前記所定の測定ポイントを自動で取得する、
ことを特徴とする構成１５に記載の情報処理システム。
［構成１７］
前記所定の測定ポイントにおいて、前記測定部の姿勢を少なくとも２つ、設定し、
前記所定の測定ポイントに前記測定部を移動させた際に前記測定部が前記移動禁止領域と干渉する場合、前記移動禁止領域と干渉する前記所定の測定ポイントを除外する、
ことを特徴とする構成６または７に記載の情報処理システム。
［構成１８］
前記装置の可動範囲外に存在する前記所定の測定ポイントを除外する、
ことを特徴とする構成１乃至１７のいずれか１項に記載の情報処理システム。
［構成１９］
前記所定の測定ポイントを、前記測定に係る測定領域に基づき少なくとも２つの階層に分け、
前記階層に基づき、前記モデルと干渉している前記所定の測定ポイントを除外する、
ことを特徴とする構成１乃至１８のいずれか１項に記載の情報処理システム。
［構成２０］
前記シミュレーション部は、前記仮想空間に設定された前記対象物の仮想モデルを、タブレット端末またはヘッドマウントディスプレイに表示する、
ことを特徴とする構成１４に記載の情報処理システム。
［構成２１］
前記シミュレーション部は、前記対象物の仮想モデルを、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）、ＸＲ（ＣｒｏｓｓＲｅａｌｉｔｙ）のいずれかの態様で、表示する、
ことを特徴とする構成１４に記載の情報処理システム。
［構成２２］
前記装置は台車に搭載されており、前記対象物は台座に載置されている、
ことを特徴する構成１乃至２１のいずれか１項に記載の情報処理システム。
［方法１］
構成１乃至２１のいずれか１項に記載の情報処理システムを用いて、前記装置の動作シミュレーションを前記仮想空間にて行い、前記装置の制御プログラムを作成する、
ことを特徴とする情報処理方法。
［構成２３］
方法１に記載の情報処理方法を、コンピュータに実行させるためのプログラム。
［構成２４］
構成２３に記載のプログラムを記録したコンピュータにより読み取り可能な非一時的な記録媒体。
［構成２５］
物体の形状を測定可能な測定部を備えた可動部を有するロボットと、
仮想モデルを用いて、仮想空間にて前記ロボットの動作シミュレーションを行うシミュレーション部と、を備え、
前記可動部が前記測定部を所定の測定ポイントに移動させ、
前記ロボットの周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、
測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、
ことを特徴とするロボットシステム。
［方法２］
構成２５に記載のロボットシステムを用いて、前記ロボットの動作シミュレーションを前記仮想空間にて行い、前記ロボットの制御プログラムを作成する、
ことを特徴とするロボットシステムの制御方法。
［方法３］
方法２に記載のロボットシステムの制御方法により、前記ロボットが物品の製造を行う動作に係るシミュレーションを前記仮想空間にて行い、物品の製造に係る前記ロボットの制御プログラムを作成し、前記制御プログラムを用いて前記ロボットを動作させて物品を製造する、
ことを特徴とするロボットシステムを用いた物品の製造方法。

１００・・・情報処理システム／１０１・・・ロボット／１０１Ｍ・・・ロボット１０１の仮想モデル／１０２・・・ビジョンセンサ／１０３・・・モデル作成対象物／１０３Ｍ・・・周囲環境の仮想モデル／２０１・・・ＣＰＵ／２０２・・・ＧＰＵ／２０３・・・記憶部／２０３ａ・・・ＲＯＭ／２０３ｂ・・・ＲＡＭ／２０３ｃ・・・ＨＤＤ／２０４・・・入出力インタフェース／２３０・・・データベース／３０１・・・測定対象領域／３０２・・・移動禁止領域／Ａ・・・ロボット制御装置／Ｂ・・・ビジョンセンサ制御装置／Ｃ・・・モデル作成装置／Ｄ・・・シミュレーション装置／Ｅ・・・表示装置／Ｇ１・・・タブレット端末／Ｇ２・・・ヘッドマウントディスプレイ／Ｈ・・・情報処理装置／ＩＭＡ・・・測定範囲／ＰＤ・・・測定方向

Claims

物体の形状を測定可能な測定部を備えた可動部を有する装置と、
仮想モデルを用いて、仮想空間にて前記装置の動作シミュレーションを行うシミュレーション部と、を備え、
前記可動部が前記測定部を所定の測定ポイントに移動させ、
前記装置の周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、
測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、
ことを特徴とする情報処理システム。
前記所定の測定ポイントに係る情報には、前記装置の位置を基準とした前記測定部の位置および測定方向の情報が含まれる、
ことを特徴とする請求項１に記載の情報処理システム。
前記所定の測定ポイントは、オペレータが入力した設定情報に基づいて登録される、
ことを特徴とする請求項１または２に記載の情報処理システム。
前記設定情報は、オペレータが、予め前記装置を動作させながら入力した情報である、
ことを特徴とする請求項３に記載の情報処理システム。
前記設定情報は、前記対象物を包含する測定対象領域に係る情報を含む、
ことを特徴とする請求項３に記載の情報処理システム。
前記設定情報は、前記可動部が移動することを禁止する移動禁止領域の情報を含む、
ことを特徴とする請求項３に記載の情報処理システム。
前記移動禁止領域を、予め設定された、前記周囲環境に存在する周辺物の仮想モデルにより設定することができる、
ことを特徴とする請求項６に記載の情報処理システム。
前記設定情報は、前記所定の測定ポイントにて、前記測定部が測定を行う回数に係る情報を含む、
ことを特徴とする請求項３に記載の情報処理システム。
前記設定情報および／または前記所定の測定ポイントに係る情報を、表示部に表示する、
ことを特徴とする請求項３に記載の情報処理システム。
前記所定の測定ポイントにて複数回の測定を行い、前記複数回の測定の測定結果を合成して、前記対象物の位置情報を含む３次元点群データを取得し、前記３次元点群データに基づき前記モデルを取得する、
ことを特徴とする請求項１または２に記載の情報処理システム。
前記測定部による測定範囲が、前記対象物を網羅するように、前記所定の測定ポイントとして複数の測定ポイントが登録される、
ことを特徴とする請求項１または２に記載の情報処理システム。
前記複数の測定ポイントにて測定された測定結果を合成して、前記対象物の位置情報を含む３次元点群データを取得する、
ことを特徴とする請求項１１に記載の情報処理システム。
前記測定結果を合成した後に、前記３次元点群データにフィルタ処理を行う、
ことを特徴とする請求項１０に記載の情報処理システム。
前記シミュレーション部は、前記仮想空間に設定された前記対象物の仮想モデルを、表示部に表示する、
ことを特徴とする請求項１または２に記載の情報処理システム。
前記測定部に関する情報と前記測定に係る測定領域に関する情報とをユーザによって設定できる設定画面を表示する、
ことを特徴とする請求項１に記載の情報処理システム。
前記設定画面によって設定された情報に基づき、前記所定の測定ポイントを自動で取得する、
ことを特徴とする請求項１５に記載の情報処理システム。
前記所定の測定ポイントにおいて、前記測定部の姿勢を少なくとも２つ、設定し、
前記所定の測定ポイントに前記測定部を移動させた際に前記測定部が前記移動禁止領域と干渉する場合、前記移動禁止領域と干渉する前記所定の測定ポイントを除外する、
ことを特徴とする請求項６に記載の情報処理システム。
前記装置の可動範囲外に存在する前記所定の測定ポイントを除外する、
ことを特徴とする請求項１に記載の情報処理システム。
前記所定の測定ポイントを、前記測定に係る測定領域に基づき少なくとも２つの階層に分け、
前記階層に基づき、前記モデルと干渉している前記所定の測定ポイントを除外する、
ことを特徴とする請求項１に記載の情報処理システム。
前記シミュレーション部は、前記仮想空間に設定された前記対象物の仮想モデルを、タブレット端末またはヘッドマウントディスプレイに表示する、
ことを特徴とする請求項１４に記載の情報処理システム。
前記シミュレーション部は、前記対象物の仮想モデルを、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）、またはＸＲ（ＣｒｏｓｓＲｅａｌｉｔｙ）のいずれかの態様で、表示する、
ことを特徴とする請求項１４に記載の情報処理システム。
前記装置は台車に搭載されており、前記対象物は台座に載置されている、
ことを特徴する請求項１に記載の情報処理システム。
請求項１または２に記載の情報処理システムを用いて、前記装置の動作シミュレーションを前記仮想空間にて行い、前記装置の制御プログラムを作成する、
ことを特徴とする情報処理方法。
請求項２３に記載の情報処理方法を、コンピュータに実行させるためのプログラム。
請求項２４に記載のプログラムを記録したコンピュータにより読み取り可能な非一時的な記録媒体。
物体の形状を測定可能な測定部を備えた可動部を有するロボットと、
仮想モデルを用いて、仮想空間にて前記ロボットの動作シミュレーションを行うシミュレーション部と、を備え、
前記可動部が前記測定部を所定の測定ポイントに移動させ、
前記ロボットの周囲環境に存する対象物を、前記所定の測定ポイントにて前記測定部が測定し、
測定した結果と前記所定の測定ポイントに係る情報とを用いて、前記対象物の位置情報を含むモデルを取得し、前記シミュレーション部は、前記モデルを用いて、前記仮想空間に前記対象物の仮想モデルを設定する、
ことを特徴とするロボットシステム。
請求項２６に記載のロボットシステムを用いて、前記ロボットの動作シミュレーションを前記仮想空間にて行い、前記ロボットの制御プログラムを作成する、
ことを特徴とするロボットシステムの制御方法。
請求項２７に記載のロボットシステムの制御方法により、前記ロボットが物品の製造を行う動作に係るシミュレーションを前記仮想空間にて行い、物品の製造に係る前記ロボットの制御プログラムを作成し、前記制御プログラムを用いて前記ロボットを動作させて物品を製造する、
ことを特徴とするロボットシステムを用いた物品の製造方法。