JP2022186476A - 情報処理装置、情報処理方法、及び、コンピュータプログラム - Google Patents

Abstract

【課題】ロボットを設置する前に行われるロボットが周辺の物体に干渉するか否かの確認をより確実に行う。
【解決手段】情報処理装置は、プロセッサ及び表示装置を備え、プロセッサは、ロボットが設置される実環境をモデル化した環境モデル内に、ロボットをモデル化したロボットモデルを配置し、環境モデル内にてロボットモデルを動作させて、ロボットと実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、表示モード関連情報に基づく画像を、実環境内に存在するユーザが有する表示装置に表示する。
【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、及び、コンピュータプログラムに関する。

工場設備等に作業用のロボット（例えばロボットアーム）を設置する場合、実際にロボットを設置する前に、ロボットが周辺の物体と干渉せずに目的の作業を実施可能であるか否かを確認することが行われる。

特許文献１には、仮想的なロボットの画像を、工場内に現実に存在する周辺機器、床面、フェンスといった周辺の物体に立体的に重ね合わせ、複合現実画像として透過型のＨＭＤ（Head Mounted Display）に表示し、ＨＭＤを装着した作業者に、仮想的なロボットが周辺の物体に干渉するか否かを目視で確認させる技術が開示される。

特開２０１９－８４７３号公報

しかし、特許文献１に開示される技術の場合、仮想的なロボットが周辺の物体に干渉するか否かの判断を、ＨＭＤを装着した作業者の目視に依存しているため、干渉チェックの漏れ又はミス等が発生しやすい。

本開示の目的は、ロボットを設置する前に行われる、ロボットが周辺の物体に干渉するか否かの確認を、より確実に行うことができる技術を提供することにある。

本開示の一態様に係る情報処理装置は、プロセッサ及び表示装置を備え、前記プロセッサは、ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する前記表示装置に表示する。

本開示の一態様に係る情報処理方法は、情報処理装置によって、ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する表示装置に表示する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、ロボットを設置する前に行われる、ロボットが周辺の物体に干渉するか否かの確認を、より確実に行うことができる。

本実施の形態に係るＨＭＤの利用態様を示す図 本実施の形態に係るＨＭＤのハードウェア構成の一例を示すブロック図 本実施の形態に係るＨＭＤの機能構成の一例を示すブロック図 本実施の形態に係る環境モデル生成処理の一例を示すフローチャート 本実施の形態に係るＭＲ画像表示処理の一例を示すフローチャート マーカが設置されている位置にロボットモデルを配置する場合を示す図 実際のロボットが設置されている位置にロボットモデルを配置する場合を示す図 ユーザが指定した位置にロボットモデルを配置する場合を示す図 干渉部位表示モード又は挟み込みリスク表示モードにおけるＭＲ画像の一例を示す図 衝突リスク表示モード又は動作効率表示モードにおけるＭＲ画像の一例を示す図 動作範囲表示モードにおけるＭＲ画像の一例を示す図 ロボット動作軌跡表示モードにおけるＭＲ画像の一例を示す図 作業可能範囲表示モードにおけるＭＲ画像の一例を示す図 複数のＨＭＤを連携して利用する方法を説明するための図

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（本実施の形態）
＜ＨＭＤの利用態様＞
図１は、本実施の形態に係るＨＭＤ１０の利用態様を示す図である。

情報処理装置の一例である透過型のＨＭＤ１０は、ユーザ１に装着される。ＨＭＤ１０は、作業用のロボット（例えばロボットアーム）が設置される実際の環境である実環境１００のロボットが設置される予定の位置に、そのロボットに対応するロボットモデルの画像（以下、ロボットモデル画像１１０と称する）を表示する。つまり、ＨＭＤ１０を装着したユーザ１は、実環境１００のロボットが設置される予定の位置に、ＨＭＤ１０を通じて、ＭＲ（Mixed Reality；複合現実）画像の一例であるロボットモデル画像１１０が立体的に見える。ロボットモデル画像１１０は、ロボットのあるタイミングの姿勢を示す静止画であってもよいし、ロボットの作業動作を示す動画像であってもよい。

これにより、ＨＭＤ１０を装着したユーザ１は、ロボットを実環境１００に設置する前に、ＨＭＤ１０を通じて、ロボットモデル画像１１０の動き等を見て、ロボットが実環境１００の周辺の物体に干渉するか否か等の確認を行うことができる。以下では、このようなロボットモデル画像１１０を表示でき、ＨＭＤ１０を装着したユーザ１が、ロボットを設置する前に確認すべき事項を、視覚的にわかり易くかつ効率的に確認できるＨＭＤ１０について説明する。

＜ＨＭＤのハードウェア構成＞
図２は、本実施の形態に係るＨＭＤ１０のハードウェア構成の一例を示すブロック図である。

図２に示すように、ＨＭＤ１０は、ハードウェアとして、３次元スキャナ１１、加速度センサ１２、ジャイロセンサ１３、地磁気センサ１４、メモリ１５、ストレージ１６、操作装置１７、表示装置１８、通信装置１９、プロセッサ２０を備え、これらの構成要素は、双方向通信可能なバス２１に接続される。

３次元スキャナ１１は、実環境１００の物体を立体的にスキャンして３次元データを生成する。３次元スキャナ１１の例として、ＴｏＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等が挙げられる。３次元データは、３次元座標を示す複数の点群によって構成されてよい。

加速度センサ１２は、ＨＭＤ１０の加速度を測定する。

ジャイロセンサ１３は、ＨＭＤ１０の角速度を測定する。なお、ジャイロセンサ１３は、角速度センサと読み替えられてもよい。

地磁気センサ１４は、ＨＭＤ１０の方位（向き）を測定する。なお、地磁気センサ１４は、電子コンパスと読み替えられてもよい。

メモリ１５は、プログラム及びデータ等を記憶する。メモリ１５は、例えば、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、又は、フラッシュメモリ等を含んで構成される。

ストレージ１６は、不揮発性記憶媒体にて構成され、プログラム及びデータ等を格納する。ストレージ１６は、例えば、フラッシュメモリを含んで構成される。

操作装置１７は、ユーザ１からの入力操作を受け付ける。操作装置１７の例として、コントローラ、タッチパネル、ジェスチャセンサ等が挙げられる。

表示装置１８は、画像を表示する。表示装置１８は、透過型ディスプレイを含んで構成され、ユーザ１は、表示装置１８の透過先に実環境１００を見ることができる。

通信装置１９は、ＨＭＤ１０を所定のネットワークに接続するための装置である。通信装置１９は、有線通信に対応する装置であってもよいし、無線通信に対応する装置であってもよい。有線通信の方式の例として、Ｅｔｈｅｒｎｅｔ（登録商標）が挙げられる。無線通信の方式の例として、Ｗｉ－Ｆｉ（登録商標）、ＬＴＥ（Long Term Evolution）、４Ｇ、５Ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）が挙げられる。

プロセッサ２０は、他の構成要素１１～１９と協働して、本実施の形態に係るＨＭＤ１０が有する機能を実現する。例えば、プロセッサ２０は、メモリ１５又はストレージ１６からプログラム及びデータを読み出して処理することにより、本実施の形態に係るＨＭＤ１０が有する機能を実現する。ＨＭＤ１０が有する機能の詳細については後述する。なお、プロセッサ２０は、ＣＰＵ（Central Processing Unit）、制御部、制御回路といった他の用語に読み替えられてもよい。

＜ＨＭＤの機能構成＞
図３は、本実施の形態に係るＨＭＤ１０の機能構成の一例を示すブロック図である。

ＨＭＤ１０は、機能として、操作取得部３１、センシングデータ取得部３２、視点算出部３３、環境モデル生成部３４、環境モデル格納部３５、ロボットモデル格納部３６、シミュレーション部３７、ＭＲ画像生成部３８を有する。

操作取得部３１は、操作装置１７から、当該操作装置１７にユーザ１が行った入力操作を示す情報を取得する。

センシングデータ取得部３２は、３次元スキャナから３次元データを取得する。加えて、センシングデータ取得部３２は、加速度センサ１２からＨＭＤ１０の加速度の測定結果を取得し、ジャイロセンサ１３からＨＭＤ１０の角速度の測定結果を取得し、地磁気センサ１４からＨＭＤ１０の方位（向き）の測定結果を取得する。

視点算出部３３は、センシングデータ取得部３２が取得した３次元データ及び各種測定結果に基づいて、ユーザ１が装着しているＨＭＤ１０の位置、視線（向き）及び傾き等を算出する。

環境モデル生成部３４は、センシングデータ取得部３２によって取得された３次元データに基づいて、実環境１００の３次元モデルである環境モデルを生成する。環境モデル生成部３４は、その生成した環境モデルを環境モデル格納部３５に格納する。環境モデル格納部３５には、ロボットが設置される予定の実環境１００の環境モデルが格納される。

ロボットモデル格納部３６には、ロボットの３次元モデルであるロボットモデルが格納される。ロボットモデルのデータは、ロボットを製造又は販売するメーカから得られてよい。また、ロボットモデルのデータには、ロボットの形状を示すデータに加えて、ロボットが可能な動作を示すデータも含まれてよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する。そして、シミュレーション部３７は、環境モデル内にロボットモデルを配置し、ロボットモデルを動作させて、ロボットモデルの動作と環境モデルとの関係性をシミュレーションする。これにより、ロボットモデルの動作が環境モデルの部位と干渉するか否か等を分析できる。なお、シミュレーション部３７のさらなる機能については後述する。

ＭＲ画像生成部３８は、視点算出部３３による算出結果に基づいて、ＨＭＤ１０を装着しているユーザ１があたかも実環境１００の所定の位置にロボットが存在しているように見えるロボットモデル画像１１０を生成する。なお、ロボットモデル画像１１０は、ＭＲ画像生成部３８が生成するＭＲ画像の一例である。他のＭＲ画像については後述する。ＭＲ画像生成部３８は、生成したＭＲ画像を表示装置１８に表示する。なお、ＭＲ画像生成部３８のさらなる機能については後述する。

＜環境モデル生成処理＞
図４を参照して、環境モデルを生成する処理について説明する。図４は、本実施の形態に係る環境モデル生成処理の一例を示すフローチャートである。

操作取得部３１が、ＨＭＤ１０を装着するユーザ１から、実環境１００の３次元スキャンの開始指示を取得した場合、以下の処理が開始される（Ｓ１１）。

環境モデル生成部３４は、ＨＭＤ１０を装着するユーザ１に対して、位置及び視線の移動を指示する（Ｓ１２）。つまり、環境モデル生成部３４は、ＨＭＤ１０の位置及び向きの移動を指示する。これにより、３次元スキャナ１１は、実環境１００を様々な方向から３次元スキャンでき、様々な方向の３次元データを得ることができる。

センシングデータ取得部３２は、３次元スキャナ１１から３次元データを取得する（Ｓ１３）。加えて、センシングデータ取得部３２は、加速度センサ１２、ジャイロセンサ１３、及び、地磁気センサ１４から測定結果を取得する。センシングデータ取得部３２は、取得した３次元データと、取得した測定結果を対応付けて、メモリ１５又はストレージ１６に格納してよい。これにより、後述するステップＳ１５において、それぞれの３次元データがいずれの位置からいずれの向き及び傾きにて得られたものであるかを特定できるので、複数の３次元データを結合して実環境１００に対応する環境モデルを生成することができる。

環境モデル生成部３４は、実環境１００の３次元スキャンが完了したか否かを判定する（Ｓ１４）。例えば、環境モデル生成部３４は、ロボットを設置する場所の実環境１００モデルを生成するに十分な３次元データを得られた場合、３次元スキャンが完了したと判定する。あるいは、操作取得部３１が、ユーザ１から３次元スキャンの完了指示を取得した場合、環境モデル生成部３４は、３次元スキャンが完了したと判定する。

実環境１００の３次元スキャンが完了していない場合（Ｓ１４：ＮＯ）、ＨＭＤ１０は、処理をステップＳ１２に戻す。実環境１００の３次元スキャンが完了した場合（Ｓ１４：ＹＥＳ）、ＨＭＤ１０は、処理をステップＳ１５に進める。

環境モデル生成部３４は、メモリ１５又はストレージ１６格納された３次元データと各センサ１２、１３、１４の測定結果とに基づいて環境モデルを生成し、環境モデル格納部３５に格納する（Ｓ１５）。

環境モデル生成部３４は、環境モデル内におけるロボットモデルの配置位置を決定する（Ｓ１６）。以下、ロボットモデルの配置位置を示す情報を、ロボット位置情報と称する。なお、環境モデル内におけるロボットモデルの配置位置の決定方法については後述する。

以上の処理により、ロボットを配置する予定の実環境１００に対応する環境モデルを生成することができる。

＜ＭＲ画像表示処理のフロー＞
図５を参照して、ＭＲ画像を表示する処理について説明する。図５は、本実施の形態に係るＭＲ画像表示処理の一例を示すフローチャートである。

操作取得部３１は、ユーザ１が選択した表示モードを取得する（Ｓ２１）。選択可能な表示モードには、干渉部位表示モード、挟み込みリスク表示モード、衝突リスク表示モード、動作効率表示モード、動作範囲表示モード、ロボット動作軌跡表示モード、作業可能範囲表示モードがある。なお、これらの表示モードの詳細については後述する。

シミュレーション部３７は、ロボット位置情報が示す環境モデル内の位置にロボットモデルを配置して当該ロボットモデルを動作させ、選択された表示モードに対応する情報（以下、表示モード関連情報と称する）を生成する（Ｓ２２）。なお、表示モード関連情報の詳細については後述する。

センシングデータ取得部３２は、３次元スキャナ１１から３次元データを取得する。加えて、センシングデータ取得部３２は、加速度センサ１２、ジャイロセンサ１３及び地磁気センサ１４から測定結果を取得する（Ｓ２３）。

視点算出部３３は、センシングデータ取得部３２によって取得された３次元データ及び測定結果に基づいて、ユーザ１（ＨＭＤ１０）の位置及び視線方向を算出する（Ｓ２４）。

ＭＲ画像生成部３８は、算出された視線方向に見える実環境１００と適切に重畳するＭＲ画像を生成し、表示装置１８に表示する（Ｓ２５）。このＭＲ画像の重畳位置及び画像内容は、Ｓ２２にて生成された表示モード関連情報によって異なってよい。なお、ＭＲ画像の具体例については後述する。

ＨＭＤ１０は、ＭＲ画像の表示を終了するか否かを判定する（Ｓ２６）。ＭＲ画像の表示を終了しない場合（Ｓ２６：ＮＯ）、ＨＭＤ１０は、処理をステップＳ２３に戻す。ＭＲ画像の処理を終了する場合（Ｓ２６：ＹＥＳ）、ＨＭＤ１０は、本処理を終了する。

以上に処理により、ＨＭＤ１０を装着するユーザ１は、実環境１００の適切な位置に重畳されたＭＲ画像を見ることができる。

＜環境モデル内におけるロボットモデルの配置位置の決定方法＞
図６、図７、図８を参照して、環境モデル内におけるロボットモデルの配置位置の決定方法について説明する。なお、ＨＭＤ１０は、図６～図８に示すいずれの方法でロボットモデルの配置位置を決定してもよい。

図６は、マーカ１０２が設置されている位置にロボットモデルを配置する場合を示す図である。

ユーザ１は、実環境１００においてロボットを設置する予定の作業台１０１の位置に所定のマーカ１０２（例えば二次元コード）を設置する。この場合、環境モデル生成部３４は、図４のステップＳ１６において、マーカ１０２を検出し、その検出されたマーカ１０２の位置をロボットモデルの配置位置に決定する。

図７は、実際のロボット１０３が設置されている位置にロボットモデルを配置する場合を示す図である。

環境モデル生成部３４は、図４のステップＳ１６において、実際のロボット１０３が設置されている位置を検出し、その検出された実際のロボット１０３の位置をロボットモデルの配置位置に決定する。なお、実際のロボット１０３が交換された場合、環境モデル生成部３４は、交換後の実際のロボット１０３が設置されている位置を検出し直してよい。

図８は、ユーザ１が指定した位置にロボットモデルを配置する場合を示す図である。

環境モデル生成部３４は、図４のステップＳ１６において、ユーザ１に対して、実環境１００においてロボットを設置する予定の位置を示すよう指示する。ユーザ１は、操作装置１７を通じて、表示装置１８に表示される矢印画像１０４を操作して、実環境１００においてロボットを設置する予定の位置を指示する。この場合、環境モデル生成部３４は、ユーザ１に指示された位置を、ロボットモデルの配置位置に決定する。なお、ロボットを設置する予定の位置をユーザ１の操作により指示する態様は、矢印画像１０４の操作に限られない。例えば、ユーザ１が、操作装置１７を通じて、ロボットの配置位置に対応する座標を直接入力してもよい。あるいは、ユーザ１がロボットを設置する予定の位置に触れると、環境モデル生成部３４は、そのユーザ１が触れた位置を検出し、その検出した位置を、ロボットモデルの配置位置に決定してもよい。また、ユーザ１の操作（例えばジェスチャ）により、決定されたロボットモデルの配置位置を修正してもよい。

＜干渉部位表示モード又は挟み込みリスク表示モード＞
図９を参照して、干渉部位表示モード及び挟み込みリスク表示モードについて説明する。図９は、干渉部位表示モード又は挟み込みリスク表示モードにおけるＭＲ画像の一例を示す図である。

＜＜干渉部位の検出＞＞
シミュレーション部３７は、ロボットモデルを動作シーケンスに基づいて動作させた場合に、ロボットモデルと干渉するおそれのある環境モデルの部位（以下、干渉部位と称する）を検出する。図５のステップＳ２１にて干渉部位表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１０１～Ｓ１０４の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１０１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１０２）。

シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１０３）。

シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルと干渉する環境モデルの部位（干渉部位）と、動作シーケンスの時間におけるその干渉が発生したタイミング（以下、干渉タイミングと称する）とを特定し、それら特定した情報（以下、干渉情報と称する）を、メモリ１５又はストレージ１６に格納する（Ｓ１０４）。例えば、シミュレーション部３７は、ロボットモデルとの距離が０以下である環境モデルの部位を、干渉部位に特定する。ただし、ロボットモデルの姿勢の制御誤差を考慮し、シミュレーション部３７は、ロボットモデルとの距離が０以下である環境モデルの部位に限らず、ロボットモデルとの距離が所定の干渉閾値未満（ただし干渉閾値は０より大きい）である環境モデルの部位を、干渉部位に特定してもよい。

また、シミュレーション部３７は、干渉閾値を、ロボットモデルの移動速度に応じて変化させてもよい。例えば、シミュレーション部３７は、ロボットモデルの移動速度が速いほど、干渉閾値を大きく設定してもよい。ロボットモデルの移動速度が速いほど、現実の動作とシミュレーションの動作との間の誤差が大きくなり易いため、たとえシミュレーション上は干渉が発生していなくとも実環境では干渉が発生し易くなるためである。なお、干渉情報及び干渉閾値は、表示モード関連情報の一例である。

＜＜干渉部位のＭＲ画像表示＞＞
図５のステップＳ２１にて干渉部位表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、上述した干渉情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、干渉部位に対応する実環境１００の部位に干渉画像１１１が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

ＭＲ画像生成部３８は、動作シーケンスに従って、ロボットモデル画像１１０及び干渉画像１１１を変化させてよい。すなわち、ＭＲ画像生成部３８は、動作シーケンスに従ってロボットモデルを動作させた場合における、ロボットモデルの姿勢の変化と干渉部位の時間変化とを示す動画像（以下、干渉動画像と称する）を、表示装置１８に表示する。

ＭＲ画像生成部３８は、操作装置１７に対するユーザ１の操作に応じて、干渉動画像の再生、一時停止、巻き戻し等を行ってよい。

ＭＲ画像生成部３８は、干渉タイミングで、干渉動画像の再生を自動的に一時停止してよい。これにより、ＨＭＤ１０を装着しているユーザ１は、操作装置１７を操作せずに、干渉発生時のロボットの姿勢と干渉部位とを容易に確認できる。

ＭＲ画像生成部３８は、干渉タイミングのリストを表示装置１８に表示し、ユーザ１に１つの干渉タイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した干渉タイミングにおけるロボットモデル画像１１０及び干渉画像１１１を、表示装置１８に表示してよい。これにより、ユーザ１は、複数の干渉タイミングが存在する場合に、所望の干渉タイミングにおけるロボットモデルの姿勢等を簡単に確認することができる。

ＭＲ画像生成部３８は、複数の干渉タイミングのリストを表示し、ユーザ１に２以上の干渉タイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した２以上の干渉タイミングにおけるロボットモデル画像１１０及び干渉画像１１１を、まとめて（同時に）表示装置１８に表示してよい。これにより、ユーザ１は、複数の干渉タイミングが存在する場合に、所望の２以上の干渉タイミングにおけるロボットモデルの姿勢等を、まとめて確認することができる。

ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色した画像であってよい。干渉画像１１１は、干渉部位の輪郭部分を着色した画像であってよい。ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色し、ロボットモデルの輪郭の内部の透過性を高めた画像であってよい。干渉画像１１１は、干渉部位の輪郭部分を着色し、干渉部位の輪郭の内部の透過性を高めた画像であってよい。ロボットモデルの輪郭部分の色、又は、干渉部位の輪郭部分の色は、干渉動画像の再生時間に応じて変化してよい。これにより、干渉部位の視認性が向上する。

＜＜挟み込み部位の検出＞＞
シミュレーション部３７は、ロボットを動作シーケンスに基づいて動作させた場合に、作業者の身体の一部を挟み込んでしまうリスクのあるロボットモデルの部位と環境モデルの部位（挟み込み部位と称する）とを検出する。図５のステップＳ２１にて挟み込み部位表示モードが選択された場合、シミュレーション部は、ステップＳ２２にて、以下のＳ１１１～Ｓ１１４の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１１１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１１２）。

シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１１３）。

シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルが環境モデルに接近し、かつ、その接近した際の距離が所定の挟み込み閾値未満となる部位（挟み込み部位）と、動作シーケンスの時間におけるその挟み込みが発生したタイミング（以下、挟み込みタイミングと称する）とを特定し、それら特定した情報（以下、挟み込み情報と称する）を、メモリ１５又はストレージ１６に格納する（Ｓ１１４）。挟み込み閾値は、作業者の身体のどの部位（例えば、胴体、腕、指）が挟まれる可能性があるかによって異なってよい。例えば、指が挟まれる可能性がある挟み込み部位に関する挟み込み閾値は、胴体が挟まれる可能性がある挟み込み部位に関する挟み込み閾値よりも、小さくてよい。また、この場合、作業者の体の各部位について挟まれる可能性を示す挟み込み情報を、それぞれメモリ１５又はストレージ１６に格納してもよい。

また、シミュレーション部３７は、挟み込み閾値を、ロボットモデルの移動速度に応じて変化させてもよい。例えば、シミュレーション部３７は、ロボットモデルの移動速度が速いほど、挟み込み閾値を大きくしてもよい。ロボットモデルの移動速度が速いほど、現実の動作とシミュレーションの動作との間の誤差が大きくなり易いため、たとえシミュレーション上は挟み込みが発生していなくとも実環境では挟み込みが発生し易くなるためである。なお、挟み込み情報及び挟み込み閾値は、表示モード関連情報の一例である。

＜＜挟み込み部位のＭＲ画像表示＞＞
図５のステップＳ２１にて挟み込み部位表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、上述した挟み込み情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、挟み込み部位に対応するロボットモデルの部位及び実環境１００の部位に挟み込み画像１１２が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

ＭＲ画像生成部３８は、動作シーケンスに従って、ロボットモデル画像１１０及び挟み込み画像１１２を変化させてよい。すなわち、ＭＲ画像生成部３８は、動作シーケンスに従ってロボットモデルを動作させた場合における、ロボットモデルの姿勢と挟み込み部位との時間変化を示す動画像（以下、挟み込み動画像と称する）を、表示装置１８に表示する。

ＭＲ画像生成部３８は、操作装置１７に対するユーザ１の操作に応じて、挟み込み動画像の再生、一時停止、巻き戻し等を行ってよい。これにより、ユーザ１は、挟み込みが発生する状況を詳細に確認することができる。

ＭＲ画像生成部３８は、挟み込みタイミングで、挟み込み動画像の再生を自動的に一時停止してよい。これにより、ＨＭＤ１０を装着しているユーザ１は、操作装置１７を操作せずに、挟み込み発生時のロボットの姿勢と挟み込み部位とを確認できる。

ＭＲ画像生成部３８は、挟み込みタイミングのリストを表示装置１８に表示し、ユーザ１に１つの挟み込みタイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した挟み込みタイミングにおけるロボットモデル画像１１０及び挟み込み画像１１２を、表示装置１８に表示してよい。これにより、ユーザ１は、複数の挟み込みタイミングが存在する場合に、所望の挟み込みタイミングにおけるロボットモデルの姿勢等を簡単に確認することができる。

ＭＲ画像生成部３８は、複数の挟み込みタイミングのリストを表示し、ユーザ１に２以上の挟み込みタイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した２以上の挟み込みタイミングにおけるロボットモデル画像１１０及び挟み込み画像１１２を、まとめて（同時に）表示装置１８に表示してよい。これにより、ユーザ１は、複数の挟み込みタイミングが存在する場合に、所望の２以上の挟み込みタイミングにおけるロボットモデルの姿勢等をまとめて確認することができる。

ＭＲ画像生成部３８は、ユーザ１が挟み込みリスクが低いとして選択した挟み込み画像１１２については、当該挟み込み画像１１２を非表示にしてよい。

ＭＲ画像生成部３８は、作業者の体の各部位について挟まれる可能性を示す挟み込み情報を利用できる場合には、各部位のうちユーザ１に指定された部位に対応する挟み込み画像１１２を表示し、他の挟み込み画像１１２を非表示にしてもよい。また、ＭＲ画像生成部３８は、複数の部位の挟み込み画像１１２を同時に表示してもよい。この場合、部位ごとに異なる態様（異なる色や透明度等）を用いて挟み込み画像１１２を表示してもよい。このようにすることで、ユーザ１は、部位ごとの挟み込みのリスクを容易に把握することができる。

ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色した画像であってよい。挟み込み画像１１２は、挟み込み部位の輪郭部分を着色した画像であってよい。ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色し、ロボットモデルの輪郭の内部の透過性を高めた画像であってよい。挟み込み画像１１２は、挟み込み部位の輪郭部分を着色し、挟み込み部位の輪郭の内部の透過性を高めた画像であってよい。ロボットモデルの輪郭部分の色、又は、挟み込み部位の輪郭部分の色は、挟み込み動画像の再生時間に応じて変化してよい。これにより、挟み込み部位の視認性が向上する。

＜衝突リスク表示モード及び動作効率表示モード＞
図１０を参照して、衝突リスク表示モード及び動作効率表示モードについて説明する。図１０は、衝突リスク表示モード又は動作効率表示モードにおけるＭＲ画像の一例を示す図である。

＜＜衝突リスクの検出＞＞
ロボットと作業者が実環境１００における作業空間の一部を共有する場合において、シミュレーション部３７は、ロボット動作計画を自動生成し、ロボット動作時における作業者との衝突リスクを分析する。図５のステップＳ２１にて衝突リスク表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１２１～Ｓ１２６の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１２１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１２２）。

ユーザ１は、作業者の作業時における位置及び姿勢等を、環境モデルに入力する（Ｓ１２３）。例えば、ユーザ１は、作業者が部品の取り出しを行う場所及び範囲、又は、作業者が作業を行う位置等を入力する。

ユーザ１は、ロボットと作業者が共同で作業を行う共同作業エリアを、環境モデルに入力する（Ｓ１２４）。

シミュレーション部３７は、環境モデルと干渉しないようなロボット動作計画を自動生成する（Ｓ１２５）。このとき、シミュレーション部３７は、ステップＳ１２３及びＳ１２４で入力された作業者の位置及び姿勢、並びに、共同作業エリアを考慮して、ロボット動作計画を生成してよい。

シミュレーション部３７は、ロボット動作計画を生成する公知の技術を用いて、ロボット動作計画を生成してよい。ロボット動作計画を生成する公知の技術の例として、ＲＲＴ（Rapidly-Exploring Random Tree）、ＲＲＴ＊、ＰＲＭ（Probabilistic Roadmap Method）等のランダムサンプリングによる経路生成技術、ＣＨＯＭＰ（Rapidly-Exploring Random Tree）、ＳＴＯＭＰ（Stochastic Trajectory Optimization for Motion Planning）、ＴｒａｊＯｐｔ（Trajectory Optimization for Motion Planning）等の経路最適化による経路生成技術、ダイクストラ法、Ａ＊等のグラフ探索による経路生成技術が挙げられる。

シミュレーション部３７は、ロボット動作計画に基づいてロボットモデルを動作させ、ロボットが動作する各タイミングにおいて当該ロボットが作業者と衝突するリスクを算出し、それら算出した情報（以下、衝突リスク情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１２６）。なお、衝突リスク情報は、表示モード関連情報の一例である。

＜＜衝突リスクのＭＲ画像表示＞＞
図５のステップＳ２１にて衝突リスク表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、上述した衝突リスク情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、衝突リスクがあるロボットの部位及び実環境１００の部位に衝突リスク画像１１３が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

ＭＲ画像生成部３８は、衝突リスク画像１１３として、共同作業エリアにおける衝突リスクを示す情報を、表示装置１８に表示してよい。ＭＲ画像生成部３８は、衝突リスク画像１１３と合わせて、上述した挟み込み画像１１２を、表示装置１８に表示してもよい。

ＭＲ画像生成部３８は、共同作業エリアに作業者の腕が侵入する位置及び／又は速度を想定し、衝突リスク画像１１３として、その位置及び／又は速度で侵入した腕をロボットが自動で回避可能か否かを示す情報を、表示装置１８に表示してよい。

ＭＲ画像生成部３８は、共同作業エリアに作業者の腕が侵入する位置及び／又は速度を想定し、衝突リスク画像１１３として、その位置及び／又は速度で侵入した腕にロボットが衝突した場合の衝撃に大きさを示す情報を、表示装置１８に表示してよい。

ＭＲ画像生成部３８は、ユーザ１が作業空間に腕を入れたことを検知し、衝突リスク画像１１３として、検知した腕をロボットが自動で回避可能か否かを示す情報を、表示装置１８に表示してよい。

ＭＲ画像生成部３８は、ユーザ１が作業空間に腕を入れたことを検知し、衝突リスク画像１１３として、検知した腕にロボットが衝突した場合の衝撃に大きさを示す情報を、表示装置１８に表示してよい。

＜＜動作効率の算出＞＞
シミュレーション部３７は、ロボット動作計画を自動生成し、ロボット動作の効率を分析する。図５のステップＳ２１にて動作効率表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１３１～Ｓ１３６の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルと取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１３１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１３２）。

ユーザ１は、作業者の作業時における位置及び姿勢等を、環境モデルに入力する（Ｓ１３３）。例えば、ユーザ１は、作業者が部品の取り出しを行う場所及び範囲、又は、作業者が作業を行う位置等を入力する。

シミュレーション部３７は、環境モデルと干渉しないようなロボット動作計画を自動生成する（Ｓ１３４）。このとき、シミュレーション部３７は、ステップＳ１３３で入力された作業者の位置及び姿勢を考慮して、ロボット動作計画を生成してよい。シミュレーション部３７は、上述した公知の技術を用いて、ロボット動作計画を生成してよい。

シミュレーション部３７は、ロボット動作計画に基づいてロボットモデルを動作させ、ロボットが動作する各タイミングにおけるロボットの動作速度を算出し、それら算出した情報（以下、基準動作効率情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１３５）。

シミュレーション部３７は、環境モデルを構成する一部の部位を除去し、ロボット動作計画に基づいてロボットモデルを動作させ、ロボットが動作する各タイミングにおけるロボットの動作速度を算出し、それら算出した情報（以下、改善動作効率情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１３６）。以下、環境モデルにおいて除去された部位を、除去部位と称する。改善動作効率情報を算出するにあたり、シミュレーション部３７は、以下の（Ａ１）～（Ａ４）の少なくとも１つを実行してよい。なお、基準動作効率情報及び改善動作効率情報は、表示モード関連情報の一例である。

（Ａ１）シミュレーション部３７は、除去部位を変更して、複数の改善動作効率情報を算出する。この場合、シミュレーション部３７は、除去部位をランダムに選択してよい。
（Ａ２）シミュレーション部３７は、基準動作効率情報を生成した際にロボットと最も接近した部位を優先的に除去する。
（Ａ３）シミュレーション部３７は、環境モデルを構成する移動可能な物体の中から除去部位を選択する。この場合、シミュレーション部３７は、画像認識処理等によって物体が移動可能か否を判定してよい。
（Ａ４）シミュレーション部３７は、ユーザ１に指示された環境モデルにおける物体を除去部位として除去する。

＜＜動作効率のＭＲ画像表示＞＞
図５のステップＳ２１にて動作効率表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、上述した基準動作効率情報及び改善動作効率情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、動作改善前及び動作改善後のロボット動作の動画像が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

ＭＲ画像生成部３８は、動作改善前のロボット動作の動画像と、動作改善後のロボット動作の動画像とを、ユーザ１の指示により切り替えて表示装置１８に表示してよい。

ＭＲ画像生成部３８は、動作改善後のロボット動作の動画像を表示する際に、ロボット動作速度の改善の大きさを示す情報を合わせて表示装置１８に表示してよい。

ＭＲ画像生成部３８は、動作改善後のロボット動作の動画像を表示する際に、動作改善のために除去された除去部位に対応する実環境１００における部位に、除去画像１１４を重畳して表示してよい。

ＭＲ画像生成部３８は、改善の大きさに応じて、除去画像１１４の輪郭の色を変化させてもよい。

ＭＲ画像生成部３８は、除去部位の位置と、除去部位を除去してロボットを動作させた場合における干渉画像１１１を、表示装置１８に表示してもよい。

＜動作範囲表示モード＞
図１１を参照して、動作範囲表示モードについて説明する。図１１は、動作範囲表示モードにおけるＭＲ画像の一例を示す図である。

＜＜動作範囲の検出＞＞
シミュレーション部３７は、ロボットモデルを動作させて、ロボットが到達可能は範囲を検出する。図５のステップＳ２１にて動作範囲表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１４１～Ｓ１４３の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１４１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１４２）。

シミュレーション部３７は、ロボットモデルがとり得る様々な姿勢でロボットモデルを動作させて、環境モデル内においてロボットモデルが到達可能な範囲（つまり動作範囲）を検出し、その検出した動作範囲を示す情報（以下、動作範囲情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１４３）。なお、動作範囲情報は、表示モード関連情報の一例である。

ステップＳ１４３において、シミュレーション部３７は、環境モデルと干渉する姿勢を取らないように、ロボットモデルを動作させてよい。また、シミュレーション部３７は、ロボットの設定により稼働可能な関節角及び制限領域等を考慮して、ロボットモデルを動作させてよい。

＜＜動作範囲のＭＲ画像表示＞＞
図５のステップＳ２１にて動作範囲表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、上述した動作範囲情報が示すロボットの動作範囲を示す画像（以下、動作範囲画像１１５と称する）が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

＜ロボット動作軌跡表示モード＞
図１２を参照して、ロボット動作軌跡表示モードについて説明する。図１２は、ロボット動作軌跡表示モードにおけるＭＲ画像の一例を示す図である。

＜＜ロボット動作軌跡の特定＞＞
シミュレーション部３７は、ロボットモデルを動作させて、ロボットの動作軌跡を特定する。図５のステップＳ２１にて動作軌跡表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１５１～Ｓ１５４の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１５１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１５２）。

シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１５３）。

シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルの動作軌跡を示す情報（以下、動作軌跡情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１５４）。なお、動作軌跡情報は、表示モード関連情報の一例である。

＜＜ロボット動作軌跡のＭＲ画像表示＞＞
図５のステップＳ２１にてロボット動作軌跡表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、動作軌跡情報が示すロボットの動作軌跡画像１１６が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

ＭＲ画像生成部３８は、動作シーケンスの異なるタイミングにおける少なくとも２つの動作軌跡画像１１６を、同時に表示装置１８に表示してもよい。これにより、ユーザ１は、複数のタイミングでの動作軌跡を同時に確認することが可能となる。また、この場合、ＭＲ画像生成部３８は、各タイミングの動作軌跡画像１１６について、輪郭のみを表示したり、一部又は全体を半透明にして表示したりしてもよい。これにより、動作軌跡画像同士が重複している場合であっても、ユーザ１は、正確に各タイミングの動作軌跡を確認することができる。

ＭＲ画像生成部３８は、ロボットの実時間の作業速度に応じて、動作軌跡画像１１６を動画像として再生し、表示装置１８に表示してもよい。これにより、ユーザ１は、ロボットを実際に設定して動作させた場合の動作を確認することができる。

ＭＲ画像生成部３８は、ロボットの実時間の作業速度とは異なる速度（例えば高速又は低速）にて、動作軌跡画像を動画像として再生し、表示装置１８に表示してもよい。これにより、ユーザ１は、高速で動作軌跡画像を再生する場合、ロボットの動作軌跡を短時間で確認することができ、低速で動作軌跡画像を再生する場合、ロボットの動作軌跡を精緻に確認することができる。

＜作業可能範囲表示モード＞
図１３を参照して、作業可能範囲表示モードについて説明する。図１３は、作業可能範囲表示モードにおけるＭＲ画像の一例を示す図である。

＜＜作業可能範囲の検出＞＞
シミュレーション部３７は、ロボットモデルを動作させて、ロボットと共同作業する作業者又は機械（他のロボットや工作機械等）の作業可能範囲を特定する。図５のステップＳ２１にて作業可能範囲表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１６１～Ｓ１６４の処理を実行してよい。

シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１６１）。

シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１６２）。

シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１６３）。

シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルが環境モデルと干渉せずに到達可能な範囲を検出し、その検出した情報（以下、作業可能範囲情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１６４）。なお、作業可能範囲情報は、表示モード関連情報の一例である。

＜＜作業可能範囲のＭＲ画像表示＞＞
図５のステップＳ２１にて作業可能範囲表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。

ＭＲ画像生成部３８は、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、作業可能範囲情報が示す範囲に作業可能範囲画像１１７が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。

＜複数ＨＭＤの連携利用＞
図１４を参照して、複数のＨＭＤ１０を連携させて利用する方法について説明する。図１４は、複数のＨＭＤ１０を連携して利用する方法を説明するための図である。

例えば、環境モデル生成処理において、以下の（Ｂ１）又は（Ｂ２）のように、複数のＨＭＤ１０が用いられてよい。

（Ｂ１）複数のユーザ１がそれぞれＨＭＤ１０を装着して実環境１００内を移動する。そして、各ＨＭＤ１０が取得した３次元データを統合して、実環境１００に対応する環境モデルを生成する。これにより、より効率的に実環境１００の３次元データを生成できる。

（Ｂ２）複数のユーザ１が異なる実環境１００に存在し、各ＨＭＤ１０がそれぞれロボットの設置場所の周辺に配置される予定の実際の部材（以下、実部材と称する）を３次元スキャンして得た３次元データを統合して、環境モデルを生成する。この場合、異なる実部材の３次元データの位置合わせは、所定のマーカによって行われてもよいし、ユーザ１の操作によって行われてもよい。あるいは、異なる実部材の３次元データの位置合わせは、衝突が起こらないことを示す指標を目印として、自動で行われてもよい。

また、複数のＨＭＤ１０が接続される所定のサーバ（図示しない）を設けてよい。この場合、サーバは、各ＨＭＤ１０から３次元データ等を受信し、その受信した複数の３次元データ等をリアルタイムで統合し、環境モデルを生成してもよい。なお、サーバは、情報処理装置の一例である。

サーバは、１又は複数のＨＭＤ１０で取得した３次元データ等を蓄積し、その３次元データ等から生成した環境モデルを、異なる時刻又は場所の環境モデルと統合してもよい。

サーバは、あらかじめ設計されたオブジェクト（例えばＣＡＤデータ等）を、環境モデルに統合してもよい。

複数のＨＭＤ１０を連携して利用する場合、あるユーザ１が選択した表示モードを他のＨＭＤ１０にも送信し、複数のＨＭＤ１０にて同じ表示モードのＭＲ画像を表示してもよい。また、あるユーザ１による再生操作等を他のＨＭＤ１０にも送信し、複数のＨＭＤ１０にて同じ動画像を表示してもよい。

あるいは、複数のＨＭＤ１０を連携して利用する場合、ユーザ１はそれぞれ個別にＨＭＤ１０を操作し、ＨＭＤ１０はそれぞれ個別に動作してもよい。

＜変形例＞
ＨＭＤ１０は、非透過型であってもよい。この場合、ＨＭＤ１０は、実環境１００を撮像した画像にＭＲ画像を重畳して表示装置１８に表示すればよい。

上述した実施の形態では、シミュレーション部３７は、ロボットモデルを動作させている。しかし、ロボットモデルの正確な動きを検出する必要がなければ、ロボットモデルを実際に動作させなくともよい。例えば、ロボットモデルの基準姿勢を中心とした所定の距離内をロボットの動作範囲として推定することなどが考えられる。

上述した実施の形態では、ロボットが挟み込んだり衝突したりする対象として作業者を例に説明している。しかし、挟み込みや衝突の可能性がある物体は、作業者に限られず、ロボットモデルに対応するロボット以外の任意の物体（他の物体）について挟み込みや衝突の可能性を分析して表示してもよい。他の物体の例として、同じ実環境に設置されているロボットや設置される予定のロボット、または、コンベアなどの他の機械が考えられる。特に、他の物体が移動または変形する物体の場合、ロボットによる挟み込みや衝突が発生する可能性を予測しにくいため、ＭＲ画像として表示することは有益である。

上述した実施の形態では、ロボット動作計画の生成において、作業者の作業時における位置及び姿勢等を環境モデルに追加しているが、作業者以外の情報も環境モデルに追加してもよい。例えば、同じ環境で動作する他のロボットや機械の位置及び姿勢等を環境モデルに追加してもよい。このようにすることで、ロボットが他のロボットや機械と共同作業が行われる状況におけるロボット動作計画を生成することができる。

上述した実施の形態において、挟み込みまたは衝突のリスクを表示する場合、その状況におけるロボットモデルの動作速度に応じて表示の態様を変化させてもよい。一般的に、速い速度で挟み込みまたは衝突が発生する場合の方が、作業者等は回避の行動をとりにくいため、より高いリスクがあることを通知するとよいためである。

（本開示のまとめ）
本開示の内容は、以下のように表現することができる。

＜表現１＞
情報処理装置（例えばＨＭＤ）１０は、プロセッサ２０及び表示装置１８を備え、プロセッサ２０は、ロボットが設置される実環境１００をモデル化した環境モデル内に、ロボットをモデル化したロボットモデルを配置し、環境モデル内にてロボットモデルを動作させて、ロボットと実環境１００との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、表示モード関連情報に基づく画像を、実環境１００内に存在するユーザ１が有する表示装置１８に表示する。
これにより、表示装置１８を有するユーザ１は、ロボットを設置する前に、表示モードに対応するロボットと実環境との関係性を、表示装置１８に表示される表示モードに対応する表示態様の画像にて、視覚的に確認することができる。

＜表現２＞
表現１に記載の情報処理装置１０において、実環境１００を３次元スキャンする３次元スキャナ１１をさらに備え、プロセッサ２０は、実環境１００内に存在して３次元スキャナ１１を有するユーザ１に移動を指示し、３次元スキャナ１１から得られる３次元データに基づいて環境モデルを生成してよい。
これにより、情報処理装置１０は、３次元スキャナ１１を有するユーザ１を移動させて、様々な方向の３次元データを得ることができ、３次元の環境モデルを生成することができる。

＜表現３＞
表現１に記載の情報処理装置１０において、表示モードが、動作中のロボットが実環境１００の部位と干渉するリスクを表示する干渉部位表示モードである場合、表示モード関連情報は、動作中のロボットモデルが干渉するリスクを有する環境モデルの部位である干渉部位を示す情報を含み、表示モード関連情報に基づく画像は、環境モデルの干渉部位に対応する実環境の部位を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００におけるロボットと干渉するリスクを有する部位を、表示装置１８に表示される干渉部位を示す画像にて視覚的に確認することができる。

＜表現４＞
表現１に記載の情報処理装置１０において、表示モードが、動作中のロボットが他の物体を挟み込むリスクを表示する挟み込みリスク表示モードである場合、表示モード関連情報は、動作中のロボットモデルが作業者を挟み込むリスクを有するロボットモデル又は環境モデルの部位である挟み込み部位を示す情報を含み、表示モード関連情報に基づく画像は、ロボットモデルの挟み込み部位、又は、環境モデルの挟み込み部位に対応する前記実環境の部位を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００における他の物体を挟み込むリスクを有する部位を、表示装置１８に表示される挟み込み部位を示す画像にて視覚的に確認することができる。

＜表現５＞
表現１に記載の情報処理装置１０において、表示モードが、動作中のロボットが他の物体と衝突するリスクを表示する衝突リスク表示モードである場合、表示モード関連情報は、動作中のロボットモデルが他の物体と衝突するリスクを有するロボットモデル又は環境モデルの部位である衝突部位を示す情報を含み、表示モード関連情報に基づく画像は、ロボットモデルの衝突部位、又は、環境モデルの衝突部位に対応する実環境の部位を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００における他の物体と衝突するリスクを有する部位を、表示装置１８に表示される衝突部位を示す画像にて視覚的に確認することができる。

＜表現６＞
表現１に記載の情報処理装置１０において、表示モードが、ロボットの動作の効率を低下させる要因を表示する動作効率表示モードである場合、表示モード関連情報は、除去した場合にロボットモデルの動作の効率が向上する環境モデルの部位である除去部位を示す情報を含み、表示モード関連情報に基づく画像は、環境モデルの除去部位に対応する実環境の部位を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００における除去することによってロボットの動作効率が向上する部位を、表示装置１８に表示される除去部位を示す画像にて視覚的に確認することができる。

＜表現７＞
表現１に記載の情報処理装置１０において、表示モードが、ロボットの動作範囲を表示する動作範囲表示モードである場合、表示モード関連情報は、ロボットモデルを動作させた場合にロボットモデルが到達可能な範囲を示す情報を含み、表示モード関連情報に基づく画像は、実環境におけるロボットモデルが到達可能な範囲を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００におけるロボットが到達可能な範囲を、表示装置１８に表示されるロボットモデルが到達可能な範囲を示す画像にて視覚的に確認することができる。

＜表現８＞
表現１に記載の情報処理装置１０において、表示モードが、ロボットの動作軌跡を表示するロボット動作軌跡表示モードである場合、表示モード関連情報は、ロボットモデルを動作させた場合のロボットモデルの動作軌跡を示す情報であり、表示モード関連情報に基づく画像は、実環境におけるロボットモデルの動作軌跡を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００におけるロボットの動作軌跡を、表示装置１８に表示されるロボットモデルの動作軌跡を示す画像にて視覚的に確認することができる。

＜表現９＞
表現１に記載の情報処理装置１０において、表示モードが、ロボットと共同作業を行う作業者又は機械が作業可能な範囲を表示する作業可能範囲表示モードである場合、表示モード関連情報は、ロボットモデルを動作させた場合にロボットモデルが環境モデルと干渉せずに到達可能な範囲を示す情報を含み、表示モード関連情報に基づく画像は、実環境における、ロボットモデルが環境モデルと干渉せずに到達可能な範囲を示してよい。
これにより、表示装置１８を有するユーザ１は、実環境１００においてロボットが干渉せずに到達可能は範囲を、表示装置１８に表示されるロボットモデルが環境モデルと干渉せずに到達可能な範囲を示す画像にて視覚的に確認することができる。

＜表現１０＞
情報処理装置（例えばＨＭＤ）１０による情報処理方法では、ロボットが設置される実環境をモデル化した環境モデル内に、ロボットをモデル化したロボットモデルを配置し、環境モデル内にてロボットモデルを動作させて、ロボットと実環境１００との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、表示モード関連情報に基づく画像を、実環境１００内に存在するユーザ１が有する表示装置１８に表示する。
これにより、表示装置１８を有するユーザ１は、ロボットを設置する前に、表示モードに対応するロボットと実環境との関係性を、表示装置１８に表示される表示モードに対応する表示態様の画像にて、視覚的に確認することができる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示の技術は、工場設備等にロボットを設置する際の事前確認に有用である。

１ ユーザ
１０ ＨＭＤ
１１ ３次元スキャナ
１２ 加速度センサ
１３ ジャイロセンサ
１４ 地磁気センサ
１５ メモリ
１６ ストレージ
１７ 操作装置
１８ 表示装置
１９ 通信装置
２０ プロセッサ
２１ バス
３１ 操作取得部
３２ センシングデータ取得部
３３ 視点算出部
３４ 環境モデル生成部
３５ 環境モデル格納部
３６ ロボットモデル格納部
３７ シミュレーション部
３８ ＭＲ画像生成部
１００ 実環境
１０１ 作業台
１０２ マーカ
１０３ 実際のロボット
１０４ 矢印画像
１１０ ロボットモデル画像
１１１ 干渉画像
１１２ 挟み込み画像
１１３ 衝突リスク画像
１１４ 除去画像
１１５ 動作範囲画像
１１６ 動作軌跡画像
１１７ 作業可能範囲画像

Claims (10)

1. 情報処理装置であって、プロセッサ及び表示装置を備え、
   前記プロセッサは、
   ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、
   前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、
   前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する前記表示装置に表示する、
   情報処理装置。
2. 前記実環境を３次元スキャンする３次元スキャナをさらに備え、
   前記プロセッサは、
   前記実環境内に存在して前記３次元スキャナを有するユーザに移動を指示し、
   前記３次元スキャナから得られる３次元データに基づいて前記環境モデルを生成する、
   請求項１に記載の情報処理装置。
3. 前記表示モードが、動作中の前記ロボットが前記実環境の部位と干渉するリスクを表示する干渉部位表示モードである場合、
   前記表示モード関連情報は、動作中の前記ロボットモデルが干渉するリスクを有する前記環境モデルの部位である干渉部位を示す情報を含み、
   前記表示モード関連情報に基づく画像は、前記環境モデルの前記干渉部位に対応する前記実環境の部位を示す、
   請求項１に記載の情報処理装置。
4. 前記表示モードが、動作中の前記ロボットが他の物体を挟み込むリスクを表示する挟み込みリスク表示モードである場合、
   前記表示モード関連情報は、動作中の前記ロボットモデルが作業者を挟み込むリスクを有する前記ロボットモデル又は前記環境モデルの部位である挟み込み部位を示す情報を含み、
   前記表示モード関連情報に基づく画像は、前記ロボットモデルの前記挟み込み部位、又は、前記環境モデルの前記挟み込み部位に対応する前記実環境の部位を示す、
   請求項１に記載の情報処理装置。
5. 前記表示モードが、動作中の前記ロボットが他の物体と衝突するリスクを表示する衝突リスク表示モードである場合、
   前記表示モード関連情報は、動作中の前記ロボットモデルが作業者と衝突するリスクを有する前記ロボットモデル又は前記環境モデルの部位である衝突部位を示す情報を含み、
   前記表示モード関連情報に基づく画像は、前記ロボットモデルの前記衝突部位、又は、前記環境モデルの前記衝突部位に対応する前記実環境の部位を示す、
   請求項１に記載の情報処理装置。
6. 前記表示モードが、前記ロボットの動作の効率を低下させる要因を表示する動作効率表示モードである場合、
   前記表示モード関連情報は、除去した場合に前記ロボットモデルの動作の効率が向上する前記環境モデルの部位である除去部位を示す情報を含み、
   前記表示モード関連情報に基づく画像は、前記環境モデルの前記除去部位に対応する前記実環境の部位を示す、
   請求項１に記載の情報処理装置。
7. 前記表示モードが、前記ロボットの動作範囲を表示する動作範囲表示モードである場合、
   前記表示モード関連情報は、前記ロボットモデルを動作させた場合に前記ロボットモデルが到達可能な範囲を示す情報を含み、
   前記表示モード関連情報に基づく画像は、前記実環境における前記ロボットモデルが到達可能な範囲を示す、
   請求項１に記載の情報処理装置。
8. 前記表示モードが、前記ロボットの動作軌跡を表示するロボット動作軌跡表示モードである場合、
   前記表示モード関連情報は、前記ロボットモデルを動作させた場合の前記ロボットモデルの動作軌跡を示す情報であり、
   前記表示モード関連情報に基づく画像は、前記実環境における前記ロボットモデルの動作軌跡を示す、
   請求項１に記載の情報処理装置。
9. 前記表示モードが、前記ロボットと共同作業を行う作業者又は機械が作業可能な範囲を表示する作業可能範囲表示モードである場合、
   前記表示モード関連情報は、前記ロボットモデルを動作させた場合に前記ロボットモデルが前記環境モデルと干渉せずに到達可能な範囲を示す情報を含み、
   前記表示モード関連情報に基づく画像は、前記実環境における、前記ロボットモデルが前記環境モデルと干渉せずに到達可能な範囲を示す、
   請求項１に記載の情報処理装置。
10. 情報処理装置による情報処理方法であって、
    ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、
    前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、
    前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する表示装置に表示する、
    情報処理方法。

Images