JP2021088028A

JP2021088028A - 表示装置及び表示プログラム

Info

Publication number: JP2021088028A
Application number: JP2019219471A
Authority: JP
Inventors: 雅文大場; Masafumi Oba; 航宮▲崎▼; Wataru Miyazaki
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2021-06-10
Anticipated expiration: 2039-12-04
Also published as: DE102020131815A1; US11538201B2; JP7409848B2; CN112894799A; US20210174555A1

Abstract

【課題】作業現場に実際にロボットを設置する前に、作業現場のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができるようにすること。【解決手段】表示装置は、所定のプログラムに従って動作する仮想ロボットを実空間上の物体と共に表示する拡張現実表示部と、拡張現実表示部から実空間上の作業対象までの距離を計測することによって、作業対象の位置を検出する位置検出部と、拡張現実表示部に表示される仮想ロボットを、位置検出部によって検出された作業対象の位置に基づいて動作させ、作業対象に対して所定の作業を実行させる制御部と、を備える。【選択図】図１

Description

本発明は、表示装置及び表示プログラムに関する。

従来、搬送装置によって搬送されるワークに対して所定の作業を行うシステムにおいて、例えば、繁忙期にロボットを追加で設置する場合、ロボットを設置した後の作業現場のレイアウトを事前に確認したい場合がある。また、ロボットを追加で設置することによる作業の改善効果を知るために、作業現場に設置した場合のロボットの処理能力を事前に確認したいという場合もある。

なお、特許文献１は、操作する機器の現在位置と、操作する機器を移動させる目的位置との関係を視覚的に把握可能な情報を提示することを目的として、駆動対象機器の３次元データおよび構造物の３次元データに基づいて、前記構造物の３次元データが規定する仮想空間内において、前記駆動対象機器に設定された制御点を通り第１の直線を含む照準座標軸の３次元データを生成する情報処理部と、前記駆動対象機器の３次元データ、前記構造物の３次元データおよび情報処理部が生成した前記照準座標軸の３次元データに基づいて、前記照準座標軸を出力装置に表示するための制御情報を生成する出力制御部とを備え、前記第１の直線は、前記制御点と前記構造物の表面との交点までの部分の線分である表示制御装置を開示している。

特許第６３８５６２７号公報

ロボットを追加で設置した後の作業現場のレイアウトを確認するためには、既存のシステムの図面にロボットを追加し、ロボットの作業範囲等を確認することによって、作業現場のレイアウトを再検討する必要がある。そのため、実際にロボットを作業現場に設置して作業を開始できるようになるまでの時間が多く掛かる問題がある。

また、ロボットの処理能力を事前に確認するため、従来では、オフラインソフトにおいて、ワークの流れをシミュレートしてロボットを動作させることによって、ロボットによる作業の改善効果を評価している。しかし、オフラインソフトでは、現実のワークの流れを正確に再現することは難しく、作業の改善効果を正確に評価できなかった。

したがって、作業現場に実際にロボットを設置する前に、作業現場のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行えることが望まれている。

本開示の表示装置の一態様は、所定のプログラムに従って動作する仮想ロボットを実空間上の物体と共に表示する拡張現実表示部と、前記拡張現実表示部から実空間上の作業対象までの距離を計測することによって、前記作業対象の位置を検出する位置検出部と、前記拡張現実表示部に表示される前記仮想ロボットを、前記位置検出部によって検出された前記作業対象の位置に基づいて動作させ、前記作業対象に対して所定の作業を実行させる制御部と、を備える。

本開示の表示プログラムの一態様は、コンピュータを、所定のプログラムに従って動作する仮想ロボットを実空間上の物体と共に表示する拡張現実表示部と、前記拡張現実表示部から前記作業対象の位置を計測する位置検出部と、前記拡張現実表示部に表示される前記仮想ロボットを、前記位置検出部によって計測された前記作業対象の位置に基づいて動作させ、前記作業対象に対して所定の作業を実行させる制御部と、を備える表示装置として機能させる。

本開示の表示装置の一態様によれば、作業現場に実際にロボットを設置する前に、作業現場のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。
また、本開示の表示プログラムの一態様によれば、コンピュータによって、作業現場に実際にロボットを設置する前に、作業現場のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。

本開示の一態様に係る表示装置の使用状態を示す図である。本開示の一態様に係る表示装置の構成を示すブロック図である。本開示の一態様に係る表示装置において作業対象の移動速度を計測する様子を示す図である。本開示の一態様に係る表示装置において作業対象に対する所定の作業を達成したことを示す情報を表示した状態を示す図である。本開示の一態様に係る表示装置における表示方法を示すフローチャートである。本開示の他の一態様に係る表示装置を示す概略図である。

以下、本開示の一態様について図面を参照して説明する。図１は、本開示の一態様に係る表示装置の使用状態を示す図である。図２は、本開示の一態様に係る表示装置の構成を示すブロック図である。

表示装置１は、例えば、工場内の作業現場１００に新たにロボットの設置を検討する際に、ロボットを設置した後の作業現場１００のレイアウトの確認と、ロボットの処理能力の確認とを事前に行うことができる装置である。図１に示す表示装置１は、表示部としての液晶モニタ画面を備えるタブレット型コンピュータによって構成される。

図１に示す実空間上の作業現場１００（物体）には、図１中の白抜き矢印で示す一方向に複数の作業対象３００（物体）を搬送する搬送装置２００（物体）が設置されている。作業現場１００には、搬送装置２００によって搬送される作業対象３００に対して作業を行う２人の作業者ＷＫ（物体）が示されている。

表示装置１は、図２に示すように、拡張現実表示部２と、位置検出部３と、制御部４と、作業対象管理部５と、を有する。
拡張現実表示部２は、図１に示すように、仮想ロボット１０を実空間上の物体（本実施形態では作業現場１００、搬送装置２００、作業対象３００及び作業者ＷＫである。）と共に表示する。拡張現実表示部１１は、一般的にはコンピュータのモニタ画面によって構成され、例えば表示装置１に設けられる撮像装置によって撮影された実空間上の上記物体を、仮想ロボット１０と共に表示する。

仮想ロボット１０は、表示装置１に予め記憶される所定のプログラムに従って拡張現実表示部１１に表示される仮想的なオブジェクトであり、実空間上には存在していない。しかし、拡張現実表示部２は、仮想ロボット１０を実空間上の物体に立体的に重畳して表示することによって、仮想ロボット１０が実空間上の作業現場１００にあたかも存在している（設置されている）かのような拡張現実画像を表示する。仮想ロボット１０は、拡張現実表示部２上において、実空間に実際にロボットが設置された場合と同様に、作業対象３００に対して作業プログラムに基づく所定の作業を行うように動作することができる。所定の作業とは、例えば、作業対象３００を把持して搬送装置２００上から別の場所に移送する払い出し作業、シール貼付作業等の、作業対象３００に対してロボットが実行可能な全ての作業を含む。

拡張現実表示部２は、仮想ロボット１０を任意の位置に配置可能に構成される。例えば、拡張現実表示部２がタッチパネルによって構成される場合、表示装置１の操作者が指又はタッチペンで仮想ロボット１０をタッチし、拡張現実表示部２内の任意の位置まで移動させることによって、仮想ロボット１０を任意の位置、すなわち、拡張現実表示部２に表示される実空間上においてロボットの設置を予定している任意の場所に配置させることができる。拡張現実表示部２における仮想ロボット１０の表示は、後述の制御部４の機能によって実現される。

位置検出部３は、拡張現実表示部２から作業対象３００の位置を検出する機能を有する。具体的には、位置検出部３は、作業対象３００を撮像可能な二次元カメラ等の撮像装置、距離画像センサ等を含んで構成される。図１では、位置検出部３は、表示装置１において拡張現実表示部２が配置される面と反対側の面に設けられる距離画像センサによって構成される例を示しているが、表示装置１とは別体に設けられる撮像装置、距離画像センサ等であってもよい。二次元カメラ等の撮像装置を使用する場合は、作業対象３００の見え方と位置を機械学習することによって、作業対象３００の位置を検出することができる。図１に示すように距離画像センサによって構成される位置検出部３は、撮影した実空間上の上記物体を、図１に示すように拡張現実表示部２に表示させる機能を兼ねることができる。位置検出部３は、実空間上の作業対象３００の画像を所定の処理プログラムに従って画像処理することによって、拡張現実表示部２から作業対象３００までの距離を計測する。位置検出部３による作業対象３００の位置の検出は、後述の作業対象管理部５の機能によって実現される。

制御部４は、拡張現実表示部２に表示される実空間上の物体に重畳して仮想ロボット１０を立体的に表示させるとともに、拡張現実表示部２に表示される仮想ロボット１０を、位置検出部３によって検出された作業対象３００の位置に基づいて動作させ、作業対象３００に対して所定の作業を実行させる機能を有する。

具体的には、制御部４は、ＣＰＵ（Central Processing Unit）等の演算処理装置により構成される。また、制御部４は、表示装置１の各種の機能を実行するための各種のプログラムを格納したＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置を備える。制御部４においては、演算処理装置が補助記憶装置から各種のプログラムを読み込み、読み込んだ各種のプログラムを主記憶装置に展開させながら、これら各種のプログラムに基づいて演算処理を行う。制御部４は、この演算結果に基づいて、制御部４に接続される各ハードウェア（拡張現実表示部２、位置検出部３等）を制御することによって、表示装置１として機能するように構成される。

制御部４は、拡張現実表示部２に表示される仮想ロボット１０の大きさを、仮想ロボット１０と共に表示される実空間上の物体の尺度に合わせて調整する。あるいは、制御部４は、拡張現実表示部２に表示される実空間上の物体の大きさを、拡張現実表示部２に表示される仮想ロボット１０の尺度に合わせて調整する。実空間上の物体の尺度は、位置検出部３又はその他の撮像装置等によって撮影された実空間上の物体の画像に基づいて取得される。これによって、制御部４は、拡張現実表示部２において、実空間上の物体（作業現場１００、搬送装置２００、作業対象３００及び作業者ＷＫ）に対して実空間における相対的な位置関係が維持されるように仮想ロボット１０を重畳して表示させる。

作業対象管理部５は、位置検出部３によって検出された作業対象３００の位置に基づいて、作業対象３００の現在位置を計測する。詳しくは、搬送装置２００上の作業対象３００は、搬送装置２００の駆動によって一定速度で連続して又は間欠的に搬送されるため、仮想ロボット１０が作業対象３００に対して所定の作業を実行するためには、作業対象３００の移動速度（搬送装置２００の搬送速度）に基づいて、拡張現実表示部上における作業対象３００の現在位置を常に把握し、作業対象３００が仮想ロボット１０の作業範囲内にあるかどうかを確認する必要がある。そのため、作業対象管理部５は、位置検出部３を使用して、拡張現実表示部２に表示され、搬送装置２００によって搬送される複数の作業対象３００において、同一対象と見做せるいずれかの作業対象３００に対して、連続して少なくとも２回の位置の検出を行い、その検出結果から作業対象３００の移動速度を計測する。

図３は、表示装置１において作業対象３００の移動速度を計測する様子を示している。例えば、拡張現実表示部２に表示される搬送装置２００上の左端の一つの作業対象３００に着目した場合、その作業対象３００に対して連続して２回の位置検出を行うことによって、最初の１回目で作業対象３００ａ（図３において破線で示す。）の位置が検出され、２回目で作業対象３００ａの位置から所定距離移動した作業対象３００ｂ（図３において実線で示す。）の位置が検出される。作業対象管理部５は、この作業対象３００ａの位置から作業対象３００ｂの位置までの移動距離を、１回目の位置検出から２回目の位置検出までの時間間隔で除することによって、作業対象３００の移動速度を計測する。作業対象管理部５は、計測された作業対象３００の移動速度に基づいて、拡張現実表示部２における作業対象３００の現在位置を所定の制御周期で検出する。このような作業対象管理部５の全ての機能又は一部の機能は、制御部４に含まれていてもよい。

次に、表示装置１を用いた表示方法について、図５に示すフローチャートを用いて説明する。
まず、操作者は、表示装置１を起動させ、撮像装置としても機能する位置検出部３によって、図１に示すように実空間上の作業現場１００を撮影する。これによって、表示装置１は、拡張現実表示部２に、撮影された実空間上の物体（作業現場１００、搬送装置２００、作業対象３００及び作業者ＷＫ）の画像に重畳して、仮想ロボット１０を表示させる（Ｓ１）。

仮想ロボット１０の位置、姿勢は、位置検出部３によって得られる実空間上の物体の位置についての座標系と同一の座標系で表現される。操作者は、仮想ロボット１０を指又はタッチペンによってタッチして移動させることによって、拡張現実表示部２上においてロボットを設置させたい任意の位置に仮想ロボット１０を配置させる。

仮想ロボット１０が、拡張現実表示部２上の任意の位置に配置された後、表示装置１は、例えば操作者による仮想ロボット１０の動作開始の入力指示をトリガとして、位置検出部３を使用して拡張現実表示部２上の作業対象３００の位置を検出するとともに、その位置から作業対象３００の移動速度を計測し、その計測結果から、拡張現実表示部２上の各作業対象３００の現在位置を継続して計測する。表示装置１は、計測された作業対象３００の現在位置に基づいて、拡張現実表示部２に表示される仮想ロボット１０を動作させ、作業対象３００に対する所定の作業を実行させる（Ｓ２）。

表示装置１は、仮想ロボット１０の動作開始後、制御部４において、作業対象３００の現在位置が仮想ロボット１０の作業範囲内に入ったか否かを監視する。拡張現実表示部２上の作業対象３００が仮想ロボット１０の作業範囲内に入った場合、作業対象３００の現在位置に基づいて、作業対象３００を追いかけながら作業を行うように仮想ロボット１０を動作させる。これによって、仮想ロボット１０は、拡張現実表示部２上の作業対象３００を例えば仮想的に把持して別の場所に移送する等の動作を実行する。

仮想ロボット１０の作業は、仮想ロボット１０が作業対象３００の現在位置に追従して移動して作業対象３００を仮想的に把持する動作を行うことができた場合に、作業が達成されたと判断される。したがって、表示装置１は、作業対象３００に対する仮想ロボット１０の作業が達成されたかどうかを、制御部４又は作業対象管理部５において、仮想ロボット１０（例えば、仮想ロボット１０の先端部の位置）と作業対象３００との拡張現実表示部２上の位置関係を監視することによって検出する（Ｓ３）。

上記ステップＳ３において、作業対象３００に対する仮想ロボット１０の作業が達成された場合（ステップＳ３；ＹＥＳ）、表示装置１は、図４に示すように、作業終了した作業対象３００ｃに作業が達成したことを示す作業終了マーク２０を重畳して表示する（Ｓ４）。図４に示す作業終了マーク２０は、作業対象３００ｃを取り囲む円によって表示されるが、作業が終了した作業対象３００ｃを拡張現実表示部２上で識別可能であれば、どのようなものであってもよい。ステップＳ３において、作業対象３００に対する仮想ロボット１０の作業が達成されない場合（ステップＳ３；ＮＯ）は、表示装置１は、その作業対象３００に対して作業終了マーク２０の表示は行わず、ステップＳ５の処理に移行する。

仮想ロボット１０の作業は、搬送装置２００によって搬送される作業対象３００が存在する間継続される（Ｓ５）。搬送装置２００によって搬送される作業対象３００が拡張現実表示部２上に存在する場合、又は、操作者によって仮想ロボット１０の動作終了の入力指示がない場合（ステップＳ５；ＮＯ）は、ステップＳ３からの処理を繰り返す。搬送装置２００によって搬送される作業対象３００が無くなった場合、又は、操作者によって仮想ロボット１０の動作終了の入力指示があった場合は、仮想ロボット１０の動作は停止する。

表示装置１は、タブレット型コンピュータによって構成されるものに限定されない。表示装置１は、画像を表示可能な表示部を有するコンピュータであればよく、例えば、ノート型パソコン、その他の携帯型端末等であってもよい。また、図６に示す表示装置１Ａのように、位置検出部３及び拡張現実表示部２を一体に有するヘッドマウントディスプレイであってもよい。制御部４及び作業対象管理部５は、ヘッドマウントディスプレイに内蔵されてもよいし、ヘッドマウントディスプレイとは別体に設けられ、有線又は無線によって通信可能に接続されていてもよい。

なお、表示装置１、１Ａにおける拡張現実表示部２、位置検出部３、制御部４、及び作業対象管理部５のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせによって実現することができる。また、拡張現実表示部２、位置検出部３、制御部４、及び作業対象管理部５の協働により行われる表示方法も、ハードウェア、ソフトウェア又はこれらの組合せによって実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することによって実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）が用いられて格納され、コンピュータに供給される。非七次的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体には、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光時期記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータに供給されてもよい。一時的なコンピュータ可読媒体には、電気信号、光信号、及び電磁波が含まれる。一時的なコンピュータ可読媒体は、電線及び光ファイバ度の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上説明した本開示の表示装置１、１Ａの一態様は、以下のような効果を奏する。
本開示の表示装置１、１Ａは、所定のプログラムに従って動作する仮想ロボット１０を実空間上の物体（作業現場１００、搬送装置２００、作業対象３００及び作業者ＷＫ）と共に表示する拡張現実表示部２と、拡張現実表示部２から実空間上の作業対象３００までの距離を計測することによって、作業対象３００の位置を検出する位置検出部３と、拡張現実表示部２に表示される仮想ロボット１０を、位置検出部３によって検出された作業対象３００の位置に基づいて動作させ、作業対象３００に対して所定の作業を実行させる制御部４と、を備える。
これによって、作業現場１００にロボットを設置した際のレイアウトやロボットの動作を拡張現実表示部２上で確認することができる。そのため、ロボット設置後の作業現場のレイアウトを確認するために、既存のシステムの図面にロボットを追加したり、オフラインソフトにおいて、ワークの流れをシミュレートしてロボットを動作させる等の必要はなく、作業現場１００に実際にロボットを設置する前に、作業現場１００のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。

また、位置検出部３によって検出された作業対象３００の位置に基づいて、作業対象３００の現在位置を計測する作業対象管理部５を更に備える。
これによって、拡張現実表示部２上の仮想ロボット１０と作業対象３００との相対的な位置関係を正確に把握できるため、ロボットの作業に対する処理能力をより正確に判断することができる。

作業対象管理部５は、同一対象と見做せる作業対象３００に対して位置検出部３によって少なくとも２回の位置を検出した結果から作業対象３００の移動速度を計測し、その移動速度に基づいて、作業対象３００の現在位置を計測する。
これによって、作業対象管理部５は、搬送装置２００の搬送精度に影響されることなく、作業対象３００の正確な移動速度を把握することができ、作業対象３００の正確な現在位置を計測することができる。

制御部４は、作業対象管理部５によって計測された作業対象３００の現在位置が仮想ロボット１０の作業範囲内に入った際に、作業対象３００の現在位置に基づいて、作業対象３００を追いかけながら作業を行うように仮想ロボット１０を動作させる。
これによって、現実のロボットの動作による作業と同様に、仮想ロボット１０を作業対象３００に対して動作させて作業を行わせることができる。そのため、操作者は、拡張現実表示部２上で、現実のロボットの作業対象３００に対する処理能力を、より正確に把握することができる。

拡張現実表示部２は、仮想ロボット１０を任意の位置に配置可能に構成される。
これによって、拡張現実表示部２に表示される実空間上の物体の配置に応じて、拡張現実表示部２上の仮想ロボット１０を、現実のロボットの設置位置に合せて配置させることができる。

拡張現実表示部２は、作業対象３００に対する所定の作業を達成したことを示す情報を、作業対象３００に重畳して表示する。
これによって、オペレータは、拡張現実表示部２上の作業対象３００に対する仮想ロボット１０の作業の達成状況を容易に確認することができる。

また、本開示の表示プログラムは、コンピュータを、所定のプログラムに従って動作する仮想ロボット１０を実空間上の物体（作業現場１００、搬送装置２００、作業対象３００及び作業者ＷＫ）と共に表示する拡張現実表示部２と、拡張現実表示部２から実空間上の作業対象３００までの距離を計測することによって、作業対象３００の位置を検出する位置検出部３と、拡張現実表示部２に表示される仮想ロボット１０を、位置検出部３によって検出された作業対象３００の位置に基づいて動作させ、作業対象３００に対して所定の作業を実行させる制御部４と、を備える表示装置１、１Ａとして機能させる。
これによって、表示プログラムを、拡張現実表示部２、位置検出部３及び制御部４を備える表示装置１、１Ａのコンピュータにおいて実行することによって、表示装置１、１Ａを用いて、作業現場１００に実際にロボットを設置する前に、作業現場１００のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。

１、１Ａ表示装置
２拡張現実表示部
３位置検出部
４制御部
５作業対象管理部
１０仮想ロボット
２０作業対象に対する所定の作業を達成したことを示す情報
１００作業現場（物体）
２００搬送装置（物体）
３００作業対象（物体）
ＷＫ作業者（物体）

Claims

所定のプログラムに従って動作する仮想ロボットを実空間上の物体と共に表示する拡張現実表示部と、
前記拡張現実表示部から前記作業対象の位置を検出する位置検出部と、
前記拡張現実表示部に表示される前記仮想ロボットを、前記位置検出部によって検出された前記作業対象の位置に基づいて動作させ、前記作業対象に対して所定の作業を実行させる制御部と、
を備える、表示装置。
前記位置検出部によって検出された前記作業対象の位置に基づいて、前記作業対象の現在位置を計測する作業対象管理部を更に備える、請求項１に記載の表示装置。
前記作業対象管理部は、同一対象と見做せる前記作業対象に対して前記位置検出部によって少なくとも２回の位置を検出した結果から前記作業対象の移動速度を計測し、その移動速度に基づいて、前記作業対象の現在位置を計測する、請求項２に記載の表示装置。
前記制御部は、前記作業対象管理部によって計測された前記作業対象の現在位置が前記仮想ロボットの作業範囲内に入った際に、前記作業対象の現在位置に基づいて、前記作業対象を追いかけながら作業を行うように前記仮想ロボットを動作させる、請求項２又は３に記載の表示装置。
前記拡張現実表示部は、前記仮想ロボットを任意の位置に配置可能に構成される、請求項１〜４のいずれか１項に記載の表示装置。
前記拡張現実表示部は、前記作業対象に対する所定の作業を達成したことを示す情報を、前記作業対象に重畳して表示する、請求項１〜５のいずれか１項に記載の表示装置。
コンピュータを、
所定のプログラムに従って動作する仮想ロボットを実空間上の物体と共に表示する拡張現実表示部と、
前記拡張現実表示部から前記作業対象の位置を検出する位置検出部と、
前記拡張現実表示部に表示される前記仮想ロボットを、前記位置検出部によって検出された前記作業対象の位置に基づいて動作させ、前記作業対象に対して所定の作業を実行させる制御部と、
を備える表示装置として機能させる、表示プログラム。