JP2020172011A - 表示制御システム、表示制御方法、および、プログラム - Google Patents

Abstract

【課題】ロボットアームと人間とが共同作業を行うときの安全領域を適切に表示することで、高い作業効率を確保しつつ、作業の安全性を向上させる技術を実現する。【解決手段】表示制御システム１０００では、ロボットアームＲｂｔ＿ａｒｍよりも上方に設置した撮像部により撮像した画像であって、例えば、ロボットアームの位置、状態、作業員の位置、状態を判別できる画像と、当該画像が取得されたときの安全領域を特定するデータとを訓練データとして、学習させた学習済みモデルを用いた予測処理を行う。そして、表示制御システム１０００では、学習したときの同様の状態で撮像した画像を用いて、学習済みモデルによる予測処理を行うことで、入力された画像が撮像されたときの安全領域を予測し、当該安全領域を投影部により投影面に投影する。【選択図】図１

Description

本発明は、ロボット作業エリア内に人間が入り込む場合の危険検知について技術、および、危険領域（あるいは安全領域）表示についての技術に関する。

近年、ロボットと人間が共同して作業を行う状況が増加しつつある。それに伴い、人間とロボットとの衝突の可能性が増大する。例えば、複数の関節を持ったロボットアームを有するロボットは、その動きが複雑になるため、当該ロボットアームの動きを人間が予想するのは難しい。その結果、ロボットアームの突発的な動きによって、ロボットアームと人間とが接触し重大な事故が引き起こされてしまう可能性がある。

ロボットアームによる作業時の安全確保のため、例えば、特許文献１に開示されている技術では、ロボットアーム関節内の力センサによって衝突を検知し、衝突が検知された場合、ロボットアームを停止させる。

特開２００６−２１２８７号公報

しかしながら、従来技術のように、ロボットアームと人間とが接触（衝突）した後に安全装置を作動させる、あるいは、衝突する可能性があることを予測し、ロボットアームをゆっくり動かすように制御するのでは、作業効率が低下してしまうという問題がある。

そこで、本発明は、ロボットアームと人間とが共同作業を行うときの安全領域（あるいは、危険領域）を適切に表示することで、高い作業効率を確保しつつ、作業の安全性を向上させる技術を実現することを目的とする。

上記課題を解決するために、第１の発明は、ロボットアームと可動物体とが混在する可能性がある空間において、可動物体が存在していても安全であると判定される領域である安全領域を、空間内において可動物体が認識可能な投影面に、表示するための表示制御システムであって、撮像部と、予測処理部と、投影部と、を備える。

撮像部は、ロボットアームよりも上方の位置（例えば、ロボットアームの可動範囲内の空間を撮影可能な位置）に設置される。

予測処理部は、（１）空間において、撮像部により、ロボットアームよりも上方の位置から撮像した画像であって、ロボットアームの所定の状態であるときに撮像した画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）ロボットアームが当該所定の状態であるときの安全領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。また、予測処理部は、予測処理時において、撮像部により、ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、学習済みモデルを用いた予測処理を実行することで、予測処理用画像を取得したときの空間における安全領域を予測し、予測した安全領域を予測安全領域として取得し、予測安全領域に基づいて、投影画像データを生成する。

投影部は、投影画像データにより形成される投影画像を投影面に投影する。

この表示制御システムでは、ロボットアームよりも上方に設置した撮像部により撮像した画像（例えば、フレーム画像）であって、例えば、（１）ロボットアームの位置、状態、可動物体（例えば、作業員）の位置、状態を判別できる画像（例えば、フレーム画像）、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）ロボットアームが上記所定の状態であるときの安全領域を特定するデータとを訓練データ（教師データ）として、学習させた学習済みモデルを用いた予測処理を行う。そして、この表示制御システムでは、学習したときの同様の状態で撮像した画像（例えば、フレーム画像）を用いて、学習済みモデルによる予測処理を行うことで、入力された画像が撮像されたときの安全領域（投影面における安全領域）を予測（特定）することができる。そして、この表示制御システムでは、予測（特定）した安全領域が投影面（例えば、床面）に、投影部により投影することで、例えば、作業員が容易かつ確実に認識できるように、安全領域を投影面（例えば、床面ＦＬＲ）に表示させることができる。つまり、この表示制御システムでは、遮蔽領域が少ない上方から撮影した画像を用いて、学習処理、予測処理を行うため、ロボットアームがどのような状態であっても、その状態に応じて（あるいは、制御シーケンスから特定されるロボットアームの動作フェーズの移行状況に応じて）、動的に安全領域を特定（予測）する予測処理を、適切かつ高精度に行うことができる。

したがって、この表示制御システムでは、ロボットアームと可動物体（例えば、人間）とが共同作業を行うときに、安全領域を適切に表示することができる。その結果、高い作業効率を確保しつつ、作業の安全性を向上させることができる。

なお、「可動物体」は、移動できる物体であり、例えば、自発的に移動できる人間や動物等である。

第２の発明は、第１の発明であって、予測処理部は、ロボットアームを制御するための制御データに基づいて、それぞれ安全度合いに応じて特定される色を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。

これにより、この表示制御システムでは、安全度合いにより階層的に色分けされた画像を訓練用データとして学習処理を実行し取得された学習済みモデルを用いて、予測処理を実行することができる。

第３の発明は、第１の発明であって、予測処理部は、ロボットアームを制御するための制御データに基づいて、それぞれ安全度合いに応じて特定される輝度を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。

これにより、この表示制御システムでは、安全度合いにより階層的に輝度を変えた画像を訓練用データとして学習処理を実行し取得された学習済みモデルを用いて、予測処理を実行することができる。

第４の発明は、第１から第３のいずれかの発明であって、予測処理部は、それぞれ安全度合いに応じて特定される色を有する複数の画像領域を生成し、投影画像データにより形成される画像が、生成した前記複数の画像領域を含むように、投影画像データを生成する。

これにより、この表示制御システムでは、安全領域を示す画像（投影画像）を安全度により階層的に色分けした複数の画像領域からなる画像とすることができ、作業員は、投影面に投影された色により、安全度を適切に認識することができる。

なお、複数の画像領域の色は、安全度に応じて、段階的に変化するもの（各画素の階調値が離散値をとる画像）であってもよく、また、連続的に変化するもの（各画素の階調値が連続値をとる画像（例えば、グラデーション画像））であってもよい。

第５の発明は、第１から第３のいずれかの発明であって、投影部は、それぞれ安全度合いに応じて特定される輝度を有する複数の画像領域を生成し、投影画像データにより形成される画像が、生成した複数の画像領域を含むように、投影画像データを生成する。

これにより、この表示制御システムでは、安全領域を示す画像（投影画像）を安全度により階層的に輝度（明度）で分けられた複数の画像領域からなる画像とすることができ、作業員は、投影面に投影された輝度（明度）により、安全度を適切に認識することができる。

なお、複数の画像領域の輝度（明度）は、安全度に応じて、段階的に変化するもの（各画素の階調値が離散値をとる画像）であってもよく、また、連続的に変化するもの（各画素の階調値が連続値をとる画像（例えば、輝度（明度）が連続的に変化する画像））であってもよい。

第６の発明は、ロボットアームと可動物体とが混在する可能性がある空間において、可動物体が存在していると危険であると判定される領域である危険領域を、空間内において可動物体が認識可能な投影面に、表示するための表示制御システムであって、撮像部と、予測処理部と、投影部と、を備える。

撮像部は、ロボットアームよりも上方の位置に設置される。

予測処理部は、（１）空間において、撮像部により、ロボットアームよりも上方の位置から撮像した画像であって、ロボットアームの所定の状態であるときに撮像した画像、または、ロボットアームが所定の状態となるようにロボットアームを制御するための制御データと、（２）ロボットアームが当該所定の状態であるときの危険領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。また、予測処理部は、予測処理時において、撮像部により、ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、学習済みモデルを用いた予測処理を実行することで、予測処理用画像を取得したときの空間における危険領域を予測し、予測した危険領域を予測危険領域として取得し、予測危険領域に基づいて、投影画像データを生成する。

投影部は、投影画像データにより形成される投影画像を投影面に投影する。

この表示制御システムでは、ロボットアームよりも上方に設置した撮像部により撮像した画像（例えば、フレーム画像）であって、例えば、ロボットアームの位置、状態、可動物体（例えば、作業員）の位置、状態を判別できる画像（例えば、フレーム画像）、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）ロボットアームが上記所定の状態であるときの危険領域を特定するデータとを訓練データ（教師データ）として、学習させた学習済みモデルを用いた予測処理を行う。そして、この表示制御システムでは、学習したときの同様の状態で撮像した画像（例えば、フレーム画像）を用いて、学習済みモデルによる予測処理を行うことで、入力された画像が撮像されたときの危険領域（投影面における危険領域）を予測（特定）することができる。そして、この表示制御システムでは、予測（特定）した危険領域が投影面（例えば、床面）に、投影部により投影することで、例えば、作業員が容易かつ確実に認識できるように、危険領域を投影面（例えば、床面ＦＬＲ）に表示させることができる。つまり、この表示制御システムでは、遮蔽領域が少ない上方から撮影した画像を用いて、学習処理、予測処理を行うため、ロボットアームＲｂｔ＿ａｒｍがどのような状態であっても、その状態に応じて（あるいは、制御シーケンスから特定されるロボットアームの動作フェーズの移行状況に応じて）、動的に危険領域を特定（予測）する予測処理を、適切かつ高精度に行うことができる。

したがって、この表示制御システムでは、ロボットアームと可動物体（例えば、人間）とが共同作業を行うときに、危険領域を適切に表示することができる。その結果、高い作業効率を確保しつつ、作業の安全性を向上させることができる。

なお、「可動物体」は、移動できる物体であり、例えば、人間や動物等である。

第７の発明は、第６の発明であって、予測処理部は、ロボットアームを制御するための制御データに基づいて、それぞれ危険度合いに応じて特定される色を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。

これにより、この表示制御システムでは、危険度合いにより階層的に色分けされた画像を訓練用データとして学習処理を実行し取得された学習済みモデルを用いて、予測処理を実行することができる。

第８の発明は、第６の発明であって、予測処理部は、ロボットアームを制御するための制御データに基づいて、それぞれ危険度合いに応じて特定される輝度を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。

これにより、この表示制御システムでは、危険度合いにより階層的に輝度を変えた画像を訓練用データとして学習処理を実行し取得された学習済みモデルを用いて、予測処理を実行することができる。

第９の発明は、第６から第８のいずれかの発明であって、予測処理部は、それぞれ危険度合いに応じて特定される色を有する複数の画像領域を生成し、投影画像データにより形成される画像が、生成した複数の画像領域を含むように、投影画像データを生成する。

これにより、この表示制御システムでは、危険領域を示す画像（投影画像）を危険度により階層的に色分けした複数の画像領域からなる画像とすることができ、作業員は、投影面に投影された色により、危険度を適切に認識することができる。

なお、複数の画像領域の色は、危険度に応じて、段階的に変化するもの（各画素の階調値が離散値をとる画像）であってもよく、また、連続的に変化するもの（各画素の階調値が連続値をとる画像（例えば、グラデーション画像））であってもよい。

第１０の発明は、第６から第８のいずれかの発明であって、予測処理部は、それぞれ危険度合いに応じて特定される輝度を有する複数の画像領域を生成し、投影画像データにより形成される画像が、生成した複数の画像領域を含むように、投影画像データを生成する。

これにより、この表示制御システムでは、危険領域を示す画像（投影画像）を危険度により階層的に輝度（明度）で分けられた複数の画像領域からなる画像とすることができ、作業員は、投影面に投影された輝度（明度）により、危険度を適切に認識することができる。

なお、複数の画像領域の輝度（明度）は、危険度に応じて、段階的に変化するもの（各画素の階調値が離散値をとる画像）であってもよく、また、連続的に変化するもの（各画素の階調値が連続値をとる画像（例えば、輝度（明度）が連続的に変化する画像））であってもよい。

第１１の発明は、第１から第１０のいずれかの発明であって、空間は、床面を有しており、投影面は、空間内の床面である。

これにより、この表示制御システムでは、投影面を床面とすることができる。

第１２の発明は、第１から第１１のいずれかの発明であって、空間は、天井面を有しており、撮像部は、空間の天井面に設置されている。

これにより、この表示制御システムでは、天井面に設置した撮像部を用いることができる。

第１３の発明は、第１から第１２のいずれかの発明であって、ロボットアームを制御するロボットアーム制御部をさらに備える。そして、予測処理部が、可動物体が安全領域外に移動する可能性が高い、あるいは、可動物体が危険領域内に移動する可能性が高いと判断した場合、ロボットアーム制御部は、ロボットアームの動作を停止させる、および／または、警告を発生させる処理を実行する。

これにより、この表示制御システムでは、可動物体が安全領域内から、安全領域外へ移動し、ロボットアームと接触、衝突する可能性が高くなった場合、危険を回避させる処理により、ロボットアームと接触、衝突する等の重大事故の発生を防止することができる。つまり、この表示制御システムでは、ロボットアームがどのような状態であっても、その状態に応じて、動的に安全領域を特定（予測）する予測処理を、適切かつ高精度に行うことができ、さらに、適切な危険回避処理を行うことができる。

第１４の発明は、ロボットアームと可動物体とが混在する可能性がある空間において、ロボットアームよりも上方の位置に設置される撮像部と、画像を所定の投影面に投影する投影部と、を備える表示制御システムに用いられる表示制御方法である。表示制御方法は、可動物体が存在していても安全であると判定される領域である安全領域を、空間内において可動物体が認識可能な投影面に、表示するための方法であって、予測処理ステップと、投影ステップと、を備える。

予測処理ステップでは、（１）空間において、撮像部により、ロボットアームよりも上方の位置から撮像した画像であって、ロボットアームの所定の状態であるときに撮像した画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）ロボットアームが当該所定の状態であるときの安全領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。そして、予測処理ステップでは、予測処理時において、撮像部により、ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、学習済みモデルを用いた予測処理を実行することで、予測処理用画像を取得したときの空間における安全領域を予測し、予測した安全領域を予測安全領域として取得し、予測安全領域に基づいて、投影画像データを生成する。

投影ステップでは、投影画像データにより形成される投影画像を投影面に投影する。

これにより、第１の発明と同様の効果を奏する表示制御方法を実現することができる。

第１５の発明は、ロボットアームと可動物体とが混在する可能性がある空間において、ロボットアームよりも上方の位置に設置される撮像部と、画像を所定の投影面に投影する投影部と、を備える表示制御システムに用いられる表示制御方法である。表示制御方法は、可動物体が存在していていると危険であると判定される領域である危険領域を、空間内において可動物体が認識可能な投影面に、表示するための方法であって、予測処理ステップと、投影ステップと、を備える。

予測処理ステップでは、（１）空間において、撮像部により、ロボットアームよりも上方の位置から撮像した画像であって、ロボットアームの所定の状態であるときに撮像した画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）ロボットアームが当該所定の状態であるときの危険領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する。そして、予測処理ステップでは、予測処理時において、撮像部により、ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、学習済みモデルを用いた予測処理を実行することで、予測処理用画像を取得したときの空間における危険領域を予測し、予測した危険領域を予測危険領域として取得し、予測危険領域に基づいて、投影画像データを生成する。

投影ステップでは、投影画像データにより形成される投影画像を投影面に投影する。

これにより、第６の発明と同様の効果を奏する表示制御方法を実現することができる。

第１６の発明は、第１４または第１５の発明である表示制御方法をコンピュータに実行させるためのプログラムである。

これにより、第１または第６の発明と同様の効果を奏する表示制御方法をコンピュータに実行させるためのプログラムを実現することができる。

本発明によれば、ロボットアームと人間とが共同作業を行うときの安全領域（あるいは、危険領域）を適切に表示することで、高い作業効率を確保しつつ、作業の安全性を向上させる技術を実現することができる。

第１実施形態に係る表示制御システム１０００の概略構成図。 第１実施形態に係る表示制御装置１００の概略構成図。 第１実施形態に係る表示制御システム１０００の訓練データ取得モードの処理を説明するための図。 第１実施形態に係る表示制御システム１０００の訓練データ取得モードの処理を説明するための図。 第１実施形態に係る表示制御システム１０００の学習モードの処理を説明するための図。 第１実施形態に係る表示制御システム１０００の予測モードの処理を説明するための図。 第１実施形態に係る表示制御システム１０００の予測モードの処理を説明するための図。 第１実施形態に係る表示制御システム１０００の予測モードの処理を説明するための図。 第１実施形態に係る表示制御システム１０００の予測モードの処理を説明するための図。 第１実施形態の第１変形例に係る表示制御システム１０００Ａの概略構成図。 第１実施形態の第１変形例に係る表示制御装置１００Ａの概略構成図。 第１実施形態の第１変形例に係る表示制御システム１０００Ａの訓練データ取得モードの処理を説明するための図。 第１実施形態の第１変形例に係る表示制御システム１０００Ａにおいて使用する訓練データの一例（パターン１）を示す図（タイミングチャート）。 第１実施形態の第１変形例に係る表示制御システム１０００Ａにおいて使用する訓練データの一例（パターン２）を示す図（タイミングチャート）。 第２実施形態に係る表示制御システム２０００の概略構成図。 第２実施形態に係る表示制御装置１００Ａの概略構成図。 第２実施形態に係る表示制御装置１００Ａの予測処理部５Ａの概略構成図。 第２実施形態に係る表示制御システム２０００の予測モードの処理のフローチャートである。 第２実施形態に係る表示制御システム２０００の予測モードの処理を説明するための図。 第２実施形態に係る表示制御システム２０００の予測モードの処理を説明するための図。 ＣＰＵバス構成を示す図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：表示制御システムの構成＞
図１は、第１実施形態に係る表示制御システム１０００の概略構成図である。

図２は、第１実施形態に係る表示制御装置１００の概略構成図である。

表示制御システム１０００は、図１に示すように、投影部Ｐｒｊ１と、撮像部Ｃｍｒ１と、表示制御装置１００と、ロボットＲｂｔとを備える。

投影部Ｐｒｊ１は、作業員やロボットＲｂｔの最高点よりも高い位置（例えば、天井）に設置され、投影点Ｐ＿ｐｒｊから、下方に向かって（例えば、床面ＦＬＲに対して）画像あるいは境界線等を投影する装置である。投影部Ｐｒｊ１は、例えば、画像を床面ＦＬＲに投影するプロジェクタ装置や、ＬＥＤスキャナ、レーザースキャナ等の床面に所定の色の線を表示することができる装置により実現される。

投影部Ｐｒｊ１は、表示制御装置１００から出力される制御信号Ｃｔｌ＿ｐｒｊ（Ｄ＿ｐｒｊ）を入力し、当該制御信号Ｃｔｌ＿ｐｒｊ（Ｄ＿ｐｒｊ）に基づいて、投影対象（例えば、床面）に対して、画像または境界線等（データＤ＿ｐｒｊ）を投影する。

撮像部Ｃｍｒ１は、作業員やロボットＲｂｔの最高点よりも高い位置（例えば、天井）に設置され、投影部Ｐｒｊ１が床面に投影する画像または境界線の表示等を撮像するとともに、作業員（例えば、図１の作業員Ｐｓｎ１）や、作業員が装着しているヘルメット（例えば、図１の作業員Ｐｓｎ１が装着しているヘルメットＨａｔ１）、あるいは、作業員に装着されているマーカー（例えば、赤外光反射マーカー）等を撮像する。撮像部Ｃｍｒ１は、例えば、可視光用イメージセンサを搭載しており、カラー映像を撮像できる撮像装置や、赤外光用イメージセンサを搭載しており、赤外光映像を撮像できる赤外線カメラ等により実現される。

撮像部Ｃｍｒ１は、撮像したデータ（画像データ、映像データ）をデータＤ１＿ｉｍｇとして、表示制御装置１００に出力する。

表示制御装置１００は、図２に示すように、セレクタＳＥＬ１と、投影制御部１と、セレクタＳＥＬ２と、訓練データ取得部２と、訓練データ格納部ＤＢ１と、ＣＧ合成部３（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）と、拡張訓練データ格納部ＤＢ２と、学習部４と、最適化パラメータ格納部ＤＢ３と、予測処理部５とを備える。

セレクタＳＥＬ１は、表示制御装置１００の各機能部を制御する制御部（不図示）から出力されるモード信号Ｍｏｄｅに従い、訓練データ取得時の投影データを含むデータＤ１＿ｐｒｊ＿ｔｒａｉｎと、予測処理部５から出力される予測時の投影データを含むデータＤｐ１＿ｐｒｊのいずれか一方を選択し、選択したデータをデータＤ＿ｐｒｊとして投影制御部１に出力するセレクタである。具体的には、（１）訓練データ取得時において、モード信号Ｍｏｄｅは、その信号値が「０」にセットされており、セレクタＳＥＬ１は、訓練データ取得時の投影データを含むデータＤ１＿ｐｒｊ＿ｔｒａｉｎを選択し、当該データをデータＤ＿ｐｒｊとして、投影制御部１に出力する。（２）予測時において、モード信号Ｍｏｄｅは、その信号値が「１」にセットされており、セレクタＳＥＬ１は、予測処理部５から出力される予測時の投影データを含むデータＤｐ１＿ｐｒｊを選択し、データＤｐ１＿ｐｒｊをデータＤ＿ｐｒｊとして投影制御部１に出力する。

投影制御部１は、セレクタＳＥＬ１から出力されるデータＤ＿ｐｒｊを入力し、当該データＤ＿ｐｒｊに含まれる投影用のデータ（投影用の画像データ、あるいは、投影面に表示する境界線のデータ）が投影部Ｐｒｊ１から投影対象に投影されるように制御する制御信号Ｃｔｌ＿ｐｒｊ（Ｄ＿ｐｒｊ）を生成し、生成した当該制御信号Ｃｔｌ＿ｐｒｊ（Ｄ＿ｐｒｊ）を投影部Ｐｒｊ１に出力する。

セレクタＳＥＬ２は、表示制御装置１００の各機能部を制御する制御部（不図示）から出力されるモード信号Ｍｏｄｅに従い、撮像部Ｃｍｒ１から出力されるデータＤ１＿ｉｍｇを、訓練データ取得部２および予測処理部５のいずれか一方に出力するセレクタである。具体的には、（１）訓練データ取得時において、モード信号Ｍｏｄｅは、その信号値が「０」にセットされており、セレクタＳＥＬ２は、データＤ１＿ｉｍｇを訓練データ取得部２に出力する。（２）予測時において、モード信号Ｍｏｄｅは、その信号値が「１」にセットされており、セレクタＳＥＬ２は、データＤ１＿ｉｍｇを予測処理部５に出力する。

訓練データ取得部２は、セレクタＳＥＬ２から出力されるデータＤ１＿ｉｍｇを入力し、データＤ１＿ｉｍｇに基づいて、予測処理部５の学習モデルを訓練するための訓練データＤｔｒ１を生成する。そして、訓練データ取得部２は、生成した訓練データＤｔｒ１を訓練データ格納部ＤＢ１に記憶させる。

訓練データ格納部ＤＢ１は、訓練データ取得部２からの指示に従い、訓練データ取得部２から出力される訓練データＤｔｒ１を記憶する。また、訓練データ格納部ＤＢ１は、ＣＧ合成部３からの指示に従い、記憶保持している訓練データＤｔｒ１をＣＧ合成部３に出力する。

ＣＧ合成部３は、訓練データ格納部ＤＢ１から、訓練データＤｔｒ１を読み出す（取得する）。そして、ＣＧ合成部３は、訓練データＤｔｒ１を用いて、ＣＧ合成した訓練データを作成し、作成したデータを拡張訓練データＤｔｒ２として、拡張訓練データ格納部ＤＢ２に記憶させる。なお、ＣＧ合成部３は、拡張訓練データＤｔｒ２を作成するために用いた訓練データＤｔｒ１も、拡張訓練データＤｔｒ２に含めて、拡張訓練データ格納部ＤＢ２に記憶させるようにしてもよい。

拡張訓練データ格納部ＤＢ２は、ＣＧ合成部３からの指示に従い、ＣＧ合成部３から出力される拡張訓練データＤｔｒ２を記憶する。また、拡張訓練データ格納部ＤＢ２は、学習部４からの指示に従い、記憶保持している拡張訓練データＤｔｒ２を学習部４に出力する。

学習部４は、拡張訓練データ格納部ＤＢ２から拡張訓練データＤｔｒ２を読み出し（取得し）、拡張訓練データＤｔｒ２を用いて、学習処理を行う。そして、学習部４は、学習処理により、学習用モデルを最適化するパラメータ（最適化パラメータθ＿ｏｐｔ）を取得し、取得した最適化パラメータθ＿ｏｐｔを最適化パラメータ格納部ＤＢ３に記憶させる。

最適化パラメータ格納部ＤＢ３は、学習部４からの指示に従い、学習部４から出力される最適化パラメータθ＿ｏｐｔを記憶する。また、最適化パラメータ格納部ＤＢ３は、予測処理部５からの指示に従い、記憶保持している最適化パラメータθ＿ｏｐｔを予測処理部５に出力する。

予測処理部５は、最適化パラメータ格納部ＤＢ３から最適化パラメータθ＿ｏｐｔを読み出し、当該最適化パラメータθ＿ｏｐｔに基づいて、学習済みモデルを取得する。予測処理部５は、セレクタＳＥＬ２から出力されるデータＤ１＿ｉｍｇを入力し、当該データＤ１＿ｉｍｇに対して、学習済みモデルを用いた予測処理を実行する。そして、予測処理部５は、予測処理結果に基づいて、投影制御部１に出力するデータＤｐ１＿ｐｒｊ（投影部Ｐｒｊ１から投影させるデータ）を生成する。そして、予測処理部５は、生成したデータＤｐ１＿ｐｒｊをセレクタＳＥＬ１に出力する。

ロボットＲｂｔは、ロボット制御部Ｒｂｔ＿Ｃ１と、ロボットアームＲｂｔ＿ａｒｍとを備える。

ロボット制御部Ｒｂｔ＿Ｃ１は、ロボットアームＲｂｔ＿ａｒｍを制御するための機能部である。ロボット制御部Ｒｂｔ＿Ｃ１は、訓練用データＤ１＿ｒｂ＿ｔｒａｉｎや所定の制御信号を入力し、入力された訓練用データＤ１＿ｒｂ＿ｔｒａｉｎや所定の制御信号に基づいて、ロボットアームＲｂｔ＿ａｒｍを制御する制御信号を生成する。

ロボットアームＲｂｔ＿ａｒｍは、ロボット制御部Ｒｂｔ＿Ｃ１から指令（制御信号）に基づいて、所定の動作（例えば、物の把持、運搬等）を行う。

＜１．２：表示制御システムの動作＞
以上のように構成された表示制御システム１０００の動作について、以下、説明する。

以下では、表示制御システム１０００の動作について、（１）訓練データ取得モードの処理、（２）学習モードの処理、（３）予測モードの処理に分けて説明する。

なお、説明便宜のため、表示制御システム１０００は、工場等の狭空間（室内空間）に設置されており、投影部Ｐｒｊ１および撮像部Ｃｍｒ１は、天井に設置されており、作業員Ｐｓｎ１、ロボットＲｂｔは、床面に存在しているものとして、以下、説明する。また、投影部Ｐｒｊ１は、床面ＦＬＲを投影対象とするものとする。

（１．２．１：訓練データ取得モードの処理）
まず、訓練データ取得モードの処理について、説明する。

図３、図４は、第１実施形態に係る表示制御システム１０００の訓練データ取得モードの処理を説明するための図である。

図３に示すように、ロボット制御部Ｒｂｔ＿Ｃ１に、訓練データを取得するために、ロボットアームＲｂｔ＿ａｒｍに所定の動作（これを第１動作という）を実行させるためのデータＤ１＿ｒｂ＿ｔｒａｉｎを入力する。また、表示制御装置１００の投影制御部１に、ロボットアームＲｂｔ＿ａｒｍに第１動作をさせたときの安全領域、すなわち、作業員（例えば、図３では、作業員Ｐｓｎ１）が存在しても安全な領域（第１動作を行っているときのロボットアームＲｂｔ＿ａｒｍに作業員が接触することなく、安全に作業を行うことができる領域）を投影対象である床面に表示させるためのデータＤ１＿ｐｒｊ＿ｔｒａｉｎを入力する。

ロボットアームＲｂｔ＿ａｒｍは、データＤ１＿ｒｂ＿ｔｒａｉｎに基づいて、第１動作を行う。ロボットアームＲｂｔ＿ａｒｍが第１動作を行っている期間において、投影部Ｐｒｊ１は、表示制御装置１００の投影制御部１に入力されたデータＤ１＿ｐｒｊ＿ｔｒａｉｎに基づいて、ロボットアームＲｂｔ＿ａｒｍが第１動作を行っているときの安全領域を示す画像、あるいは、境界線を、投影対象である床面ＦＬＲに表示させる。なお、表示制御装置１００において、例えば、投影部Ｐｒｊ１から、例えば、画像上の大きさが既知であるテストパターンを含む所定のテスト画像を床面に投影するように、投影制御部１により制御し、当該テスト画像を撮像部Ｃｍｒ１により取得した画像（撮像画像）において、上記テストパターンの大きさを調べることで、投影部Ｐｒｊ１の投影点Ｐ＿ｐｒｊから投影面（床面ＦＬＲ）までの距離を取得する。なお、撮像部Ｃｍｒ１の撮影パラメータ（画角、焦点距離等）は分かっているものとする。そして、表示制御装置１００において、取得した距離に基づいて、安全領域を示す画像、あるいは、境界線が投影面である床面ＦＬＲに投影されるように投影制御部１を制御する。

図３に示した場合、領域Ａｒ１が、ロボットアームＲｂｔ＿ａｒｍが第１動作を行っているときの安全領域であり、当該安全領域を示す境界線が投影部Ｐｒｊ１から床面ＦＬＲに投影されている。

この状態において、作業員Ｐｓｎ１にヘルメットＨａｔ１（例えば、黄色のヘルメット）をかぶってもらい、安全領域内（領域Ａｒ１内）で作業、あるいは、移動等を行ってもらい、そのときの状況を撮像部Ｃｍｒ１で撮像する。なお、説明便宜のため、撮像部Ｃｍｒ１は、可視光用イメージセンサを搭載しており、カラー映像を撮像できる撮像装置であるものとして、以下説明する。また、撮像部Ｃｍｒ１は、安全領域（図３の場合、領域Ａｒ１）と、ロボットアームＲｂｔ＿ａｒｍとが撮像画像（撮像映像）に含まれるように、カメラパラメータ（光軸の向き、画角、焦点距離等）が調整されているものとする。

撮像部Ｃｍｒ１は、ロボットアームＲｂｔ＿ａｒｍが第１動作を行っているときの状況を撮像した映像をフレームごとの画像（フレーム画像）（データＤ１＿ｉｍｇ）として、訓練データ取得部２に出力する。

訓練データ取得時において、モード信号Ｍｏｄｅは、その信号値が「０」にセットされているので、セレクタＳＥＬ２は、データＤ１＿ｉｍｇを訓練データ取得部２に出力する。

訓練データ取得部２は、セレクタＳＥＬ２から出力されるデータＤ１＿ｉｍｇを入力し、データＤ１＿ｉｍｇに基づいて、予測処理部５の学習モデルを訓練するための訓練データＤｔｒ１を生成する。具体的には、訓練データ取得部２は、データＤ１＿ｉｍｇ（フレーム画像データ）を実画像データのまま、訓練データＤｔｒ１として、訓練データ格納部ＤＢ１に記憶させる。また、訓練データ取得部２は、データＤ１＿ｉｍｇ（フレーム画像データ）から、例えば、所定の画像特徴量を抽出した画像（例えば、画像特徴量を作業員がかぶっているヘルメットの色と同一色とし、当該色の部分の画像領域を抽出した画像）を取得し、原画像Ｄ１＿ｉｍｇ（フレーム画像データ）（実画像データ）に合成するようにし、このように合成した画像を訓練データＤｔｒ１として生成してもよい。

また、訓練データ取得部２は、訓練データＤｔｒ１に、画像データとともに、当該画像が取得されたときの状態の情報（追加情報（ラベル情報））を含めるようにしてもよい。例えば、ロボットアームＲｂｔ＿ａｒｍの動作フェーズについての情報、安全領域が領域Ａｒ１で正しいことを示す情報等を追加情報として、画像データとともに、訓練データＤｔｒ１に含めるようにしてもよい。

訓練データ取得部２は、生成した訓練データＤｔｒ１を訓練データ格納部ＤＢ１に記憶させる。

ＣＧ合成部３は、訓練データ格納部ＤＢ１から、訓練データＤｔｒ１を読み出す（取得する）。そして、ＣＧ合成部３は、訓練データＤｔｒ１を用いて、ＣＧ合成した訓練データを作成する。例えば、ＣＧ合成部３は、訓練データＤｔｒ１の画像データにおいて、作業員のヘルメット部分の画像領域を、ＣＧ処理により当該ヘルメットの色と異なる色にしたＣＧ画像領域を生成し、当該ＣＧ画像領域により、実画像のヘルメット部分の画像領域を置換することで、ＣＧ画像データを生成する。つまり、このＣＧ画像データは、ＣＧ処理により、ヘルメット部分の色が変更された画像となる。ＣＧ合成部３は、上記と同様にして、例えば、ヘルメット色を他の色、テクスチャーに変更する、あるいは、作業員の髪（ヘルメットをかぶっていない状態）に置換する等のＣＧ処理（ＣＧ合成処理）により、元の画像から、多様なＣＧ合成画像を生成する。このように処理することで、１つの訓練データＤｔｒ１から、多量の訓練用データを取得することができる。そして、ＣＧ合成部３は、上記のようにして生成したＣＧ画像データを、元の画像データに追加して、拡張訓練データＤｔｒ２を生成する。そして、ＣＧ合成部３は、生成した拡張訓練データＤｔｒ２を拡張訓練データ格納部ＤＢ２に記憶させる。

なお、元の画像データから、ＣＧ処理（ＣＧ合成処理）により、多量の画像データ（訓練用画像データ）を取得する方法については、特願２０１９−００８３０７号に記載の方法を用いてもよい。

上記のように処理することで、表示制御システム１０００では、図３の場合（ロボットアームＲｂｔ＿ａｒｍが第１動作をしている場合）についての訓練データ（学習用データ）が取得される。

また、表示制御システム１０００では、ロボットアームＲｂｔ＿ａｒｍが第１動作とは異なる第２動作をしているときの状態を撮像し、さらに、訓練データを取得する。

図４に示すように、ロボット制御部Ｒｂｔ＿Ｃ１に、訓練データを取得するために、ロボットアームＲｂｔ＿ａｒｍに第１動作とは異なる第２動作を実行させるためのデータＤ２＿ｒｂ＿ｔｒａｉｎを入力する。また、表示制御装置１００の投影制御部１に、ロボットアームＲｂｔ＿ａｒｍに第２動作をさせたときの安全領域、すなわち、作業員（例えば、図４では、作業員Ｐｓｎ１）が存在しても安全な領域（第２動作を行っているときのロボットアームＲｂｔ＿ａｒｍに作業員が接触することなく、安全に作業を行うことができる領域）を投影対象である床面に表示させるためのデータＤ２＿ｐｒｊ＿ｔｒａｉｎを入力する。

ロボットアームＲｂｔ＿ａｒｍは、データＤ２＿ｒｂ＿ｔｒａｉｎに基づいて、第２動作を行う。ロボットアームＲｂｔ＿ａｒｍが第２動作を行っている期間において、投影部Ｐｒｊ１は、表示制御装置１００の投影制御部１に入力されたデータＤ２＿ｐｒｊ＿ｔｒａｉｎに基づいて、ロボットアームＲｂｔ＿ａｒｍが第２動作を行っているときの安全領域を示す画像、あるいは、境界線を、投影対象である床面ＦＬＲに表示させる。図４に示した場合、領域Ａｒ２が、ロボットアームＲｂｔ＿ａｒｍが第２動作を行っているときの安全領域であり、当該安全領域を示す境界線が投影部Ｐｒｊ１から床面ＦＬＲに投影されている。

この状態において、作業員Ｐｓｎ１にヘルメットＨａｔ１（例えば、黄色のヘルメット）をかぶってもらい、安全領域内（領域Ａｒ１内）で作業、あるいは、移動等を行ってもらい、そのときの状況を撮像部Ｃｍｒ１で撮像する。

そして、ロボットアームＲｂｔ＿ａｒｍが第１動作をしているときの訓練データを取得する処理と同様の処理を実行することで、表示制御システム１０００は、ロボットアームＲｂｔ＿ａｒｍが第２動作をしているときの拡張訓練データＤｔｒ２を取得し、当該拡張訓練データＤｔｒ２は、拡張訓練データ格納部ＤＢ２に記憶される。

以上のようにして、表示制御システム１０００では、訓練データ取得モードの処理が実行され、訓練データ（学習用データ）（拡張訓練データＤｔｒ２）が取得される。

なお、上記では、表示制御システム１０００において、訓練データを取得するために、投影部Ｐｒｊ１から安全領域を床面に示す画像または境界線を投影し床面に表示する場合について説明したが、これに限定されることはない。例えば、表示制御システム１０００において、投影部Ｐｒｊ１から安全領域を床面に示す画像または境界線を投影せずに、撮像部Ｃｍｒ１により映像（フレーム画像）を取得し、取得したフレーム画像において、安全領域を示す画像または境界線を（例えば、ＣＧ処理により）合成して、訓練データ（訓練用の画像データ）を生成するようにしてもよい。また、安全領域については、取得されたフレーム画像内の作業員、ロボットアームＲｂｔ＿ａｒｍの位置、状態に応じて、手動または自動（例えば、算出）により、特定するようにしてもよい。

（１．２．２：学習モードの処理）
次に、学習モードの処理について、説明する。

図５は、第１実施形態に係る表示制御システム１０００の学習モードの処理を説明するための図である。

図５に示すように、学習部４は、拡張訓練データ格納部ＤＢ２から拡張訓練データＤｔｒ２を読み出し（取得し）、拡張訓練データＤｔｒ２を用いて、学習処理を行う。学習部４は、拡張訓練データＤｔｒ２を教師データとして、学習処理を行う。具体的には、学習部４は、入力を拡張訓練データＤｔｒ２に含まれる画像データ（この画像データを「Ｄｔｒ２．ｉｍｇ」と表記する）とし、出力を画像データが取得されたときの安全領域（投影面に表示する安全領域）を特定するための情報として、学習用モデル（例えば、ニューラルネットワークにより実現されるモデル）に対する学習を行う。学習用モデルは、例えば、入力層と、複数の中間層と、出力層とを備えるニューラルネットワークによるモデルである。学習用モデルの各層間の重み付け係数（各層間を繋ぐシナプス結合の重み付け）は、パラメータθにより設定（調整）されるものとする。

学習部４は、学習用モデルへの入力データＤｔｒ２．ｉｍｇの集合をｘとし、学習用モデルからの出力データの集合をｙとし、入力データｘが学習用モデルに入力されたときに出力データｙが出力される条件付き確率をＰ（ｙ｜ｘ）とすると、

を満たす最適パラメータθ＿ｏｐｔを、上記学習用モデルのパラメータを更新（調整）する処理を繰り返して取得する。なお、条件付きＰ（ｙ｜ｘ）は、出力データが教師データに近い程、大きな値をとるものとする。

例えば、条件付きＰ（ｙ｜ｘ）は、以下のように設定される。
σ：標準偏差
なお、ｘ_ｉは、集合ｘに含まれるベクトル（２次元画像の各画素のデータを１次元ベクトルにしたデータ）であり、ｙ_ｉは、集合ｙに含まれるベクトルであり、ｙ_{ｉ_ｃｏｒｒｅｃｔ}は、ｘ_ｉを入力としたときの教師データ（正解データ）（ベクトルデータ）である。Ｈ（ｘ_ｉ；θ）は、入力ｘ_ｉに対して、例えば、複数層からなるニューラルネットワークの処理を施し、出力を取得する処理に相当する演算子を表している。パラメータθは、例えば、当該ニューラルネットワークのシナプス結合の重み付け等を決定するパラメータである。なお、Ｈ（ｘ_ｉ；θ）には、非線形の演算が含まれてもよい。

学習部４は、拡張訓練データを用いて、学習用モデルを用いた学習処理を行い、十分収束したと判断した場合、そのときの学習用モデルに設定されていたパラメータθを最適化パラメータθ＿ｏｐｔとして取得し、取得した最適化パラメータθ＿ｏｐｔを最適化パラメータ格納部ＤＢ３に記憶させる。

以上のようにして、表示制御システム１０００では、学習モードの処理が実行される。

（１．２．３：予測モードの処理）
次に、予測モードの処理について、説明する。

図６〜図９は、第１実施形態に係る表示制御システム１０００の予測モードの処理を説明するための図である。

図６に示すように、ロボット制御部Ｒｂｔ＿Ｃ１に、制御信号Ｃｔｒｌ＿Ｒｂｔ（ｐｈａｓｅ１）が入力され、ロボットアームＲｂｔ＿ａｒｍが所定の動作（これを「フェーズ１の動作」という）を実行する場合について、説明する。

この場合、ロボット制御部Ｒｂｔ＿Ｃ１は、ロボットアームＲｂｔ＿ａｒｍが、制御信号Ｃｔｒｌ＿Ｒｂｔ（ｐｈａｓｅ１）に従う動作（フェーズ１の動作）を実行するように、ロボットアームＲｂｔ＿ａｒｍを制御する。

ロボットアームＲｂｔ＿ａｒｍは、ロボット制御部Ｒｂｔ＿Ｃ１から指令に従い、フェーズ１の動作を行う。

そして、撮像部Ｃｍｒ１は、そのときの状況（ロボットアームＲｂｔ＿ａｒｍ、作業員、床面ＦＬＲ等）を、訓練データを取得したときと同様の状態で撮像する。なお、投影部Ｐｒｊ１、撮像部Ｃｍｒ１、ロボットＲｂｔ、床ＦＬＲとの位置関係がずれる場合があるので、予測モードの処理を実行する前に、キャリブレーション（相対位置関係の調整処理）を行うようにしてもよい。例えば、床面ＦＬＲと平行な平面上に存在するロボットＲｂｔの台座上の異なる２点（例えば、図６に示した点Ｐ１、点Ｐ２）を撮像部Ｃｍｒ１により撮像した画像内で検出し、検出した２点に対応する画像と、表示制御装置１００において、訓練データを取得したときの画像の当該２点に対応する位置とが一致するように、撮像部Ｃｍｒ１の光軸の向き、カメラアングル、画角等を調整する。このキャリブレーション（相対位置関係の調整処理）により、表示制御システム１０００において、撮像部Ｃｍｒ１で取得される画像は、訓練データを取得したときの画像と同様の状況、つまり、画像内の位置関係が同じ画像となるので、予測処理の精度が向上する。なお、キャリブレーション時の精度を高めるために、３点以上の点群をキャリブレーション点として利用し、当該点群によって生成された各キャリブレーション用パラメータ(光軸の向き、カメラアングル、画角等)の平均値を用いるなどの方法を採用しても良い。

キャリブレーションを実行した後、ロボットアームＲｂｔ＿ａｒｍがフェーズ１の動作を行っている期間中において、撮像部Ｃｍｒ１は、ロボットＲｂｔ、床面ＦＬＲ、（存在すれば）作業員を上方から撮像し、撮像した画像（フレーム画像）を表示制御装置１００に出力し続ける。

予測処理時（予測モード）において、モード信号Ｍｏｄｅは、その信号値が「１」にセットされているので、セレクタＳＥＬ２は、データＤ１＿ｉｍｇを予測処理部５に出力する。

予測処理部５は、表示制御装置１００の処理モードが予測モードに設定されると、最適化パラメータ格納部ＤＢ３から最適化パラメータθ＿ｏｐｔを読み出し、当該最適化パラメータθ＿ｏｐｔに基づいて、学習済みモデルを取得する。つまり、予測処理部５は、学習用モデルにおいて、そのパラメータθを最適化パラメータθ＿ｏｐｔにより設定する。これにより、学習済みモデルが構築され、予測処理部５は、当該学習済みモデルに、セレクタＳＥＬ２から出力される画像データＤ１＿ｉｍｇを入力させる。

予測処理部５は、ロボットアームＲｂｔ＿ａｒｍがフェーズ１の動作を行っている期間中において取得された画像データＤ１＿ｉｍｇを、学習済みモデルに入力し、当該学習済みモデルからの出力をデータＤｐ１＿ｐｒｊとして取得する。例えば、図６に示す場合における、（１）ロボットアームＲｂｔ＿ａｒｍの位置、状態、および、（２）作業員Ｐｓｎ１の位置、状態は、図３の場合（安全領域が領域Ａｒ１であるときの訓練データを取得したときの状態）における、（１）ロボットアームＲｂｔ＿ａｒｍの位置、状態、および、（２）作業員Ｐｓｎ１の位置、状態と類似している。したがって、この状態において、撮像した画像データＤ１＿ｉｍｇが、予測処理部５の学習済みモデルに入力された場合、安全領域が領域Ａｒ１であることを示すデータ（床面ＦＬＲに領域Ａｒ１を表示させるためのデータＤｐ１＿ｐｒｊ）が、学習済みモデルから出力される。

そして、予測処理部５は、取得したデータＤｐ１＿ｐｒｊをセレクタＳＥＬ１に出力する。予測モードの場合、モード信号Ｍｏｄｅの信号値は「１」であるので、セレクタＳＥＬ１は、予測処理部５から出力されるデータＤｐ１＿ｐｒｊを投影制御部１に出力する。

投影制御部１は、データＤｐ１＿ｐｒｊを入力し、データＤｐ１＿ｐｒｊに基づく画像（あるいは、投影面に表示する境界線）が投影部Ｐｒｊ１から投影対象に投影されるように制御する制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ1＿ｐｒｊ）を生成し、生成した当該制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ1＿ｐｒｊ）を投影部Ｐｒｊ１に出力する。

そして、投影部Ｐｒｊ１は、制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ1＿ｐｒｊ）に基づいて、投影面（床面ＦＬＲ）に、データＤｐ１＿ｐｒｊに基づく画像（あるいは、投影面に表示する境界線）を投影する。図６に示した場合、安全領域が領域Ａｒ１であることを示す画像（あるいは、境界線）が床面ＦＬＲに投影される。

作業員Ｐｓｎ１は、床面ＦＬＲに投影されている画像（あるいは境界線）から、安全領域（図６の場合は、領域Ａｒ１）がどこであるか容易に判断することができ、安全領域内で作業する、あるいは、安全領域内で移動することで、ロボットアームＲｂｔ＿ａｒｍの動作を妨害する、あるいは、ロボットアームＲｂｔ＿ａｒｍと接触、衝突することない。したがって、安全が確保される。また、ロボットアームＲｂｔ＿ａｒｍの動作も、作業員に接触、衝突することがなくなるため、高速動作を継続することができ、その結果、ロボットアームＲｂｔ＿ａｒｍによる作業効率も高い状態で維持できる。

次に、図７に示すように、ロボット制御部Ｒｂｔ＿Ｃ１に、制御信号Ｃｔｒｌ＿Ｒｂｔ（ｐｈａｓｅ２）が入力され、ロボットアームＲｂｔ＿ａｒｍが所定の動作（これを「フェーズ２の動作」という）を実行する場合について、説明する。

この場合、ロボット制御部Ｒｂｔ＿Ｃ１は、ロボットアームＲｂｔ＿ａｒｍが、制御信号Ｃｔｒｌ＿Ｒｂｔ（ｐｈａｓｅ２）に従う動作（フェーズ２の動作）を実行するように、ロボットアームＲｂｔ＿ａｒｍを制御する。

ロボットアームＲｂｔ＿ａｒｍは、ロボット制御部Ｒｂｔ＿Ｃ１から指令に従い、フェーズ２の動作を行う。

そして、撮像部Ｃｍｒ１は、そのときの状況（ロボットアームＲｂｔ＿ａｒｍ、作業員、床面ＦＬＲ等）を、訓練データを取得したときと同様の状態で撮像する。

ロボットアームＲｂｔ＿ａｒｍがフェーズ２の動作を行っている期間中において、撮像部Ｃｍｒ１は、ロボットＲｂｔ、床面ＦＬＲ、（存在すれば）作業員を上方から撮像し、撮像した画像（フレーム画像）を表示制御装置１００に出力し続ける。

予測処理時（予測モード）において、モード信号Ｍｏｄｅは、その信号値が「１」にセットされているので、セレクタＳＥＬ２は、データＤ１＿ｉｍｇを予測処理部５に出力する。

予測処理部５は、ロボットアームＲｂｔ＿ａｒｍがフェーズ２の動作を行っている期間中において取得された画像データＤ１＿ｉｍｇを、学習済みモデルに入力し、当該学習済みモデルからの出力をデータＤｐ１＿ｐｒｊとして取得する。例えば、図７に示す場合における、（１）ロボットアームＲｂｔ＿ａｒｍの位置、状態、および、（２）作業員Ｐｓｎ１の位置、状態は、図４の場合（安全領域が領域Ａｒ２であるときの訓練データを取得したときの状態）における、（１）ロボットアームＲｂｔ＿ａｒｍの位置、状態、および、（２）作業員Ｐｓｎ１の位置、状態と類似している。したがって、この状態において、撮像した画像データＤ１＿ｉｍｇが、予測処理部５の学習済みモデルに入力された場合、安全領域が領域Ａｒ２であることを示すデータ（床面ＦＬＲに領域Ａｒ２を表示させるためのデータＤｐ１＿ｐｒｊ）が、学習済みモデルから出力される。

そして、予測処理部５は、取得したデータＤｐ１＿ｐｒｊをセレクタＳＥＬ１に出力する。予測モードの場合、モード信号Ｍｏｄｅの信号値は「１」であるので、セレクタＳＥＬ１は、予測処理部５から出力されるデータＤｐ１＿ｐｒｊを投影制御部１に出力する。

投影制御部１は、データＤｐ１＿ｐｒｊを入力し、データＤｐ１＿ｐｒｊに基づく画像（あるいは、投影面に表示する境界線）が投影部Ｐｒｊ１から投影対象に投影されるように制御する制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ１＿ｐｒｊ）を生成し、生成した当該制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ１＿ｐｒｊ）を投影部Ｐｒｊ１に出力する。

そして、投影部Ｐｒｊ１は、制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ１＿ｐｒｊ）に基づいて、投影面（床面ＦＬＲ）に、データＤｐ１＿ｐｒｊに基づく画像（あるいは、投影面に表示する境界線）を投影する。図７に示した場合、安全領域が領域Ａｒ２であることを示す画像（あるいは、境界線）が床面ＦＬＲに投影される。

作業員Ｐｓｎ１は、床面ＦＬＲに投影されている画像（あるいは境界線）から、安全領域（図７の場合は、領域Ａｒ２）がどこであるか容易に判断することができ、安全領域内で作業する、あるいは、安全領域内で移動することで、ロボットアームＲｂｔ＿ａｒｍの動作を妨害する、あるいは、ロボットアームＲｂｔ＿ａｒｍと接触、衝突することない。したがって、安全が確保される。また、ロボットアームＲｂｔ＿ａｒｍの動作も、作業員に接触、衝突することがなくなるため、高速動作を継続することができ、その結果、ロボットアームＲｂｔ＿ａｒｍによる作業効率も高い状態で維持できる。

以上のように、表示制御システム１０００では、ロボットアームＲｂｔ＿ａｒｍ、作業員の上方に設置した撮像部Ｃｍｒ１により撮像した画像（フレーム画像）であって、ロボットＲｂｔ、ロボットアームＲｂｔ＿ａｒｍの位置、状態、作業員の位置、状態を判別できる画像（フレーム画像）と、当該画像が取得されたときの安全領域を特定するデータとを訓練データ（教師データ）として、学習させた学習済みモデルを用いた予測処理を行う。そして、表示制御システム１０００では、学習したときの同様の状態で撮像した画像（フレーム画像）を用いて、学習済みモデルによる予測処理を行うことで、入力された画像が撮像されたときの安全領域（投影面における安全領域）を予測（特定）することができる。そして、表示制御システム１０００では、予測（特定）した安全領域が投影面（床面ＦＬＲ）に、投影部Ｐｒｊ１により投影することで、作業員が容易かつ確実に認識できるように、安全領域を投影面（床面ＦＬＲ）に表示させることができる。つまり、表示制御システム１０００では、遮蔽領域が少ない上方から撮影した画像を用いて、学習処理、予測処理を行うため、ロボットＲｂｔ、ロボットアームＲｂｔ＿ａｒｍがどのような状態であっても、その状態に応じて、動的に安全領域を特定（予測）する予測処理を、適切かつ高精度に行うことができる。

なお、上記では、投影面（床面ＦＬＲ）に境界線が表示される場合について説明したが、これに限定されることなく、表示制御システム１０００において、図８に示すように、安全度合いを階層的に分けた画像領域（例えば、階層的に色分けした画像、あるいは、階層的に輝度を変えた画像）を有する画像を投影面（床面ＦＬＲ）に投影するようにしてもよい。このようにすることで、作業員は、安全度合いも把握して、安全領域を認識することができる。

また、上記では、投影部Ｐｒｊ１から、安全領域を表示する場合について説明したが、これに限定されることはなく、表示制御システム１０００において、図９に示すように、危険領域を示す画像（あるいは境界線）を投影面（床面ＦＬＲ）に表示するようにしてもよい。なお、図９の場合、領域Ａｒ＿ｒｂ１が、危険度が高い領域（危険領域）であり、領域Ａｒ＿ｒｂ２が領域Ａｒ＿ｒｂ１よりも危険度が低い領域（危険領域）である。この場合、作業員は、危険領域外で、作業、移動等を行うことで、安全が確保される。

このように、表示制御システム１０００では、ロボットアームと人間とが共同作業を行うときに、安全領域（あるいは、危険領域）を適切に表示することができる。その結果、高い作業効率を確保しつつ、作業の安全性を向上させることができる。

≪第１変形例≫
次に、第１実施形態の第１変形例について、説明する。

なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

図１０は、第１実施形態の第１変形例に係る表示制御システム１０００Ａの概略構成図である。

図１１は、第１実施形態の第１変形例に係る表示制御装置１００Ａの概略構成図である。

図１２は、第１実施形態の第１変形例に係る表示制御システム１０００Ａの訓練データ取得モードの処理を説明するための図。

図１３は、第１実施形態の第１変形例に係る表示制御システム１０００Ａにおいて使用する訓練データの一例（パターン１）を示す図（タイミングチャート）である。

図１４は、第１実施形態の第１変形例に係る表示制御システム１０００Ａにおいて使用する訓練データの一例（パターン２）を示す図（タイミングチャート）である。

本変形例に係る表示制御システム１０００Ａは、図１０に示すように、第１実施形態の表示制御システム１０００において、表示制御装置１００を表示制御装置１００Ａに置換した構成を有している。そして、表示制御装置１００Ａは、図１１に示すように、第１実施形態の表示制御装置１００において、訓練データ取得部２を訓練データ取得部２Ａに置換した構成を有している。

訓練データ取得部２Ａは、セレクタＳＥＬ２から出力されるデータＤ１＿ｉｍｇと、ロボット制御部Ｒｂｔ＿Ｃ１に入力される訓練用データＤ１＿ｒｂ＿ｔｒａｉｎとを入力する。訓練データ取得部２Ａは、データＤ１＿ｉｍｇと訓練用データＤ１＿ｒｂ＿ｔｒａｉｎとに基づいて、予測処理部５の学習モデルを訓練するための訓練データＤｔｒ１を生成する。

本変形例の表示制御システム１０００Ａでは、予め決められているロボットＲｂｔの制御シーケンスと、それに応じて決定される安全領域（あるいは危険領域）とを対応付けて訓練データを取得する。例えば、図１３に示すように、ロボットアームＲｂｔ＿ａｒｍが、（１）フェーズ１（危険度：低）、（２）フェーズ２（危険度：高）、（３）フェーズ３（危険度：低（危険度は、フェーズ１の危険度と同じであるものとする））の順番に、動作するよう制御されることが予め決まっている場合、上記フェーズに応じて、安全領域（あるいは危険領域）も決定することができる。

例えば、図１３の場合、表示制御システム１０００Ａにおいて、ロボットＲｂｔ用の訓練データＤ１＿ｒｂ＿ｔｒａｉｎは、予め決められているロボットＲｂｔの制御シーケンスから決定され、当該制御シーケンスにより決定されるフェーズに応じて危険度が決定されるとともに、安全領域（あるいは危険領域）が決定される。図１３の場合、フェーズ２の危険度がフェーズ１の危険度よりも高いので、フェーズ２に対応する画像（安全領域または危険領域を明示する画像）が投影面（例えば、床面ＦＬＲ）により長い期間投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。つまり、図１３の場合、フェーズ２の開始時刻ｔ１よりも前の時刻ｔ０１から、フェーズ２に対応する画像（安全領域または危険領域を明示する画像）が投影面（例えば、床面ＦＬＲ）に投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。そして、それに応じて、フェーズ１に対応する画像（安全領域または危険領域を明示する画像）が、時刻ｔ０から時刻ｔ０１までの期間において、投影面（例えば、床面ＦＬＲ）に投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。つまり、フェーズ１からフェーズ２に移行する時刻ｔ１よりも前の時刻において、投影画像がフェーズ１の画像からフェーズ２の画像に切り替わるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。このようにすることで、安全領域が小さくなるフェーズに移行するよりも前に、作業員は、安全領域が小さくなることを認識でき、その結果、作業員の安全が確保される。

また、図１４に示すように、危険度に応じて決定した色（または輝度）を有する画像領域から構成される画像が投影面（例えば、床面ＦＬＲ）に投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成してもよい。

例えば、図１４の場合、図１３の場合と同様に、表示制御システム１０００Ａにおいて、ロボットＲｂｔ用の訓練データＤ１＿ｒｂ＿ｔｒａｉｎは、予め決められているロボットＲｂｔの制御シーケンスから決定され、当該制御シーケンスにより決定されるフェーズに応じて危険度が決定されるとともに、安全領域（あるいは危険領域）が決定される。図１４の場合、フェーズ２の危険度がフェーズ１の危険度よりも高いので、フェーズ１からフェーズ２に移行する前の期間において、フェーズ１に対応する画像領域とフェーズ２に対応する画像領域からなる画像（安全領域または危険領域を危険度に応じて色または輝度により階層的に分けた画像）が投影面（例えば、床面ＦＬＲ）に投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。つまり、図１４の場合、フェーズ２の開始時刻ｔ１よりも前の時刻ｔ０１から時刻ｔ１までの期間において、フェーズ１に対応する画像領域とフェーズ２に対応する画像領域からなる画像（安全領域または危険領域を危険度に応じて色または輝度により階層的に分けた画像）が投影面（例えば、床面ＦＬＲ）に投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。そして、それに応じて、フェーズ１に対応する画像（安全領域または危険領域を明示する画像）が、時刻ｔ０から時刻ｔ０１までの期間において、投影面（例えば、床面ＦＬＲ）に投影されるように訓練用データＤ１＿ｐｒｊ＿ｔｒａｉｎを生成する。つまり、フェーズ１からフェーズ２に移行する時刻ｔ１よりも前の時刻ｔ０１から、フェーズ１に対応する画像領域とフェーズ２に対応する画像領域からなる画像（安全領域または危険領域を危険度に応じて色または輝度により階層的に分けた画像）を投影面に投影することで、作業員が、まもなく危険度が変化し、安全領域が変化することを適切に把握することができる。したがって、このようにして生成した訓練用データにより学習することで、作業員の安全を適切に確保する予測処理用の学習済みモデルを構築することができる。

本変形例の表示制御システム１０００Ａでは、上記のようにロボットＲｂｔの制御シーケンスと対応付けた投影画像を訓練用データとして取得する。そして、このようにして取得した訓練用データを用いて学習処理を行い、学習済みモデルを取得する。そして、当該学習モデルを用いて、予測処理を実行することで、表示制御システム１０００Ａでは、適切に、安全領域（あるいは危険領域）を明示する画像を投影面（例えば、床面ＦＬＲ）に投影することができる。その結果、作業員は、安全領域がまもなく変化することも適切に把握でき、作業員の安全が確保される。

なお、本変形例の表示制御システム１０００Ａにおいて、例えば、投影面に投影されている画像（当該画像の色、輝度）により、訓練用データを生成し、当該訓練データにより、学習処理を行うようにしてもよい。つまり、本変形例の表示制御システム１０００Ａにおいて、ロボットアームＲｂｔ＿ａｒｍの状態を認識することなく、投影面に投影されている画像（当該画像の色、輝度）に基づいて、訓練用データの取得、学習処理を行うようにしてもよい。

［第２実施形態］
次に、第２実施形態について、説明する。

なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜２．１：表示制御システムの構成＞
図１５は、第２実施形態に係る表示制御システム２０００の概略構成図である。

図１６は、第２実施形態に係る表示制御装置１００Ｂの概略構成図である。

図１７は、第２実施形態に係る表示制御装置１００Ｂの予測処理部５Ａの概略構成図である。

第２実施形態に係る表示制御システム２０００は、図１５に示すように、第１実施形態の表示制御システム１０００において、表示制御装置１００を表示制御装置１００Ｂに置換した構成を有している。そして、表示制御装置１００Ｂは、図１６に示すように、第１実施形態の表示制御装置１００において、予測処理部５を予測処理部５Ａに置換した構成を有している。

予測処理部５Ａは、図１７に示すように、予測部５１と、検知対象位置判定部５２と、安全範囲マップ生成部５３と、危険判定部５４とを備える。予測処理部５Ａは、予測処理結果のデータＤｐ１＿ｐｒｊをセレクタＳＥＬ１および安全範囲マップ生成部５３に出力する。

予測部５１は、第１実施形態の予測処理部５と同様の処理を実行する機能部である。

検知対象位置判定部５２は、セレクタＳＥＬ２から出力される画像データＤ１＿ｉｍｇを入力し、当該画像データＤ１＿ｉｍｇに対して、画像認識処理を行い、検知対象（例えば、作業員）に相当する画像領域の画像上の位置を特定する。そして、検知対象位置判定部５２は、取得した検知対象の画像上の位置情報を含むデータをデータＤ＿ｐｏｓとして、危険判定部５４に出力する。

安全範囲マップ生成部５３は、予測部５１から出力されるデータＤｐ１＿ｐｒｊを入力し、当該データＤｐ１＿ｐｒｊから、安全領域を特定するマップ情報（安全領域の位置、大きさ、形状等を特定するための情報）を取得する。そして、安全範囲マップ生成部５３は、取得したマップ情報を含むデータをデータＤ＿ｍａｐとして、危険判定部５４に出力する。

危険判定部５４は、検知対象位置判定部５２から出力されるデータＤ＿ｐｏｓと、安全範囲マップ生成部５３から出力されるデータＤ＿ｍａｐとを入力する。危険判定部５４は、データＤ＿ｐｏｓおよびデータＤ＿ｍａｐに基づいて、検知対象（例えば、作業員）が危険領域に入っている（あるいは、現時刻から短い期間内に入っている可能性が高い）か否かを判定する。そして、危険判定部５４は、検知対象（例えば、作業員）が危険領域に入っている（あるいは、現時刻から短い期間内に入っている可能性が高い）と判定した場合、警告信号Ｓｉｇ＿ｗｒｎを生成し、生成した警告信号Ｓｉｇ＿ｗｒｎをロボット制御部Ｒｂｔ＿Ｃ１Ａに出力する。

ロボット制御部Ｒｂｔ＿Ｃ１Ａは、第１実施形態のロボット制御部Ｒｂｔ＿Ｃ１と同様の機能を有しており、さらに、表示制御装置１００Ｂから出力される警告信号Ｓｉｇ＿ｗｒｎを入力する。そして、ロボット制御部Ｒｂｔ＿Ｃ１Ａは、表示制御装置１００Ｂから警告信号Ｓｉｇ＿ｗｒｎが入力された場合、ロボットアームＲｂｔ＿ａｒｍの動作を継続することが危険であると判断し、警告動作（例えば、警告音を発生させる等の処理）、および／または、ロボットアームＲｂｔ＿ａｒｍを停止させる等の危険回避処理を行う。

＜２．２：表示制御システムの動作＞
以上のように構成された表示制御システム２０００の動作について、説明する。なお、第１実施形態と同様の部分については、説明を省略する。

図１８は、第２実施形態に係る表示制御システム２０００の予測モードの処理のフローチャートである。

図１９、図２０は、第２実施形態に係る表示制御システム２０００の予測モードの処理を説明するための図である。

以下では、図１８のフローチャートを参照しながら、表示制御システム２０００の予測モードの処理について、説明する。なお、表示制御システム２０００において、訓練データ取得モードの処理、学習モードの処理は、第１実施形態の表示制御システム１０００と同様である。

図１９に示すように、ロボット制御部Ｒｂｔ＿Ｃ１Ａに、制御信号Ｃｔｒｌ＿Ｒｂｔ（ｐｈａｓｅ２）が入力され、ロボットアームＲｂｔ＿ａｒｍが所定の動作（これを「フェーズ２の動作」という）を実行する場合について、説明する。

この場合、ロボット制御部Ｒｂｔ＿Ｃ１Ａは、ロボットアームＲｂｔ＿ａｒｍが、制御信号Ｃｔｒｌ＿Ｒｂｔ（ｐｈａｓｅ２）に従う動作（フェーズ２の動作）を実行するように、ロボットアームＲｂｔ＿ａｒｍを制御する。

ロボットアームＲｂｔ＿ａｒｍは、ロボット制御部Ｒｂｔ＿Ｃ１Ａから指令に従い、フェーズ２の動作を行う。

そして、撮像部Ｃｍｒ１は、そのときの状況（ロボットアームＲｂｔ＿ａｒｍ、作業員、床面ＦＬＲ等）を、訓練データを取得したときと同様の状態で撮像する。

ロボットアームＲｂｔ＿ａｒｍがフェーズ２の動作を行っている期間中において、撮像部Ｃｍｒ１は、ロボットＲｂｔ、床面ＦＬＲ、（存在すれば）作業員を上方から撮像し、撮像した画像（フレーム画像）を表示制御装置１００に出力し続ける（ステップＳ１）。

予測処理時（予測モード）において、モード信号Ｍｏｄｅは、その信号値が「１」にセットされているので、セレクタＳＥＬ２は、データＤ１＿ｉｍｇを予測処理部５Ａに出力する。

予測処理部５Ａは、ロボットアームＲｂｔ＿ａｒｍがフェーズ２の動作を行っている期間中において取得された画像データＤ１＿ｉｍｇを、学習済みモデルに入力し、当該学習済みモデルからの出力をデータＤｐ１＿ｐｒｊとして取得する。例えば、図１９に示す場合における、（１）ロボットアームＲｂｔ＿ａｒｍの位置、状態、および、（２）作業員Ｐｓｎ１の位置、状態は、図４の場合（安全領域が領域Ａｒ２であるときの訓練データを取得したときの状態）における、（１）ロボットアームＲｂｔ＿ａｒｍの位置、状態、および、（２）作業員Ｐｓｎ１の位置、状態と類似している。したがって、この状態において、撮像した画像データＤ１＿ｉｍｇが、予測処理部５Ａの学習済みモデルに入力された場合、安全領域が領域Ａｒ２であることを示すデータ（床面ＦＬＲに領域Ａｒ２を表示させるためのデータＤｐ１＿ｐｒｊ）が、学習済みモデルから出力される。

そして、予測処理部５Ａは、取得したデータＤｐ１＿ｐｒｊをセレクタＳＥＬ１に出力する。予測モードの場合、モード信号Ｍｏｄｅの信号値は「１」であるので、セレクタＳＥＬ１は、予測処理部５Ａから出力されるデータＤｐ１＿ｐｒｊを投影制御部１に出力する。

投影制御部１は、データＤｐ１＿ｐｒｊを入力し、データＤｐ１＿ｐｒｊに基づく画像（あるいは、投影面に表示する境界線）が投影部Ｐｒｊ１から投影対象に投影されるように制御する制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ１＿ｐｒｊ）を生成し、生成した当該制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ１＿ｐｒｊ）を投影部Ｐｒｊ１に出力する。

そして、投影部Ｐｒｊ１は、制御信号Ｃｔｌ＿ｐｒｊ（Ｄｐ１＿ｐｒｊ）に基づいて、投影面（床面ＦＬＲ）に、データＤｐ１＿ｐｒｊに基づく画像（あるいは、投影面に表示する境界線）を投影する。図１９に示した場合、安全領域が領域Ａｒ２であることを示す画像（あるいは、境界線）が床面ＦＬＲに投影される。

この状態において、撮像部Ｃｍｒ１により取得されたフレーム画像データＤ１＿ｉｍｇが検知対象位置判定部５２に入力される。

検知対象位置判定部５２はフレーム画像データＤ１＿ｉｍｇに対して、画像認識処理を行い、検知対象（例えば、図１９の作業員Ｐｓｎ１）に相当する画像領域の画像上の位置を特定する（ステップＳ２）。そして、検知対象位置判定部５２は、取得した検知対象の画像上の位置情報を含むデータをデータＤ＿ｐｏｓとして、危険判定部５４に出力する。

安全範囲マップ生成部５３は、予測部５１から出力されるデータＤｐ１＿ｐｒｊを入力し、当該データＤｐ１＿ｐｒｊから、安全領域を特定するマップ情報（安全領域の位置、大きさ、形状等を特定するための情報）を取得する（ステップＳ３）。図１９の場合、安全範囲マップ生成部５３は、安全領域Ａｒ２を特定するマップ情報を取得する。

そして、安全範囲マップ生成部５３は、取得したマップ情報を含むデータをデータＤ＿ｍａｐとして、危険判定部５４に出力する。

危険判定部５４は、検知対象位置判定部５２から出力されるデータＤ＿ｐｏｓと、安全範囲マップ生成部５３から出力されるデータＤ＿ｍａｐとに基づいて、検知対象（例えば、図１９の作業員Ｐｓｎ１）が危険領域に入っている（あるいは、現時刻から短い期間内に入っている可能性が高い）か否かを判定する。例えば、検知対象の動きベクトルを取得し、当該動きベクトルから、現時刻から短い期間内に入っている可能性が高いか否かを判定する（マップ照合処理、ステップＳ４、Ｓ５）。

そして、危険判定部５４は、検知対象（例えば、作業員）が危険領域に入っている（あるいは、現時刻から短い期間内に入っている可能性が高い）と判定した場合、警告信号Ｓｉｇ＿ｗｒｎを生成し、生成した警告信号Ｓｉｇ＿ｗｒｎをロボット制御部Ｒｂｔ＿Ｃ１Ａに出力する。

ロボット制御部Ｒｂｔ＿Ｃ１Ａは、表示制御装置１００Ｂから警告信号Ｓｉｇ＿ｗｒｎが入力された場合、ロボットアームＲｂｔ＿ａｒｍの動作を継続することが危険であると判断し、警告動作（例えば、警告音を発生させる等の処理）、および／または、ロボットアームＲｂｔ＿ａｒｍを停止させる等の危険回避処理を行う（ステップＳ６）。

表示制御システム２０００では、このように処理することで、例えば、図１９の場合において、作業員Ｐｓｎ１が安全領域Ａｒ２内から、安全領域Ａｒ２外へ移動し、ロボットアームＲｂｔ＿ａｒｍと接触、衝突する可能性が高くなった場合、危険回避処理により、ロボットアームＲｂｔ＿ａｒｍと接触、衝突する等の重大事故の発生を防止することができる。つまり、表示制御システム２０００においても、ロボットＲｂｔ、ロボットアームＲｂｔ＿ａｒｍがどのような状態であっても、その状態に応じて、動的に安全領域を特定（予測）する予測処理を、適切かつ高精度に行うことができる。

なお、上記では、投影面（床面ＦＬＲ）に境界線が表示される場合について説明したが、これに限定されることなく、表示制御システム２０００において、安全度合いを階層的に分けた画像領域（例えば、階層的に色分けした画像、あるいは、階層的に輝度を変えた画像）を有する画像を投影面（床面ＦＬＲ）に投影するようにしてもよい。この場合、安全度合いを階層的に分けた画像領域を含む画像データを用いて、上記の検知対象の位置特定処理（ステップＳ２）、安全範囲マップ取得処理（ステップＳ３）の処理を行えばよい。

また、上記では、投影部Ｐｒｊ１から、安全領域を表示する場合について説明したが、これに限定されることはなく、表示制御システム２０００において、図２０に示すように、危険領域を示す画像（あるいは境界線）を投影面（床面ＦＬＲ）に表示するようにしてもよい。なお、図２０の場合、領域Ａｒ＿ｒｂ１が、危険度が高い領域（危険領域）であり、領域Ａｒ＿ｒｂ２が領域Ａｒ＿ｒｂ１よりも危険度が低い領域（危険領域）である。この場合、検知対象（例えば、作業員Ｐｓｎ１）が危険範囲に入る、あるいは、短期間に入る可能性が高い場合、表示制御装置１００Ｂからロボット制御部Ｒｂｔ＿Ｃ１Ａに警告信号Ｓｉｇ＿ｗｒｎを出力し、危険回避処理を行うようにすればよい。

［他の実施形態］
上記実施形態を組み合わせて、表示制御システム、表示制御装置を構成するようにしてもよい。例えば、第２実施形態の表示制御システムにおいて、第１実施形態の第１変形例と同様の方法により、訓練用データを取得し、取得した当該訓練用データを用いて学習処理を行い、さらに、当該学習処理により取得した学習済みモデルを用いて、予測処理を行うようにしてもよい。

また、上記実施形態では、ロボットＲｂｔが１つ、作業員が一人である場合について説明したが、これに限定されることはなく、ロボットＲｂｔの数、作業員の数は、任意の数でよい。

また、上記実施形態では、撮像部Ｃｍｒ１が１つである場合について説明したが、これに限定されることはなく、表示制御システムは、複数の撮像部を備えるものであってもよい。そして、このように構成された表示制御システムにおいて、より遮蔽を減少させるために、複数のカメラで撮像した画像を用いて危険検知、危険判定処理等を行うようにしてもよい。

なお、撮像部は、固定位置に設置されることが好ましいが、可変位置に設置されてもよい。

また、上記実施形態では、安全領域（あるいは、危険領域）を、ロボットアームＲｂｔ＿ａｒｍの動作状態により、動的に変化させて、投影面（床面ＦＬＲ）に投影する場合について説明したが、これに限定されることはなく、例えば、安全領域の最大領域を検出し、当該最大領域を静的に投影面（床面ＦＬＲ）に表示するようにしてもよい。この場合、床面ＦＬＲにおいて、物理的に認識できる境界線等を表示するようにしてもよい（例えば、光ファイバーにより、当該境界が発光し、作業員等が容易に認識できるようにしてもよい）。

また、上記実施形態では、投影部Ｐｒｊ１は、プロジェクタ装置を使用する場合について説明したが、これに限定されることはなく、例えば、ＬＥＤスキャナ、レーザースキャナ等を投影部Ｐｒｊ１として用いてもよい。

また、上記実施形態では、投影部Ｐｒｊ１が１つである場合について説明したが、これに限定されることはなく、表示制御システムは、複数の投影部（例えば、プロジェクタ装置）を備えるものであってもよい。そして、このように構成された表示制御システムにおいて、複数の投影部（例えば、プロジェクタ装置）を用いて、遮蔽なく安全領域または危険領域を投影して明示するようにしてもよい。

なお、投影部は、固定位置に設置されることが好ましいが、可変位置に設置されてもよい。

また、上記実施形態では、キャリブレーションにおいて、ロボットＲｂｔの台座の２点を基準点とする場合について、説明したが、これに限定されることはなく、キャリブレーション用の基準点の数は、２以上であってもよいし、また、別の位置を基準点としてもよい。

また、上記実施形態で説明した表示制御システム、表示制御装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図２１に示したハードウェア構成（例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

また、上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図２１に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＳＳＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙ（登録商標）、次世代光ディスク、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００、１０００Ａ、２０００ 表示制御システム
Ｃｍｒ１ 撮像部
Ｐｒｊ１ 投影部
１００、１００Ａ、１００Ｂ 表示制御装置
５、５Ａ 予測処理部
Ｒｂｔ ロボット
Ｒｂｔ＿ａｒｍ ロボットアーム
Ｒｂｔ＿Ｃ１、Ｒｂｔ＿Ｃ１Ａ ロボット制御部

Claims (16)

1. ロボットアームと可動物体とが混在する可能性がある空間において、可動物体が存在していても安全であると判定される領域である安全領域を、前記空間内において可動物体が認識可能な投影面に、表示するための表示制御システムであって、
   前記ロボットアームよりも上方の位置に設置される撮像部と、
   （１）前記空間において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像であって、前記ロボットアームの所定の状態であるときに撮像した前記画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）前記ロボットアームが当該所定の状態であるときの安全領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する予測処理部であって、予測処理時において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、前記学習済みモデルを用いた前記予測処理を実行することで、前記予測処理用画像を取得したときの前記空間における安全領域を予測し、予測した安全領域を予測安全領域として取得し、前記予測安全領域に基づいて、投影画像データを生成する前記予測処理部と、
   前記投影画像データにより形成される投影画像を前記投影面に投影する投影部と、
   を備える表示制御システム。
2. 前記予測処理部は、
   前記ロボットアームを制御するための前記制御データに基づいて、それぞれ安全度合いに応じて特定される色を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、前記撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する、
   請求項１に記載の表示制御システム。
3. 前記予測処理部は、
   前記ロボットアームを制御するための前記制御データに基づいて、それぞれ安全度合いに応じて特定される輝度を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、前記撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する、
   請求項１に記載の表示制御システム。
4. 前記予測処理部は、
   それぞれ安全度合いに応じて特定される色を有する複数の画像領域を生成し、前記投影画像データにより形成される画像が、生成した前記複数の画像領域を含むように、前記投影画像データを生成する、
   請求項１から３のいずれかに記載の表示制御システム。
5. 前記予測処理部は、
   それぞれ安全度合いに応じて特定される輝度を有する複数の画像領域を生成し、前記投影画像データにより形成される画像が、生成した前記複数の画像領域を含むように、前記投影画像データを生成する、
   請求項１から３のいずれかに記載の表示制御システム。
6. ロボットアームと可動物体とが混在する可能性がある空間において、可動物体が存在していると危険であると判定される領域である危険領域を、前記空間内において可動物体が認識可能な投影面に、表示するための表示制御システムであって、
   前記ロボットアームよりも上方の位置に設置される撮像部と、
   （１）前記空間において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像であって、前記ロボットアームの所定の状態であるときに撮像した前記画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）前記ロボットアームが当該所定の状態であるときの危険領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する予測処理部であって、予測処理時において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、前記学習済みモデルを用いた前記予測処理を実行することで、前記予測処理用画像を取得したときの前記空間における危険領域を予測し、予測した危険領域を予測危険領域として取得し、前記予測危険領域に基づいて、投影画像データを生成する前記予測処理部と、
   前記投影画像データにより形成される投影画像を前記投影面に投影する投影部と、
   を備える表示制御システム。
7. 前記予測処理部は、
   前記ロボットアームを制御するための前記制御データに基づいて、それぞれ危険度合いに応じて特定される色を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、前記撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する、
   請求項６に記載の表示制御システム。
8. 前記予測処理部は、
   前記ロボットアームを制御するための前記制御データに基づいて、それぞれ危険度合いに応じて特定される輝度を有する複数の画像領域を含むように生成された訓練用投影画像データを前記投影面に投影されたときに、前記撮像部により撮像された画像を用いて、学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する、
   請求項６に記載の表示制御システム。
9. 前記予測処理部は、
   それぞれ危険度合いに応じて特定される色を有する複数の画像領域を生成し、前記投影画像データにより形成される画像が、生成した前記複数の画像領域を含むように、前記投影画像データを生成する、
   請求項６から８のいずれかに記載の表示制御システム。
10. 前記予測処理部は、
    それぞれ危険度合いに応じて特定される輝度を有する複数の画像領域を生成し、前記投影画像データにより形成される画像が、生成した前記複数の画像領域を含むように、前記投影画像データを生成する、
    請求項６から８のいずれかに記載の表示制御システム。
11. 前記空間は、床面を有しており、
    前記投影面は、前記空間内の床面である、
    請求項１から１０のいずれかに記載の表示制御システム。
12. 前記空間は、天井面を有しており、
    前記撮像部は、前記空間の天井面に設置されている、
    請求項１から１１のいずれかに記載の表示制御システム。
13. 前記ロボットアームを制御するロボットアーム制御部をさらに備え、
    前記予測処理部が、前記可動物体が安全領域外に移動する可能性が高い、あるいは、前記可動物体が危険領域内に移動する可能性が高いと判断した場合、前記ロボットアーム制御部は、前記ロボットアームの動作を停止させる、および／または、警告を発生させる処理を実行する、
    請求項１から１２のいずれかに記載の表示制御システム。
14. ロボットアームと可動物体とが混在する可能性がある空間において、
    前記ロボットアームよりも上方の位置に設置される撮像部と、
    画像を所定の投影面に投影する投影部と、
    を備える表示制御システムに用いられる表示制御方法であり、
    可動物体が存在していても安全であると判定される領域である安全領域を、前記空間内において可動物体が認識可能な投影面に、表示するための表示制御方法であって、
    （１）前記空間において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像であって、前記ロボットアームの所定の状態であるときに撮像した前記画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）前記ロボットアームが当該所定の状態であるときの安全領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する予測処理ステップであって、予測処理時において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、前記学習済みモデルを用いた前記予測処理を実行することで、前記予測処理用画像を取得したときの前記空間における安全領域を予測し、予測した安全領域を予測安全領域として取得し、前記予測安全領域に基づいて、投影画像データを生成する前記予測処理ステップと、
    前記投影画像データにより形成される投影画像を前記投影面に投影する投影ステップと、
    を備える表示制御方法。
15. ロボットアームと可動物体とが混在する可能性がある空間において、
    前記ロボットアームよりも上方の位置に設置される撮像部と、
    画像を所定の投影面に投影する投影部と、
    を備える表示制御システムに用いられる表示制御方法であり、
    可動物体が存在していていると危険であると判定される領域である危険領域を、前記空間内において可動物体が認識可能な投影面に、表示するための表示制御方法であって、
    （１）前記空間において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像であって、前記ロボットアームの所定の状態であるときに撮像した前記画像、または、前記ロボットアームが所定の状態となるように前記ロボットアームを制御するための制御データと、（２）前記ロボットアームが当該所定の状態であるときの危険領域を特定する情報とを含むデータを教師データとして学習処理を実行して取得した学習済みモデルを用いて予測処理を実行する予測処理ステップであって、予測処理時において、前記撮像部により、前記ロボットアームよりも上方の位置から撮像した画像である予測処理用画像に対して、前記学習済みモデルを用いた前記予測処理を実行することで、前記予測処理用画像を取得したときの前記空間における危険領域を予測し、予測した危険領域を予測危険領域として取得し、前記予測危険領域に基づいて、投影画像データを生成する前記予測処理ステップと、
    前記投影画像データにより形成される投影画像を前記投影面に投影する投影ステップと、
    を備える表示制御方法。
16. 請求項１４または１５に記載の表示制御方法をコンピュータに実行させるためのプログラム。