JP2023003602A - 制御システム、駆動装置、入力装置および制御プログラム - Google Patents

Abstract

【課題】工場ラインで用いられる機器の制御を自動化できる制御システムを提供する。【解決手段】検出装置１０は、対象物体の画像を撮像する。制御装置４０は、撮像された対象物体の画像から、その対象物体の状態を判定する状態判定部４６と、判定された対象物体の状態に応じて定義された制御内容に応じて、または、物体の状態を入力とし制御内容を出力とする制御モデルに検出された対象物体の状態を入力して、駆動装置２０の制御内容を決定する制御内容決定部４７と、決定された制御内容に基づいて、駆動装置２０の制御を行う制御部４８とを含む。【選択図】図１

Description

本発明は、ロボットの動作を制御する制御システム、並びに、その制御システムで用いられる駆動装置、入力装置、および、制御プログラムに関する。

近年、人手不足や作業の効率化を図るため、工場ラインの作業を低コストで自動化する方法が各種提案されている。例えば、特許文献１には、構成を簡素化したロボットシステムが記載されている。特許文献１に記載されたシステムでは、携帯情報端末が製品の製造情報を表示し、教示モードで教示作業に用いた携帯情報端末を、再生モードでは製品の製造情報を表示する表示器として用いる。これにより、ロボットシステムの構成を簡素化して、製造コストも低減させる。

なお、特許文献２には、産業用ロボットなどに用いられる多関節ロボットアーム機構が記載されている。特許文献２に記載された機構では、ステッピングモータのドライブシャフトが所定の角度を回転する毎にエンコーダパルスを出力し、エンコーダパルスのカウントに応じたアーム部の長さが、そのアーム部の脱落防止のために設定された閾値に達したとき、静止トルクを発生させるためにモータドライバを制御する。

特開２０１９－２０９４０１号公報 特開２０１６－１０１６４７号公報

一方、特許文献１に記載されたシステムの動作指令は、携帯端末からの教示に依存するものである。そのため、例えば、工場ラインにおいて、作業対象の物体を認識し、物体の状態に応じたロボットの制御を行うためには、人手を介する必要がある。そのため、制御に要する人員の数を抑制しつつ、工場ラインで用いられる機器の制御を自動化できることが好ましい。

そこで、本発明では、工場ラインで用いられる機器の制御を自動化できる制御システム、並びに、その制御システムで用いられる駆動装置、入力装置、および、制御プログラムを提供することを目的とする。

本発明による制御システムは、対象物体を検出する検出装置と、対象物体に対する処理を行う駆動装置と、検出装置により検出された対象物体の状態に基づいて駆動装置の制御を行う制御装置とを備え、検出装置が、対象物体を撮像するカメラで実現され、その対象物体の画像を撮像し、制御装置が、撮像された対象物体の画像から、その対象物体の状態を判定する状態判定部と、判定された対象物体の状態に応じて定義された制御内容に応じて、または、物体の状態を入力とし制御内容を出力とする制御モデルに検出された対象物体の状態を入力して、駆動装置の制御内容を決定する制御内容決定部と、決定された制御内容に基づいて、駆動装置の制御を行う制御部とを含むことを特徴とする。

本発明による駆動装置は、上記制御システムによって駆動される駆動装置であって、１つ以上のモータと、そのモータの動作内容に応じた出力をするセンサとを含むことを特徴とする。

本発明による入力装置は、上記制御システムが備える入力装置であって、撮像された対象物体の画像に対する正解ラベルの入力、撮像された画像内のマーカを基準とした位置および角度の指定、および、駆動装置の制御パラメータの少なくとも一つの受け付けることを特徴とする。

本発明による制御プログラムは、コンピュータに、対象物体の画像を撮像するカメラで実現される検出装置により検出されたその対象物体の状態に基づいて、その対象物体に対する処理を行う制御処理を実行させ、制御処理で、撮像された対象物体の画像から、その対象物体の状態を判定する状態判定処理、判定された対象物体の状態に応じて定義された制御内容に応じて、または、物体の状態を入力とし制御内容を出力とする制御モデルに検出された対象物体の状態を入力して、駆動装置の制御内容を決定する制御内容決定処理、および、決定された制御内容に基づいて、駆動装置の制御を行う制御処理を実行させることを特徴とする。

本発明によれば、工場ラインで用いられる機器の制御を自動化できる。

本発明による制御システムの一実施形態の構成例を示すブロック図である。 制御内容を登録する処理の例を示す説明図である。 一覧表示された対象物体の画像の例を示す説明図である。 次元削減と範囲指定によるラベル指定の画面例を示す説明図である。 モデルの学習に用いるトレーニングデータを生成するための基準データを生成する動作例を示すフローチャートである。 モデルの学習に用いるトレーニングデータを生成する動作例を示すフローチャートである。 トレーニングデータの生成時に用いられる画面例を示す説明図である。 パラメータを指定する画面例を示す説明図である。 制御システムの動作例を示すフローチャートである。 制御システムの具体的な構成例を示す説明図である。 駆動装置の具体的な構成例を示す説明図である。 ロボットの外観例を示す説明図である。

以下、本発明の実施形態を図面を参照して説明する。以下の説明では、本発明による制御システムが、工場ラインの作業（例えば、繰り返し作業）を自動化するロボットシステムとして実現される場合を例示する。例えば、本実施形態の制御システムは、所定の位置に配置される対象物体や、コンベヤ等で運搬される対象物体を認識し、その対象物体に対して作業を行うロボットの動作を制御する。

図１は、本発明による制御システムの一実施形態の構成例を示すブロック図である。本実施形態の制御システム１は、検出装置１０と、駆動装置２０と、入出力装置３０と、制御装置４０と、学習装置５０とを備えている。なお、図１では、検出装置１０、駆動装置２０、入出力装置３０、制御装置４０、および、学習装置５０が、それぞれ別々の装置で実現されている場合を例示する。ただし、検出装置１０、駆動装置２０、入出力装置３０、制御装置４０、および、学習装置５０の一部または全部が一体となった装置で実現されてもよい。また、図１に例示する装置以外の周辺装置が制御システム１に含まれていてもよい。

検出装置１０は、対象物体を検出する装置である。検出装置１０は、対象物体を検出する内容に応じて設置される。検出装置１０は、例えば、対象物体を撮像するカメラで実現されてもよい。この場合、検出装置１０は、対象物体の画像を撮像する。また、例えば、コンベヤ上の対象物体の通過を検出する場合、検出装置１０は、例えば、電光センサにより実現されてもよい。この場合、具体的には、発光素子および受光素子を含む投受光器が出力した光に対する反射光を検出することで、物体が検出される。

ただし、電光センサでは、物体の厳密なコンベヤ上の位置や、物体の姿勢を検出することは困難である。そのため、電光センサを用いる場合には、予め物体を整列させたり、検出装置１０としてカメラを使用したりすることで、物体の位置や姿勢の情報を取得できる。

さらに、検出装置１０が、ＴｏＦ（Time Of Flight）センサで実現されてもよい。具体的には、検出装置１０としてＴｏＦセンサを用いることで、対象物体との距離を検出してもよい。３個以上のセンサを利用することで、例えば、コンベヤ上の物体の位置や姿勢を推定できるため、検出装置１０としてカメラを用いるよりも、低コストかつ簡易に装置を実装することが可能になる。

また、検出装置１０は、上述する複数の装置により実現されていてもよい。すなわち、検出装置１０が、例えば、カメラとセンサ（電光センサや、ＴｏＦセンサ）により実現されていてもよい。

駆動装置２０は、後述する制御装置４０の制御に基づいて駆動することにより、対象物体に対する処理を行う装置である。駆動装置２０は、例えば、吸引パッドやグリッパが接続されたロボットアームにより実現される。なお、駆動装置２０の態様はロボットアームに限定されず、また、駆動対象の装置も１つに限定されない。

また、本実施形態の駆動装置２０は、駆動させるための１つ以上のモータ（図示せず）と、そのモータの動作内容に応じた出力をするセンサ（図示せず）とを含んでいてもよい。モータの例として、例えば、ステッピングモータなどが挙げられる。また、センサの例として、磁気エンコーダなどが挙げられる。なお、駆動装置２０の具体的な構成例については後述される。

入出力装置３０は、ユーザからの入力を受け付け、また、制御装置４０が出力する内容を表示する。例えば、検出装置１０がカメラで実現されている場合、入出力装置３０は、そのカメラで撮像された対象物体の画像を表示してもよく、その画像に対するユーザの入力を受け付けてもよい。なお、制御装置４０と協働した入出力装置３０の動作については後述される。

なお、入出力装置３０の態様は任意である。入出力装置３０は、入力装置と出力装置とが別々の装置で実現されていてもよい。出力装置の具体的態様として、例えば、ディスプレイなどの表示装置や、プロジェクタなどの投影装置、プリンタなどの印刷装置が挙げられる。また、入出力装置３０は、例えば、制御装置４０と一体になったタッチパネルにより実現されていてもよく、タブレット端末などの外部装置のディスプレイにより実現されていてもよい。入出力装置３０が制御装置４０と一体になって実現されることで、省スペース化を実現できる。また、入出力装置３０が外部装置で実現される場合、作業員が立ち入れないような場所に設置された装置を遠隔で操作することも可能になる。

また、検出装置１０がカメラにより実現されている場合、入出力装置３０は、カメラで撮影された映像を表示してもよい。さらに、入出力装置３０がタッチパネルにより実現されている場合、入出力装置３０は、カメラで撮影した映像に対するユーザの操作を検出して、制御装置４０にその操作を示す情報を通知してもよい。

制御装置４０は、駆動装置２０の動作を制御する装置である。具体的には、制御装置４０は、検出装置１０によって検出された対象物体の状態に基づいて、駆動装置２０の制御を行う。本実施形態の制御装置４０は、記憶部４１と、制御内容登録部４２と、画像データ生成部４３と、アノテーション処理部４４と、駆動制御部４５とを含む。

記憶部４１は、制御装置４０が処理を行うために必要な各種情報を記憶する。例えば、検出装置１０がカメラにより実現されている場合、記憶部４１は、そのカメラのパラメータを記憶してもよく、カメラで撮影した対象物体の画像を記憶してもよい。また、記憶部４１は、駆動装置２０の制御に用いられる学習済みモデルを記憶してもよい。

また、記憶部４１は、対象物体の状態に応じた駆動装置２０の制御内容を記憶してもよい。この制御内容は、後述する制御内容登録部４２によって、対象物の個々の状態に応じて定義されたものであってもよく、上述する学習済みモデルによって特定されるものであってもよい。

制御内容登録部４２は、ユーザの指示に基づいて、対象物体の状態に応じた駆動装置２０の制御内容を記憶部４１に登録する。制御内容登録部４２は、例えば、対象物体の状態に応じて駆動装置２０を制御するための制御コードの入力を受け付け、受け付けた制御コードを制御内容として登録してもよい。

また、制御内容登録部４２は、入出力装置３０に表示された画像に対して、ユーザが直接的に、または、間接的に駆動装置２０の制御内容を入力することにより、対象物体の状態に応じた制御内容を登録してもよい。制御内容登録部４２は、例えば、ユーザが入出力装置３０の画面に表示された画像上で駆動装置２０の動作の終点位置を指定した入力を受け付けることで、制御する動作を自動的に登録してもよい。

図２は、制御内容を登録する処理の例を示す説明図である。図２に示す例では、入出力装置３０が、検出装置１０であるカメラにより撮像された映像を操作画面Ｕ０１に表示していることを示す。制御内容登録部４２は、撮像された映像をもとに、基準になるマーカの位置や角度、カメラからの距離を取得する（ステップＳ１０１）。

その後、制御内容登録部４２は、ユーザから入出力装置３０の操作画面（以下、ＵＩ：User Interfaceと記すこともある。）を介して、マーカを基準とした任意の移動先の位置および角度の指定を受け付ける（ステップＳ１０２）。なお、マーカとして、ＱＲコード（登録商標）や、ＡｒＵｃｏマーカが用いられてもよい。また、形状が一定である容器などがマーカとして利用されてもよい。図２に示す例では、入出力装置３０が移動先Ｕ０２および角度の指定を受け付けたことを示す。なお、制御内容登録部４２は、操作画面を介した指定以外に、移動させた対象物体に対する検出装置１０の検出により、移動先の位置および角度を特定してもよい。この場合、制御内容登録部４２は、ＵＩを介したユーザによる確認の結果を受け付けて、制御内容を登録してもよい（ステップＳ１０３）。

入出力装置３０を介して入力された駆動装置２０の制御内容（具体的な動作）は、センサ等で検知された対象物体の実際の位置や姿勢と、カメラで撮影された対象物体の画像上の座標位置との関係に応じて計算することが可能である。なお、画像を撮像したカメラの位置と対象物体との位置関係に基づいて、指定された画像の座標位置を計算する方法は広く知られているため、ここでは詳細な説明は省略する。

画像データ生成部４３は、対象物体の画像を次元削減した画像データを生成する。具体的には、画像データ生成部４３は、撮像された対象物体の画像を主成分解析により次元削減した画像データを生成する。なお、対象物体の画像は、検出装置１０によって取得された画像であってもよく、予め撮像された画像であってもよい。そして、画像データ生成部４３は、対象物体の画像を入出力装置に表示させる。具体的には、入出力装置３０は、画面上に次元削減（主成分解析）により要約された主成分を次元軸とする二次元の座標平面を定義し、生成された各画像データの主成分が示す座標平面上の座標位置に、各画像データを生成する元になった対象物体の画像をそれぞれ表示する。なお、上記例では、画像データ生成部４３が二次元の座標平面に対象物体の画像を表示する場合を例示したが、次元数は二次元に限定されない。画像データ生成部４３は、一次元の座標軸に画像を表示してもよいし、三次元の座標空間に画像を表示してもよい。

そして、入出力装置３０は、ユーザによる１以上の画像の指定の入力を受け付ける。入出力装置３０は、特定の画像を指定した入力を受け付けてもよく、１以上の画像を含む範囲の指定の入力を受け付けてもよい。併せて、入出力装置３０は、指定された画像に対する正解ラベルの入力を受け付ける。

アノテーション処理部４４は、ユーザの入力に基づき、指定された対象物体の画像に正解ラベルをラベル付けしたトレーニングデータを生成する。アノテーション処理部４４は、生成したトレーニングデータを記憶部４１に登録する。なお、アノテーション処理部４４は、生成したトレーニングデータを学習装置５０（より具体的には、記憶部５１）に入力してもよい。

図３は、一覧表示された対象物体の画像の例を示す説明図である。図３に例示する画面は、複数の対象製品の画像に対して主成分解析を行った結果に応じて、それらの画像を一覧表示した例を示す。例えば、不良品を示す画像は、主成分解析を行うことで、類似するグループに分類することが可能である。入出力装置３０は、例えば、図３に例示する画面に表示された画像の範囲Ｒ１の選択を受け付け、選択された範囲に含まれる画像の入力を受け付ける。

例えば、目視による点検を自動化しようとしたときに、熟練者がその点検の判断基準を言語化することは容易ではない。一方で、熟練者以外が画像アノテーションを行おうとしても、理想的な分類器を生成できない恐れもある。しかし、分類器の推論モデルを作成するために、熟練者が大量のデータを一つ一つ確認してアノテーションを行うことは現実的ではない。

図３に示す例では、不良品を示す対象物体の画像が、画面の上部にグループ化されていることを示す。このような画面を熟練者が点検すれば、画像アノテーションを、複数の対象に対して同時に、かつ、直感的に行うことが可能になる。なお、所望の結果が得られなかった場合、画像データ生成部４３は、別の成分に着目した主成分解析により画像データを生成すればよい。

図４は、次元削減と範囲指定によるラベル指定の画面例（ＵＩ例）を示す説明図である。図４に示す例では、入出力装置３０が画面Ｕ３０の画像表示領域Ｕ３１に次元削減（主成分解析）により要約された主成分を次元軸とする二次元の座標平面を定義し、生成された各画像データの主成分が示す座標平面上の座標位置に、各画像データを生成する元になった対象物体の画像をそれぞれ表示したことを示す。

このとき、入出力装置３０は、例えば、ラベル選択ボタンＵ３２を用いた任意の正解ラベルの選択、および、表示された画像データに対して特定の画像の範囲を指定した範囲指定Ｕ３３の入力をユーザから受け付けてもよい。また、入出力装置３０は、範囲指定Ｕ３３で選択された画像データに対して付与する正解ラベルを、ボタンＵ３４を介した指示により追加してもよい。

さらに、入出力装置３０は、ユーザによる画面３０へのピンチおよびズームのジェスチャ（操作）を検知することで、画像表示領域Ｕ３１のズームインまたはズームアウトを行ってもよいし、上下左右にスライドするジェスチャ（操作）を検知することで画像表示領域Ｕ３１を変更してもよい。

駆動制御部４５は、検知された対象物体の状態を判断して、駆動装置２０を制御する内容を決定する。駆動制御部４５は、状態判定部４６と、制御内容決定部４７と、制御部４８とを有する。

状態判定部４６は、撮像された対象物体の画像から、その対象物体の状態を判定する。状態判定部４６は、例えば、物体の状態を判定するモデル（具体的には、後述するパターンマッチングモデル、オブジェクトディテクションモデル、セグメンテーションモデルや異常検知モデル）を用いて、対象物体の状態を判断してもよい。また、状態判定部４６は、予め準備した模範画像との単純な一致度合いに基づいて、対象物体の状態を判断してもよい。

制御内容決定部４７は、判定された対象物体の状態に基づいて、駆動装置２０の制御内容を決定する。具体的には、制御内容決定部４７は、対象物体の状態（例えば、モデルの出力結果）に応じた制御内容を予め定義しておき、制御内容決定部４７は、判定された対象物体の状態から、対応する制御内容を決定してもよい。制御内容決定部４７は、制御内容登録部４２によって登録された内容を用いてもよい。例えば、不良品と検知された対象物体を取り除く動作制御や、他の機械とロボットの位置から位置がずれていると判断される対象物体の位置を直す動作制御などが挙げられる。

他にも、物体の状態を入力とし制御内容を出力とするモデル制御モデルを予め学習しておき、制御内容決定部４７は、判定された対象物体の状態をその制御モデルに入力して、駆動装置２０の制御内容を決定してもよい。例えば、野菜の種類を検知して、その野菜の種類に応じたラベルを添付する制御などが考えられる。

以下、本実施形態の状態判定部４６が対象物体の状態を判定するモデルについて、具体的に説明する。対象物体の状態を判定するモデルとして、対象物体のパターンマッチングを行うモデル、オブジェクトディテクションを行うモデル、セグメンテーションを行うモデルや、対象物体の異常検知を行うモデルなどが挙げられる。以下、本実施形態の制御システム１を利用してモデルを生成する方法を例示する。

図５は、モデルの学習に用いるトレーニングデータを生成するための基準データを生成する動作例を示すフローチャートである。まず、入出力装置３０がＵＩを介して、ユーザから、対象物体の名目、または、ラベルの入力を受け付ける（ステップＳ１１１）。ラベルの例として、例えば、異常あり又はなしを示すラベルが挙げられる。その後、ユーザにより、制御システム１の検出装置１０（具体的には、カメラ）に写るように対象物体が配置される、または、コンベアにより対象物体が流されると（ステップＳ１１２）、検出装置１０は、自動、または、ＵＩを介したユーザからの指示に応じて、対象物体のカラー画像およびデプス画像を撮像する（ステップＳ１１３）。

予め基準方向に対象物体が配置された場合や、基準になる方向の指定をＵＩを介してユーザから入出力装置３０が受け付けると（ステップＳ１１４）、入出力装置３０は、その結果をＵＩに表示する（ステップＳ１１５）。ユーザに想定外の結果と判断された場合、入出力装置３０は、ＵＩを介した補正を受け付けてもよい。なお、ステップＳ１１１からステップＳ１１３の処理で得られた基準データが、後述するパターンマッチングのモデルとして利用されてもよい。

図６は、モデルの学習に用いるトレーニングデータを生成する動作例を示すフローチャートである。対象物体のカラー画像およびデプス画像を撮像するまでの処理は、図５に例示するステップＳ１１１からステップＳ１１３までの処理と同様である。

制御装置４０の画像データ生成部４３は、背景色と異なる色やデプス情報に応じて、セグメント情報を生成してもよい（ステップＳ１２４）。なお、画像データ生成部４３は、パターンマッチングにより対象物体の角度を取得し、規準の方向に合わせて画像のトリミングを行ってもよい（ステップＳ１２５）。入出力装置３０は、その結果をＵＩに表示する（ステップＳ１２６）。ユーザに想定外の結果と判断された場合、入出力装置３０は、ＵＩを介した補正を受け付けてもよいし、後に確認するための目印としてフラグを設定してもよい。

図７は、トレーニングデータの生成時に用いられる画面例を示す説明図である。画面Ｕ１０は、撮像された画像を確認する画面の例である。入出力装置３０は、画面Ｕ１０の画像表示領域Ｕ１１に画像を表示し、後に確認するためのフラグの設定指示をボタンＵ１２を介して受け付ける。また、入出力装置３０は、ボタンＵ１３を介した指示により、画像の修正処理を開始する。また、入出力装置３０は、画面Ｕ２０に例示するように、画像を一覧表示し、修正する画像の指定を受け付けて、画像の修正処理を開始してもよい。なお、画面を介した画像の修正処理の方法は広く知られているため、ここでは詳細な説明を省略する。

制御部４８は、決定された制御内容に基づいて、駆動装置２０の制御を行う。具体的には、制御部４８は、決定された制御内容に応じた制御信号を駆動装置２０に送信し、実際の制御処理を行う。制御部４８は、例えば、アノテーション処理部４４により生成された学習データを用いて学習されたモデルを用いることで決定された制御内容に基づいて、駆動装置２０の制御を行ってもよい。

制御内容登録部４２と、画像データ生成部４３と、アノテーション処理部４４と、駆動制御部４５（より具体的には、状態判定部４６と、制御内容決定部４７と、制御部４８）とは、プログラム（制御プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

例えば、プログラムは、制御装置４０が備える記憶部４１に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、制御内容登録部４２、画像データ生成部４３、アノテーション処理部４４、および、駆動制御部４５（より具体的には、状態判定部４６と、制御内容決定部４７と、制御部４８）として動作してもよい。また、制御装置４０の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

また、制御内容登録部４２と、画像データ生成部４３と、アノテーション処理部４４と、駆動制御部４５（より具体的には、状態判定部４６と、制御内容決定部４７と、制御部４８）とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

また、制御装置４０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

学習装置５０は、記憶部５１と、学習処理部５２とを含む。記憶部５１は、学習装置５０が処理を行うために必要な各種情報を記憶する。本実施形態の記憶部５１は、対象物体の状態を判断するためのモデルの学習に用いられるトレーニングデータを記憶する。記憶部５１は、学習に用いる各種パラメータ（ハイパーパラメータ）や、モデルの構造等を記憶していてもよい。また、記憶部５１は、外部記憶部（図示せず）から転送されたトレーニングデータやモデルを記憶してもよい。また、学習装置５０が、記憶部５１に記憶されたトレーニングデータやモデルを外部記憶部（図示せず）に転送してもよい。

学習処理部５２は、対象物体の画像に正解ラベルが対応付けられたトレーニングデータを用いて、上記モデルを学習する。学習処理部５２は、例えば、アノテーション処理部４４によって生成されたトレーニングデータを用いて、対象物体の良品または不良品を判別する判別モデルを学習してもよく、対象物品の種類を分類する分類モデルを学習してもよい。なお、モデルの態様は、画像に対応付けられた正解ラベルや、生成するモデルの構造等により予め決定される。

なお、学習処理部５２は、アノテーション処理部４４以外が生成したトレーニングデータを用いてもよい。さらに、学習処理部５２は、取得されたトレーニングデータを用いて、上述するパターンマッチングモデル、オブジェクトディテクションモデル、セグメンテーションを行うモデルや、対象物体の異常検知を行うモデルを学習してもよい。トレーニングデータを用いて学習する方法は広く知られているため、学習処理部５２は、予め定められた任意の学習方法を用いてモデルを学習すればよい。

図８は、パラメータを指定する画面例を示す説明図である。図８に例示する画面Ｕ４０は、学習されたモデルの正答率や正常率などの閾値パラメータを指定するときに用いられる画面の例である。入出力装置３０は、学習モデルによって推論された正答率や正常率の順に整列された画像を画面Ｕ４０の画像表示領域Ｕ４１に表示し、入力インターフェースＵ４２を介した指示により、閾値パラメータを指定する。

図８に示す例では、入力インターフェースＵ４２としてスライダーバーが利用され、スライダーバーの位置に対応する画像表示領域Ｕ４１に表示された画像の正答率や正常率が、閾値パラメータとして指定される。また、入出力装置３０は、図８に例示するように、指定された閾値パラメータをパラメータ表示領域Ｕ４３に表示してもよい。

このように、本実施形態の入出力装置３０が、撮像された対象物体の画像に対する正解ラベルの入力や、撮像された画像内のマーカを基準とした位置および角度の指定、駆動装置２０の制御パラメータの指定を受け付けてもよい。なお、入出力装置３０は、これらの情報の少なくとも１つの指定や入力を受け付けてもよく、全ての指定や入力を受け付けてもよい。

次に、本実施形態の制御システムの動作を説明する。図９は、本実施形態の制御システムの動作例を示すフローチャートである。検出装置１０（より具体的には、カメラ）は、対象物体の画像を撮像する（ステップＳ１１）。状態判定部４６は、撮像された対象物体の画像から、その対象物体の状態を判定する（ステップＳ１２）。制御内容決定部４７は、定義された制御内容に応じて、または、制御モデルに検出された対象物体の状態を入力して、駆動装置２０の制御内容を決定する（ステップＳ１３）。そして、制御部４８は、決定された制御内容に基づいて、駆動装置２０の制御を行う（ステップＳ１４）。

以下、本実施形態の具体的構成を説明する。図１０は、本実施形態の制御システムの具体的な構成例を示す説明図である。図１０に例示する制御システム２は、カメラ１１０と、光学センサ１２０と、自動化ユニット２００と、携帯情報端末３００と、コントローラ部４１０と、メインコンピュータ４２０とを備えている。なお、図１０に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。

カメラ１１０および光学センサ１２０は、上記実施形態の検出装置１０に対応する。

自動化ユニット２００は、ロボットアーム２０１および周辺装置２０２を含む。また、コントローラ部４１０は、ロボット制御部４１１と、周辺装置制御部４１２と、コントローラ通信部４１３とを含む。自動化ユニット２００と、コントローラ部４１０とは通信回線を介して相互に接続される。また、ロボット制御部４１１は、ロボットアーム２０１を制御し、周辺装置制御部４１２は、周辺装置２０２を制御する。自動化ユニット２００は、上記実施形態の駆動装置２０に対応する。また、コントローラ部４１０は、上記実施形態の制御装置４０の一部に対応する。

携帯情報端末３００は、入力部３０２および表示部３０３を有するタッチディスプレイ３０１と、端末制御部３０４と、端末通信部３０５とを含む。携帯情報端末３００は、上記実施形態の入出力装置３０に対応する。

メインコンピュータ４２０は、動作計画部４２２および表示制御部４２３を有する外部装置動作計画部４２１と、コンピュータ通信部４２４と、画像解析部４２６およびセンサデータ解析部４２７を有する外部情報解析部４２５と、記憶部４２８とを含む。コンピュータ通信部４２４は、携帯情報端末３００の端末通信部３０５およびコントローラ部４１０のコントローラ通信部４１３と接続され、ローカルネットワーク５１、グローバルネットワーク５２および外部記憶部５３との通信を行う。メインコンピュータ４２０は、上記実施形態の制御装置４０の一部に対応する。

図１０に例示するように、制御システム２は、個々の装置に機能を分割する。よって、操作画面や簡単なカスタムパーツの取り付けにより、タスクに応じて最適なインテグレーションを行うことが可能になる。

図１１は、駆動装置２０の具体的な構成例を示す説明図である。図１１に例示する構成は、駆動装置２０としてロボットアーム６０と、ロボットハンド６５および吸引パッド６６とを想定した例である。図１１に例示するロボットアーム６０は、ステッピングモータ６１および磁気エンコーダ６２の複数の組み合わせと、ステッピングモータ６１およびリミットスイッチ６３の組み合わせとを含む。

ただし、ステッピングモータ６１は、ステッピングモータに限られるものではなく、ＤＣ（Direct current）モータやＡＣ（Alternating current ）モータ等でも良い。また、磁気エンコーダ６２も、磁気エンコーダに限られるものではなく、機械式エンコーダ、光学式エンコーダ、磁気誘導式エンコーダ、ポテンショメータ等でもよい。

ロボットアーム６０は、制御装置４０に対応するマイコン７０およびエッジＰＣ（Personal Computer ）１００により制御が行われる。本実施形態のマイコン７０は、センサＩ／Ｏ（Input/Output）７１と、モータドライバ７２と、ハンドドライバ７３とを含む。センサＩ／Ｏ７１は、検出装置１０に対応する電光センサ８０や、ＴｏＦセンサ８１を制御する。モータドライバ７２は、ロボットアーム６０を制御する。また、ハンドドライバ７３は、ロボットハンド６５および吸引パッド６６を制御する。

エッジＰＣ１００は、入出力装置３０に対応する操作画面９０、並びに、検出装置１０に対応するカメラ８２およびオプションシステム９１に接続され、Ｗｉ－Ｆｉ（登録商標）やイーサネットなどの通信回線を介して、クラウドシステムやローカル別システムに接続される。この構成例のエッジＰＣ１００には、外部記憶部５３に対応するＵＳＢ（Universal Serial Bus）メモリ９２が接続される。ただし、外部記憶部５３はＵＳＢメモリに限られるものではなく、ＳＤメモリ、ハードディスク、ＳＳＤ（Solid State Drive ）等でもよい。

図１２は、本実施形態の制御システムで制御されるロボットの外観例を示す説明図である。図１２に例示するロボットは、対象物体を検出するカメラで実現される検出装置１０と、ロボットアームなどの駆動装置２０と、操作画面を表示する入出力装置３０とを備えている。図１２に例示するロボットは、ストッパー５８およびキャスター５９を備えているため、容易に移動させ、設置することが可能である。また、駆動装置２０が、軽量かつ低出力のモータとプーリーベルトにより実現されることにより、低コストかつ安全なロボットシステムを提供することが可能になる。

本発明は、ロボットの動作を制御する制御システムに好適に適用される。例えば、食品、医薬品および化粧品を扱う産業（いわゆる三品産業）の人手不足を解消するため、これらの生産等に用いられるロボット制御に、本発明の制御システムを利用することが可能である。

１,２ 制御システム
１０ 検出装置
２０ 駆動装置
３０ 入出力装置
４０ 制御装置
４１ 記憶部
４２ 制御内容登録部
４３ 画像データ生成部
４４ アノテーション処理部
４５ 駆動制御部
４６ 状態判定部
４７ 制御内容決定部
４８ 制御部
５０ 学習装置
５１ 記憶部
５２ 学習処理部
５８ ストッパー
５９ キャスター

Claims (5)

1. 対象物体を検出する検出装置と、
   前記対象物体に対する処理を行う駆動装置と、
   前記検出装置により検出された前記対象物体の状態に基づいて前記駆動装置の制御を行う制御装置とを備え、
   前記検出装置は、対象物体を撮像するカメラで実現され、当該対象物体の画像を撮像し、
   前記制御装置は、
   撮像された対象物体の画像から、当該対象物体の状態を判定する状態判定部と、
   判定された対象物体の状態に応じて定義された制御内容に応じて、または、物体の状態を入力とし制御内容を出力とする制御モデルに検出された対象物体の状態を入力して、前記駆動装置の制御内容を決定する制御内容決定部と、
   決定された制御内容に基づいて、前記駆動装置の制御を行う制御部とを含む
   ことを特徴とする制御システム。
2. 撮像された対象物体の画像を表示する出力装置と、
   前記画像に対するユーザの入力を受け付ける入力装置とを備え、
   制御装置は、
   対象物体の画像を次元削減した画像データを生成する画像データ生成部と、
   前記画像データを生成する元になった対象物体の画像に正解ラベルをラベル付けしたトレーニングデータを生成するアノテーション処理部とを含み、
   前記出力装置は、当該出力装置の画面上に前記次元削減により要約された主成分を次元軸とする座標軸、座標平面および座標空間のうちの少なくとも一つを定義し、生成された前記画像データの主成分が示す前記定義された座標軸上、座標平面上および座標空間上のうちの少なくとも一つの座標位置に、当該画像データを生成する元になった対象物体の画像を表示し、
   前記入力装置は、表示された１以上の前記対象物体の画像の指定の入力、および、指定された前記対象物体の画像に対する正解ラベルの入力を受け付け、
   前記アノテーション処理部は、指定された対象物体の画像に前記正解ラベルをラベル付けしたトレーニングデータを生成し、
   制御部は、前記トレーニングデータを用いて学習されたモデルを用いることで決定された制御内容に基づいて、駆動装置の制御を行う
   請求項１記載の制御システム。
3. 請求項１または請求項２記載の制御システムによって駆動される駆動装置であって、
   １つ以上のモータと、
   当該モータの動作内容に応じた出力をするセンサとを含む
   ことを特徴とする駆動装置。
4. 請求項２記載の制御システムが備える入力装置であって、
   撮像された対象物体の画像に対する正解ラベルの入力、撮像された画像内のマーカを基準とした位置および角度の指定、および、駆動装置の制御パラメータの少なくとも一つの受け付ける
   ことを特徴とする入力装置。
5. コンピュータに、
   対象物体の画像を撮像するカメラで実現される検出装置により検出された当該対象物体の状態に基づいて、当該対象物体に対する処理を行う制御処理を実行させ、
   前記制御処理で、
   撮像された対象物体の画像から、当該対象物体の状態を判定する状態判定処理、
   判定された対象物体の状態に応じて定義された制御内容に応じて、または、物体の状態を入力とし制御内容を出力とする制御モデルに検出された対象物体の状態を入力して、前記駆動装置の制御内容を決定する制御内容決定処理、および、
   決定された制御内容に基づいて、前記駆動装置の制御を行う制御処理
   を実行させるための制御プログラム。
   

Images