JP2006243875A - 可動部の操作装置及び操作方法 - Google Patents

Abstract

【課題】 設備又は装置の可動部を容易に意図した通りに操作することが可能な操作装置及び操作方法を提供する。
【解決手段】 可動部を有する設備又は装置を撮影し、画像データを取得する撮像部１１０と、画像データに基づいて、可動部の画像データ上の位置情報を取得し、その位置情報に基づいて、可動部への移動指示を入力するための操作入力標識の位置を決定する制御部１２０と、画像データ及び操作入力標識を表示する表示部１４０とを有するように構成し、移動指示に基づいて可動部を操作することとした。
【選択図】 図１

Description

本発明は、設備又は装置の可動部を操作するための操作装置及び操作方法に関し、より詳しくは、設備又は装置の可動部の移動方向と操作入力との関連性の把握を容易にするための操作装置及び操作方法に関する。

産業用ロボットや設備の操作において、保守作業等のためにロボットのアームや部品等を搬送するユニットのような可動部を手作業で操作することがある。通常このような操作は、直接又はモニタに写し出された可動部を目視で確認しながら、操作盤に設けられた、操作対象となる可動部の並進動作・回転動作等を規定した操作スイッチをＯＮ／ＯＦＦする、ジョグ送りと呼ばれる方法によって行う。

しかし、操作スイッチを使用して可動部を操作しようとすると、実際の可動部の動作と、操作スイッチの前進・後進等の対応をつけ難く、操作者に熟練が求められた。例えば、前進動作といっても、回転動作も可能な可動部では、全く回転していない状態と、１８０度回転している状態とでは、動く方向が正反対であり、必ずしも操作者の実感と実際の動作とが対応しない場合もあるためである。

特に、可動部が複数となり、対応する操作スイッチの数が増えると、操作スイッチと可動部の対応付けが尚更困難となり、設備に所望の動作をさせるために相当の時間を要し、或いは誤った操作によって故障を誘発してしまうといった問題があった。

一方、ロボットのアームをジョグ送りする方法として、ロボットのグラフィック画像をモニタ上に表示し、モニタ上に表示された画像におけるロボットのアームの先端部を直接触れて動作方向を指示することにより、アームの操作を簡便化する方法が開示されている（特許文献１参照）。また、塗装用ロボットについて、画面上で経路指示することでアームの動作を指示する装置が開示されている（特許文献２参照）。さらに、電子部品実装装置において、基板等のワークに付された位置特定用の認識マークを、特定座標に移動させるため、そのワークを撮影した画像上で、認識マークの座標と移動目標点の座標を指示し、その指示に従って、撮像手段をワークに対して相対的に移動させる方法が開示されている（特許文献３参照）。

しかしながら、特に可動部が複数存在する設備又は装置において、それら可動部の操作を容易にするための装置及び方法について開示されたものはなく、そのような装置及び方法の開発が望まれている。

ＷＯ９８／０３３１４号公報 特開平７−３０８８７８号公報 特開２０００−２１３９１５号公報

上記の問題点に鑑み、本発明は、設備又は装置の可動部を容易に意図した通りに操作することが可能な操作装置及び操作方法を提供することを目的とする。

特に、可動部の移動方向と操作指示との関係を視覚的に把握可能な操作装置及び操作方法を提供することを目的とする。

本発明のさらに別の目的として、誤った操作による故障発生を防止可能な操作装置及び操作方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る操作装置は、可動部を有する設備又は装置を撮影し、画像データを取得する撮像部と、画像データに基づいて、可動部の画像データ上の位置情報を取得し、その位置情報に基づいて、可動部への移動指示を入力するための操作入力標識の位置を決定する制御部と、画像データ及び操作入力標識を表示する表示部とを有し、移動指示に基づいて可動部を操作することを特徴とする。

また可動部は、相互に独立して移動する２以上の可動部から構成されていてもよい。

さらに、可動部は検出マークを備え、制御部は検出マークに基づいて位置情報を取得することが精度良く可動部の位置を認識するために好ましい。

さらに、検出マークと操作入力標識との画像データ上の位置の関係を示す情報を保持する記憶部を備えることが、簡便に操作入力標識の位置を決めるために好ましい。

また制御部は、位置情報に基づいて、可動部が特定の方向に移動可能か否かを判定し、特定の方向に移動不可能と判定した場合、操作入力標識のうち、その特定方向へ移動させるための操作入力標識に対する入力を無効とすることが好ましい。操作者が誤って仕様外の位置へ可動部を移動させて設備等の故障を誘発する危険性を未然に防止するためである。

また本発明に係る操作方法は、可動部を有する設備又は装置を撮影するステップと、撮影ステップで撮影された画像データに基づいて、可動部の画像データ上の位置情報を取得するステップと、その位置情報に基づいて、可動部の移動指示を入力するための操作入力標識の位置を決定するステップと、画像データ及び操作入力標識を表示するステップと、移動指示に基づいて可動部を移動させるための制御信号を設備又は装置に送信するステップと、を有することを特徴とする。

本発明によれば、設備又は装置の可動部を容易に意図した通りに操作することが可能な操作装置及び操作方法を提供することが可能となる。

特に、可動部の移動方向と操作指示との関係を視覚的に把握可能な操作装置及び操作方法を提供することが可能となる。

さらに、誤った操作による故障発生を防止可能な操作装置及び操作方法を提供することが可能となる。

以下、図面を参照しつつ本発明に係る操作装置について詳細に説明する。

図１に、本発明に係る操作装置１００の構成ブロック図を示す。

本発明に係る操作装置１００は、カメラ１１０、コントローラ１２０、メモリ１３０、及びモニタ１４０を備える。

カメラ１１０は、撮像部として機能し、操作装置１００の操作対象となる設備（又は装置）全体を撮影する。またカメラ１１０は、１台若しくは複数のカメラで構成し、設備に含まれる全ての可動部は、何れかのカメラで撮影されるように構成する。また、設備の可動部の移動を、画像上の位置の変化として捉えられるように、撮影対象である各可動部の動作平面から離れたところにカメラ１１０を配置することが好ましい。

さらにカメラ１１０は、設備の最新の状態を捉えるため、一定の時間間隔で撮影を行い、撮影した画像をコントローラ１２０へ送信することが好ましい。

コントローラ１２０は制御部として機能し、カメラ１１０から受信した画像データを解析し、各可動部の位置を検出する。そして、各可動部への移動指示を操作者が入力するための操作入力標識の位置を、各可動部の位置に基づいて決定する。さらに、コントローラ１２０は、各操作入力標識に関連付けられた領域のモニタ１４０上の範囲と、各可動部の動作とを対応付けたテーブルを生成する。そして後述するように、コントローラ１２０は、モニタ１４０から位置情報信号を受信すると、生成したテーブルに示された位置の範囲に合致するものがあるか否かを調査する。そして一致するものがあると、操作入力標識に対応付けられた所定の動作をさせるべく、その位置範囲に対応付けられた制御信号を生成し、設備、すなわち移動対象となる可動部に生成した制御信号を送信する。

また、カメラ１１０から受信した最新の画像データに、操作入力標識をオーバレイし、モニタ１４０に送る。

メモリ１３０は、操作入力標識の配置を決定するために、また各可動部に対する動作可能範囲を超える移動指示の防止に使用するために、各可動部について、予め定めた基準点に配置されている場合の画像データ上での位置を示す、画像データ上での座標値、及び可動部と関連する操作入力標識との位置関係を示す情報を保存する。

なお、コントローラ１２０及びメモリ１３０は、市販のパーソナルコンピュータ及び内蔵プログラムとして構成することができる。また、専用のハードウェアやファームウェアとして構成してもよい。

可動部の位置検出は、以下に説明する方法で行うことができる。

まず、解析対象の画像データから、着目する可動部中の特徴ある部分を抽出する。この特徴ある部分とは、例えば可動部に付された検出マークとすることができる。また、可動部自身の特有の形状又は構造で、画像データ上において、周辺の他の部分と明らかに色が違う、濃度が違う等により、容易に区別が付く部分であってもよい。特に、当該可動部が回転動作を行うものである場合、その特徴ある部分は、可動部の回転角を把握可能とするため、回転中心以外に設けるか、可動部の回転角によって画像データ上の領域の形状が変化するような非対称形状（例えば、ブーメラン形状）であることが好ましい。

可動部の特徴ある部分の抽出には、２値化処理を用いる。２値化処理により、特徴ある部分の候補となる画素を抽出する。

次に、特徴ある部分を抽出された画素から特定する。その方法として、特徴ある部分の画像データ上に占める領域に相当する参照パターンと、２値化処理で抽出された画素が占める領域とのパターンマッチング処理を用いることができる。パターンマッチング処理により、抽出された画素が占める領域と、その特徴ある部分の画像上の領域に相当する参照パターンとの一致度を参照パターンの位置をずらしながら順次調べ、最も一致度が高い場合に、所定の閾値以上の一致度が得られれば、その最も一致度が高い位置を可動部の位置として検出する。一方、最も一致度が高い場合であっても、所定の閾値未満の値しか得られない場合には、２値化の閾値を変更して２値化処理から再度実行する。

可動部中の特徴ある部分の領域が抽出されると、２値化画像からその抽出された領域の重心を求める。この重心は可動部に対する相対的位置関係が一定であるため、予め当該可動部の特定の位置における、重心の位置を原点として把握しておくことにより、検出された重心の位置と原点との相対的な位置関係で可動部の位置を特定することができる。

なお、２値化処理の代わりに、エッジ検出処理を用いてもよい。エッジ検出処理によって、上記特徴ある部分の境界に相当するエッジ画素を抽出し、パターンマッチング処理により、参照パターン（この場合、参照パターンも特徴ある部分のエッジのみを抽出したエッジパターンを用いる）と最も一致度が高いところを検出し、その際参照パターンと一致したエッジ画素の重心、左上端等の位置を求めて可動部の位置とする。

さらに、上記の２値化処理やエッジ検出処理を、着目する可動部が写っている可能性のある部分を含む、一部の領域（関心領域）に限定して行ってもよい。このように関心領域に限定して処理を行えば、処理に使用するデータ量を減ずることができるため、高速な処理が可能となる。

なお、上記の特徴ある部分は、独立して動作する可動部毎に１つ以上設定する。特に、可動部の位置によっては、上記の特徴ある部分が他の部分に隠れて見えなくなることを避けるため、画像データ上、他の部分に隠れる可能性のある可動部については、複数の特徴ある部分を設定することが好ましい。

可動部の位置が検出されると、その位置に基づいて操作入力標識の位置を決定する。

これら操作入力標識は、操作者にとってどの可動部が動作するか直感的に理解することが容易なように、操作対象の可動部の近傍に配置する。具体的には、操作対象の可動部と重ねて配置する。又は、操作入力標識と操作対象の可動部との距離が、その操作入力標識と他のどの可動部との距離よりも短くなるように配置する。さらに、操作入力標識が示す可動部の動作方向側の可動部の端部近傍に配置することが好ましい。例えば、画像上で左右方向に動く可動部については、左方向に可動部を動かすための操作入力標識は、その可動部が画像上に占める領域の左端近傍に配置し、右方向に可動部を動かすための操作入力標識は、その可動部が画像上に占める領域の右端近傍に配置する。また、それぞれの操作入力標識は、画像上で重複した領域を持たないように配置する。特に複数の可動部が存在する場合、可動部毎に優先順位を予め決めておき、優先順位の高い順に操作入力標識を上記の原則に則って予め定めた規則に従って配置し、優先順位の低い可動部に対する操作入力標識が、先に配置した操作入力標識と重なる場合には、重なりを生じないように位置を修正することが操作者の混乱を避けるために好ましい。

さらに、可動部が動作可能範囲の限界点に位置している場合のように、可動部の位置によっては、機械的に、若しくは故障を避けるため、動作可能な方向が限定される場合もある。このように動作可能な方向が限定される場合には、逆に動作不可能な方向へ動かすための操作入力標識を画像上に表示しないか、操作不能であることを操作者が把握可能なように、表示を変える（例えば、通常と比較して淡い色にする、標識の輪郭だけを残して透明にする）ことが好ましい。

なお、可動部の動作方向が限定されるか否かは、以下の方法により調べることが可能である。

予め、可動部がその動作可能範囲の限界点（移動限界点）に存在する場合の画像データを取得する。そして、上述した方法により、その画像データを用いて可動部の位置を検出し、その位置座標を境界座標としてメモリ１３０に保存しておく。実行時には、可動部の位置を検出すると、メモリ１３０に保存されている境界座標を読み出し、可動部の位置と比較する。そして、境界座標と可動部の位置とが所定の範囲内（例えば、両座標間の距離が２画素以内）となった場合、その可動部は限界点にいると判断する。

モニタ１４０は、コントローラ１２０から受信した画像データを表示し、設備の最新の状態、及び可動部を動作させるための操作入力標識を操作者に提示する。

操作入力標識は、可動部を動作させる方向を操作者が容易に理解できるようなものであることが好ましく、例えば、画像上で左方向に移動させる場合、左側方向を向いた矢印や、三角形、ブーメラン及び野球のホームベース状の五角形で左側に尖った先端を配置したものを用いることができる。回転動作の場合には、時計周りに回転させる場合、円弧状の矢印で先端が時計周りの先端についたもの、反時計周りに回転させる場合は、円弧状の矢印で先端が反時計周りの先端についたものを用いることができる。また、可動部の動作方向と対応する操作入力標識の関係を視覚的に把握し易くするため、可動部の動作方向の端部（動作端）毎に異なる検出マークを付し、操作入力標識として、対応する動作方向の検出マークと同じ形状、又は同じ色の標識を使用することが好ましい。

さらに、モニタ１４０はタッチパネルのようなポインティングデバイスを備え、各操作入力標識に対応付けられた領域に対する操作者の入力操作を検知する。またモニタ１４０は、ポインティングデバイスを通じて入力操作を検知すると、その入力操作に対して検知した位置情報信号をコントローラ１２０に送信する。

また、複数の可動部が存在する場合、操作入力標識の色や形状を可動部毎に変えることが好ましい。

以下に、本発明に係る操作装置を組み立て装置に実装した場合について説明する。

図２に、本発明に係る操作装置１００を実装した組み立て装置２００の構成ブロック図を示す。また図３に、組み立て装置２００の概略上面図を示す。

本実施形態に係る組み立て装置２００は、一例として、直径５０ｍｍ、高さ５０ｍｍの円筒形をした基幹部品（ワーク）の中心に、直径２０ｍｍ、高さ１０ｍｍの円筒形の部品を上方から嵌め込んで完成品を製造するものである。

組み立て装置２００は、可動部である搬送ユニット２１０及び上下ユニット２２０の他、ワーク搬入部２３０、部品投入部２４０、組み立て部２５０及びワーク排出部２６０を備える。一方、ＣＣＤカメラ１１０、コントローラ１２０、メモリ１３０及びモニタ１４０とで操作装置１００を構成する。

本実施形態に係る組み立て装置２００では、図３に示すように、ワーク２０２は、ワーク搬送路２０１に沿ってワーク搬入部２３０から搬入され、ワーク排出部２６０により排出される。一方、部品２０３は、部品投入部２４０により、ワーク搬入部２３０と略直交する方向から投入され、ワーク搬入部２３０とワーク排出部２６０の中間にある組み立て部２５０で、ワーク２０２に組み付けられる。

搬送ユニット２１０は、ワーク搬送路２０１と略平行に取り付けられ、ワーク搬入部２３０の終端付近の入口２３１にあるワーク２０２を捕捉し、ワーク排出部２６０の方へ平行移動して組み立て部２５０へ搬送する。さらに部品組み付け済みのワーク（完成品）２０４をワーク排出部２６０に存在する出口２６１へと搬送する。組み立て部２５０に配置した上下ユニット２２０は、上部ユニット２２１が部品２０３を捕捉して上下運動し、下部ユニット２２２がワーク２０２を固定することにより、ワーク２０２に部品２０３を組み付けて完成品２０４を製造する。

可動部の一つである搬送ユニット２１０は、ワーク搬送方向と略並行方法の長さ１５０ｍｍ、略垂直方向の幅５０ｍｍからなる部材２１１と、部材２１１の下部に取り付けられたグリッパ２１２及び駆動用のサーボモータを備える。グリッパ２１２は、ワーク搬送方向にワークの幅とほぼ等しい間隔で配置した２本の爪で構成し、同時に２つのワークを保持可能なように、ワーク搬送路２０１に沿って２セット配置する。

また搬送ユニット２１０は、ワーク搬送路２０１の存在する平面内で、ワーク搬送路２０１と直交する方向、及びワーク搬送路２０１と平行方向に移動可能である。また搬送ユニット２１０の原点位置を、搬送ユニット２１０がワーク搬送路２０１上にあるワーク２０２と接触しないよう、ワーク搬送路２０１から約３０ｍｍ後方に離れた位置に設定する。そして、原点位置にある搬送ユニット２１０に送り動作を指示すると、ワーク搬送路２０１に沿って、ワーク排出方向へ向けて最大約７０ｍｍ移動する（なお、最もワーク排出方向側の移動限界点を便宜上送り位置と呼ぶ）。さらに、送り位置にある搬送ユニット２１０に、戻り動作が指示されると、原点位置へ戻るように、ワーク搬送路２０１に沿って、ワーク搬入方向に最大約７０ｍｍ移動する。一方、原点位置若しくは送り位置にある搬送ユニット２１０に前進動作が指示されると、搬送ユニット２１０は、ワーク搬送路２０１に近づく方向に最大約３０ｍｍ移動する。逆に、ワーク搬送路２０１に近接した位置にある搬送ユニット２１０に対し、後退動作が指示されると、搬送ユニット２１０はワーク搬送路２０１から離れる方向に最大約３０ｍｍ移動する。

もう一つの可動部である上下ユニット２２０は、上部ユニット２２１、及び下部ユニット２２２で構成される。下部ユニット２２２は組み立て部２５０へ搬送されてきたワーク２０２を固定する。一方、上部ユニット２２１は、開閉可能な爪からなるワークチャック２２３、及びワークチャック２２３が取り付けられるチャックシリンダ２２４、及びこれらを駆動するサーボモータを備えている。

上部ユニット２２１は、上下方向に移動可能であり、この上下方向の移動距離は、最大約６０ｍｍである。

なお、搬送ユニット２１０及び上下ユニット２２０は位置検出用に検出マークを備える。検出マークは、カメラ１１０が撮影可能な位置に形成される。すなわち、搬送ユニット２１０の部材２１１の搬入部２３０側端部の上面に検出マーク２１３を、及び排出部２６０側端部の上面に検出マーク２１４を取り付ける。検出マーク２１３及び２１４は、直径５ｍｍの赤い円形シールであり、ＣＣＤカメラ１１０で撮影する画像において、搬送ユニット２１０がどの位置にあっても、どちらかの検出マークが写り込むようになっている。なお、検出マーク２１３及び２１４は上記のものに限られるわけではなく、画像上で明確に判別可能なものであればよく、部材２１１自体の特有の形状等で代用することも可能である。

また、上下ユニット２２０の上部ユニット２２１においても、チャックシリンダ２２４の上面に検出マーク２２５が取り付けられている。検出マーク２２５は、搬送ユニット２１０に取り付けた検出マーク同様、直径５ｍｍの赤い円形シールである。さらに、ＣＣＤカメラ１１０で撮影する画像において、上部ユニット２２１が如何なる位置にあっても、検出マーク２２５が写り込むよう構成されている。なお、検出マーク２２５は、検出マーク２１３、２１４と同じマークである必要は無く、画像上で明確に判別可能なものであればよい。

本実施形態に係る操作装置１００は、モニタ１４０に表示された組み立て装置２００の画像を操作者が見ながら、組み立て装置２００のうち、可動部である搬送ユニット２１０、及び上下ユニット２２０に対して移動操作を行うものである。

操作装置１００の構成要素であるＣＣＤカメラ１１０は、上述した組み立て部２５０の斜め上方、部品投入部側に約３０°の方向に配置される。そして、搬送ユニット２１０、上下ユニット２２０、ワーク搬入部２３０、部品投入部２４０、ワーク排出部２６０を全て１枚の画像に収めるとともに、搬送ユニット２１０、上下ユニット２２０の各部の動作範囲も全て収めることができる。

また、ＣＣＤカメラ１１０は、組み立て装置２００を撮影した画像データにおいて、搬送ユニット２１０の送り・戻り動作が、略水平方向となり、また搬送ユニット２１０の前進・後退動作が略垂直方向となるように配置される。

なお、上記配置は、便宜のためであり、このような配置に限られるものではない。

さらにＣＣＤカメラ１１０は、搬送ユニット２１０、及び上下ユニット２２０の操作中の様子を捉えることを可能とするため、搬送ユニット２１０、及び上下ユニット２２０の可動範囲を全て１枚の画像に収めた静止画を、ビデオレート（３０Ｈｚ）で連続して取得し、コントローラ１２０へ送信する。この目的のため、ＣＣＤカメラ１１０として、１／４インチ４１万画素ＣＣＤ、焦点距離４．３ｍｍ（画角６９．８°）、２４ビット（ＲＧＢ各８ビット）出力のものを用いる。しかし、ＣＣＤカメラ１１０としては、これに限られるものではなく、組み立て装置２００の各部を１枚の画像に収めることが可能で、且つ検出マーク等の判別ができるものであればよい。

コントローラ１２０及びメモリ１３０は、本実施形態においては、パーソナルコンピュータ（ＰＣ）に内蔵のプログラム、メモリ、ＲＳ２３２Ｃといった外部出力ポート等によって構成する。また、搬送ユニット２１０、上下ユニット２２０のサーボモータを制御するためのモータドライバを内蔵する。なお、コントローラ１２０及びメモリ１３０はこれに限られるものではなく、専用のハードウェア、ファームウェア等で構成してもよい。また、コントローラ１２０及びメモリ１３０と、モータドライバを、別個のハードウェアとして構成し、互いに通信可能な構成としてもよい。例えば、コントローラ１２０及びメモリ１３０をＰＣ及び内蔵プログラムで構成し、モータドライバをプログラマブルロジックコントローラ（ＰＬＣ）で構成してもよい。

コントローラ１２０は、操作開始後、最初の画像データをＣＣＤカメラ１１０から受信すると、搬送ユニット２１０、上下ユニット２２０の位置を検出する。これらユニットの位置検出は、それぞれに付された検出マークの位置を特定することにより行う。検出マークの位置の特定は、上述したように、画像データ上で検出マークに相当する領域を２値化により抽出し、抽出した領域の重心を決定することで行う。

搬送ユニット２１０を例として、可動部の位置検出の流れを説明する。上下ユニット２２０についても、同様に位置検出を行うことができる。

図４に、可動部の位置検出の一例として、搬送ユニット２１０の位置検出のフローチャートを示す。

まず、予め搬送ユニット２１０が原点にいるときの画像を撮影し、参照画像データとして取得する。そして、参照画像データに基づいて、検出マーク２１３に相当する領域を２値化、又は目視確認によって抽出する。さらに抽出した領域に基づいて、搬送ユニット２１０の原点位置における検出マーク２１３を示す画素の重心位置を基準重心Ｇ_orgとして算出する。また、検出マーク２１３が写っている領域を検出マーク２１３の外接四角形で切り取り、検出マークに相当する画素値を１、それ以外の画素値を０とした参照パターン３００を生成する。なお、図５に参照パターン３００の例を示す。図５において、格子状のマス目は、それぞれ画素を表し、そのうち斜線を引いた画素は、画素値が１であることを示す。また、斜線のない白い画素は、画素値が０であることを示す。そして基準重心Ｇ_org、参照パターン３００を予めメモリ１３０に記憶させておく。さらに、搬送ユニット２１０に対する４つの操作入力標識（送り動作用Ｍ₀、戻り動作用Ｍ₁、前進動作用Ｍ₂、後退動作用Ｍ₃）の位置を決め、それぞれの位置と基準重心Ｇ_orgとの相対的な位置の差ｄ_i(i=0,1,2,3)をそれぞれ算出し、メモリ１３０に記憶する。ただしｄ_iは、画像上における水平方向、垂直方向の距離の組で表され、例えば、基準重心Ｇ_orgの画像上の座標値が（１５０，１００）であり、戻り動作用入力標識Ｍ₁を画像上の座標値で（１００，１２０）の位置に配置する場合、両者の位置の差ｄ₁は、（−５０，２０）となる。

また、搬送ユニット２１０の位置によっては、上下ユニット２２０に隠れて検出マーク２１３が見えない場合も考えられる。そのような場合、検出マーク２１３を基準に操作入力標識の位置を決めることができない。そこで、検出マーク２１４についても同様に基準重心位置、参照パターン、操作入力標識と検出マーク２１４の重心位置との相対的な位置の差を求めて、メモリ１３０に保存しておく。

この他、搬送ユニット２１０が、他の移動限界点（送り位置、送り位置からの最大前進位置、及び原点からの最大前進位置）にいる場合の画像データから、上記と同様に検出マーク２１４の基準重心を算出し、メモリ１３０に記憶する。

組み立て装置２００の操作時においては、まず検出マーク２１３が存在する可能性のある画像データ上の領域に関心領域１０１を設定する（ステップ１０）。以後の計算は、関心領域に限定して処理を行うことにより、扱うデータ量を限定し、高速に処理を行うことができる。

次に、２値化処理を行い、検出マーク２１３が存在する領域の候補となる画素を抽出する（ステップ２０）。本実施形態では、１画素あたりのデータが赤（Ｒ）、緑（Ｇ）、青（Ｂ）各８ビットで表される。そこで任意の画素の値Ｐ（＝（Ｒ, Ｇ, Ｂ））とし、対応する２値化画像の任意の画素値をＰ_binとすると、検出マーク２１３は赤色であることから、例えば
Ｐ_bin ＝ １ （Ｒ≧Thd_r、Ｇ＜Thd_g、Ｂ＜Thd_b）
Ｐ_bin ＝ ０ （上記以外のとき）
とすることができる。ただし、Thd_r、Thd_g、Thd_bはそれぞれ、Ｒ、Ｇ、Ｂに対する閾値であり、例えばThd_r ＝ 128、Thd_g ＝ 32、Thd_b ＝ 32である。したがって、検出マーク２１３に相当する画素では、理想的にはＰ_bin＝１となる。

２値化が終了すると、その２値化画像に対して、メモリ１３０に保存した参照パターン３００を、関心領域内で走査させてパターンマッチング処理を行い、最も一致する位置Ｚ及びそのときの一致度Ｃを求める（ステップ３０）。本実施例においては、参照パターン３００の画素値と上記２値化画像の画素値とが一致する画素の数が、参照パターン３００に含まれる全画素数に占める割合で一致度を評価する。その割合が最も高い場合の値を一致度Ｃとする。また、一致度Ｃを得たときの、参照パターン３００とマッチングを行った領域内でＰ_bin＝１となる画素の重心を位置Ｚとする。一致度Ｃと予め定めた閾値とを比較する（ステップ４０）。一致度Ｃが予め定めた閾値、例えば０．９より大きい場合、検出マーク２１３を検出したと判定し、位置Ｚを検出マーク２１３の位置とする。一方、一致度Ｃが閾値以下の場合、検出マーク２１３の検出に失敗したと判定する。失敗したと判定した場合、２値化の閾値Thd_r、Thd_g、Thd_bを変更し、再度２値化処理から繰り返す（ステップ４５）。本実施例では、位置Ｚにおける画素値１の画素数が、参照パターン３００と比較して少ない場合はThdrの値を２〜１０下げ、Thd_g、Thd_bの値を逆に２〜１０上昇させる。また、位置Ｚにおける画素値１の画素数が、参照パターン３００と比較して多い場合はThdrの値を２〜１０上げ、Thd_g、Thd_bの値を逆に２〜１０低下させる。

求められた検出マーク２１３の位置に基づき、搬送ユニット２１０の操作入力標識の位置を決定する（ステップ５０）。搬送ユニット２１０は、送り動作、戻り動作、前進動作、後退動作の４通りの動作を行うため、上述したように各動作に相当する４個の操作入力標識Ｍ_i（i=0,1,2,3)を設定する。各操作入力標識の位置は、検出マーク２１３の位置Ｚに、上述した検出マークから操作入力標識までの相対的位置の差ｄ_iを加えて決定する。

最後に、搬送ユニット２１０が移動限界点にいるか否かの判定を行う（ステップ６０）。この判定は、メモリ１３０に保存されている、搬送ユニット２１０の各移動限界点における検出マーク２１３の重心と、位置Ｚとの水平座標値、垂直座標値の差の絶対値が、所定の閾値以下か否かを調べることにより行う。例えば、上記閾値を２とし、位置Ｚと搬送ユニット２１０が原点にいるときの検出マーク２１３の重心位置Ｇ_orgとの水平座標の差の絶対値が２画素の場合、戻り側の移動限界点にいると判断する。搬送ユニット２１０が移動限界点にいると判断された場合、その移動限界を超えて移動させる方向の操作入力標識と関連付けられた限界点フラグに、移動限界点にいない場合と異なる値を設定し、その他の動作方向と区別する（ステップ７０）。

なお、搬送ユニット２１０の位置によっては、検出マーク２１３が上下ユニット２２０に隠れて見えなくなる可能性もある。したがって、上記ステップ４０で数回（例えば５回）続けて誤りと判定された場合、検出マーク２１３の代わりに、検出マーク２１４を用いて、上記ステップ１０〜ステップ７０と同様のステップを繰り返して搬送ユニット２１０の位置決定、及び移動限界点にいるか否かの判定を行う。

上下ユニット２２０についても、同様にして検出マークの位置を検出し、その結果に基づき、上昇動作、下降動作に対応する操作入力標識の位置を決定する。

コントローラ１２０は、各操作入力標識の位置を決定すると、各操作入力標識の位置と、搬送ユニット２１０、上下ユニット２２０へ移動指示とを関連付けるテーブルを作成する。図６にその操作入力標識と可動部への移動指示とを関連付けるテーブル６００の概略図を示す。図６において、６０１は各操作入力標識の番号を表す。ただし、６０１を理解のために設けたものであり、省略することも可能である。６０２は各操作入力標識に対する画像上の範囲を座標で示しており、上側は水平座標、下側は垂直座標を表す。また、６０３は操作入力標識に対応する可動部の種別、６０４は可動部に対する移動指示を表す。さらに、６０５は移動指示に対応する移動方向に対する限界点フラグを表す。限界点フラグの値が０の場合は、その移動方向に対して可動部が移動限界点にいないことを示し、逆に値が１の場合は、その移動方向に対して可動部が移動限界点にいることを示す。

図７に、操作時のモニタ１４０の画面の概略構成図を示す。

画像表示部１４１は、コントローラ１２０より受信した画像データを表示する。操作部１４２は、操作の開始、終了を指示したり、操作入力標識の表示を切り替え、全ての操作入力標識を表示するか、搬送ユニット２１０又は上下ユニット２２０のいずれかに対する操作入力標識を表示するかを切り替えるといった機能をユーザに提供する。

操作入力標識１５１、１５２は、それぞれ搬送ユニット２１０を戻り動作（画像上、左側へ移動）させるための標識Ｍ₁及び送り動作（画像上、右側へ移動）させるための標識Ｍ₀である。また、操作入力標識１５３、１５４は、それぞれ搬送ユニット２１０を前進動作（画像上、下側へ移動）させるための標識Ｍ₂又は後退動作（画像上、上側へ移動）させるための標識Ｍ₃である。

さらに、操作入力標識１６１、１６２は、それぞれ上部ユニット２１１を上昇動作（画面上、上側へ移動）又は下降動作（画像上、下側へ移動）させるための標識である。

ユーザは、モニタ１４０上でいずれかの操作入力標識に直接触れることにより、その操作入力標識に対応付けられた操作を行うことができる。ただし、搬送ユニット２１０又は上下ユニット２２０が、いずれかの移動限界点にいると判断された場合、その移動限界点を超える方向への移動を行う操作入力標識は、操作不能であることを操作者に明示するため、輪郭線を残して透明な表示とする。移動限界点にいるか否かは、テーブル６００の限界点フラグの欄を参照することで判断できる。

以下に、操作時の動作を説明する。

（ｘ,ｙ）をモニタ画面上に表示された画像データ上の座標とする。ただし、ｘは水平座標値であり、画像左端を０とする。またｙは垂直座標値であり、画像上端を０とする。例えば操作入力標識１５４は（１５０，６０）から（１８０，９０）の２点をそれぞれ左上端、右下端とする矩形領域に対応付けられている。

操作を行うために、操作者がモニタに触れると、モニタ１４０に組み込まれたタッチパネルを通じて操作者が触れたモニタ上の位置に対応する位置情報信号がコントローラ１２０に送信される。コントローラ１２０は、受信した位置情報信号に基づいて、画像データ上の座標値に変換し、メモリ１３０に保存した操作入力標識の位置情報及び制御対象可動部、操作方向のテーブル６００から、該当するものを探す。例えば、操作者が操作入力標識１５４に触れ、コントローラ１２０に送信された位置情報信号から画像上の座標（１５５，８０）が取得された場合、テーブル６００を参照して搬送ユニット２１０の後退動作が対応していることが導かれる。そして、その動作に相当する制御信号を生成し、モータドライバを通じて搬送ユニット２１０のサーボモータに送信される。ただし、位置情報信号に対応する限界点フラグの値が１の場合、その操作は移動限界点を超える方向への移動指示に相当するため、その操作は無効となり、制御信号は生成されない。

搬送ユニット２１０が移動すると、その移動後の搬送ユニット２１０の位置を上記のステップ１０〜ステップ７０を繰り返し、搬送ユニット２１０がいずれかの移動限界点にいるか否かを判定する。いずれかの移動限界点にいると判断された場合、その移動限界点を超える方向への移動を行う操作入力標識は、操作不能であることを操作者に明示するため、輪郭線を残して透明な表示に変更する。

なお、ステップ５０で再算出された操作入力標識の位置は破棄し、走査入力標識の位置は、操作開始当初の位置を維持する。操作中に、操作入力標識の位置が変化することは操作性の面から好ましくないためである。

上述してきたように、本発明によると、モニタに表示された画像上で操作対象となる可動部の動作方向と操作指示との関連を容易に把握することが可能となり、熟練者でなくとも比較的短時間で所望の操作をさせることが可能となる。

上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。

本発明に係る操作装置の構成ブロック図である。 本発明に係る操作装置の操作対象となる組み立て装置の構成ブロック図である。 本発明に係る操作装置の操作対象となる組み立て装置の概略上面図である。 可動部の位置検出の一例である、搬送ユニットの位置検出のフローチャートである。 参照パターンの概略図である。 操作入力標識と可動部への移動指示とを関連付けるテーブルの概略図である。 本発明に係る操作装置のモニタ画面の概略構成図である。

符号の説明

１００ 操作装置
１１０ カメラ
１２０ コントローラ
１３０ メモリ
１４０ モニタ
１５１、１５２、１５３、１５４、１６１、１６２ 操作入力標識
２００ 組み立て装置
２１０ 搬送ユニット
２２０ 上下ユニット
２１３、２１４、２２５ 検出マーク

Claims (6)

1. 可動部を有する設備又は装置を撮影し、画像データを取得する撮像部と、
   前記画像データに基づいて、前記可動部の前記画像データ上の位置情報を取得し、当該位置情報に基づいて、前記可動部への移動指示を入力するための操作入力標識の位置を決定する制御部と、
   前記画像データ及び前記操作入力標識を表示する表示部とを有し、
   前記移動指示に基づいて前記可動部を操作する、
   ことを特徴とする操作装置。
2. 前記可動部は、相互に独立して移動する２以上の可動部からなる請求項１に記載の操作装置。
3. 前記可動部は検出マークを備え、前記制御部は当該検出マークに基づいて前記位置情報を取得する請求項１又は２に記載の操作装置。
4. さらに、前記検出マークと前記操作入力標識との前記画像データ上の位置の関係を示す情報を保持する記憶部を備える請求項３に記載の操作装置。
5. 前記制御部は、前記位置情報に基づいて、前記可動部が特定の方向に移動可能か否かを判定し、当該特定の方向に移動不可能と判定した場合、前記操作入力標識のうち、当該特定の方向へ移動させるための操作入力標識に対する入力を無効とする請求項１〜４の何れか一項に記載の操作装置。
6. 可動部を有する設備又は装置を撮影するステップと、
   前記撮影ステップで撮影された画像データに基づいて、前記可動部の前記画像データ上の位置情報を取得するステップと、
   前記位置情報に基づいて、前記可動部の移動指示を入力するための操作入力標識の位置を決定するステップと、
   前記画像データ及び前記操作入力標識を表示するステップと、
   前記移動指示に基づいて前記可動部を移動させるための制御信号を前記設備又は装置に送信するステップと、
   を有することを特徴とする操作方法。

Images