JP2018130819A - 表示制御装置およびロボット制御装置 - Google Patents

Abstract

【課題】簡単な操作で遠隔操作が可能な安価なロボット制御装置、およびそのようなロボット制御装置に好適に適用可能な表示制御装置を提供する。【解決手段】表示制御装置は、一定の速度で所定の方向に移動する複数の物体を含む映像が画面に映し出されている時にユーザが画面の一部を選択すると、画面上の選択位置またはその近傍にマーカを映像に重ねて表示させる映像信号を生成し、さらに、画面上での物体の移動速度と同じ速度で、画面上での物体の移動方向と同じ方向に、マーカを画面上で移動させる映像信号を生成する表示制御部を備えている。【選択図】図９

Description

本発明は、表示制御装置およびロボット制御装置に関する。

建設および建物解体の工事現場では、不要なコンクリート塊が排出される。排出されたコンクリート塊は、所定の破砕施設に受け入れられ、施設内の破砕プラントによって破砕される。破砕物の粒度の調節や、破砕物に含まれる混入物の除去がなされたものが、再生砕石として販売される。再生砕石については、例えば、下記の国土交通省のホームページなどに記載されている。

ｈｔｔｐ：／／ｗｗｗ．ｍｌｉｔ．ｇｏ．ｊｐ／ｋｏｗａｎ／ｒｅｃｙｃｌｅ／２／０４．ｐｄｆ

破砕プラントにおいて、コンクリート塊は一次破砕処理装置に投入され、一次破砕処理がなされたコンクリート塊は、ベルトコンベアに乗って、混入物除去工程に向かう。混入物除去工程は、再生砕石の品質管理工程において最も重要な工程である。そのため、混入物除去工程では、人の目と手で、破砕物に含まれる混入物の除去が行われる。

このように、混入物の除去には、人手が不可欠である。しかし、混入物除去工程では、採光、風除、雨避けが考慮された建物内での作業となる。作業場としての建物は、例えば、鉄骨に、塩化ビニール製の波板トタンが貼り付けられた程度の貧弱なものであることが多い。そのため、夏には、建物内がサウナに近い暑さとなり、冬には、鉄材の冷えで建物内が底冷えする。さらに、粉じん抑制のために、散水が常に行われているので、濡れた混入物で手が冷えやすい。このように、混入物除去工程では、作業環境が良くない。

将来の人材確保の観点からは、良好な作業環境下で混入物除去を行えるようにすることが好ましい。良好な作業環境を実現するためには、例えば、混入物除去をロボットによる遠隔操作によって行うことが考えられる。しかし、従来のロボット制御装置は、操作が複雑であったり、高価格であったりと、混入物除去工程にはあまり適していなかった。

また、混入物除去とは全く別の分野であっても、操作が複雑であったり、高価格であったりと、目的にあまり適さないロボット制御装置しか提供されていないという問題があった。

従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置、およびそのようなロボット制御装置に好適に適用可能な表示制御装置を提供することが望ましい。

本発明の一実施形態に係る表示制御装置は、一定の速度で所定の方向に移動する複数の物体を含む映像が画面に映し出されている時にユーザが画面の一部を選択すると、画面上の選択位置またはその近傍にマーカを映像に重ねて表示させる映像信号を生成する表示制御部を備えている。この表示制御部は、さらに、画面上での物体の移動速度と同じ速度で、画面上での物体の移動方向と同じ方向に、マーカを画面上で移動させる映像信号を生成する。

本発明の一実施形態に係る表示制御装置では、映像が画面に映し出されている時にユーザが画面の一部を選択すると、画面上の選択位置またはその近傍にマーカを映像に重ねて表示させる映像信号が生成される。これにより、ユーザは、例えば、映像中に発見した対象物に目印を付けることができる。また、この表示制御装置では、画面上での物体の移動速度と同じ速度で、画面上での物体の移動方向と同じ方向に、マーカを画面上で移動させる映像信号が生成される。これにより、ユーザは、例えば、目印を付けた対象物が画面上のどこにあるかをリアルタイムに把握することができる。なお、この表示制御装置で得られた、画面上の選択位置の座標と、物体の移動情報とに基づいて、ロボットアームを制御することで、ロボットアームによって対象物を回収したり、この表示制御装置から出力された映像信号に基づいて得られる映像をユーザが見ながら、ロボットアームを操作することで、ロボットアームによって対象物を回収したりすることが可能となる。

本発明の一実施形態に係るロボット制御装置は、表示制御部と、ロボットアーム制御部とを備えている。表示制御部は、一定の速度で所定の方向に移動する複数の物体を含む映像が画面に映し出されている時にユーザが画面の一部を選択すると、画面上の選択位置またはその近傍にマーカを映像に重ねて表示させる映像信号を生成する。表示制御部は、さらに、画面上での物体の移動速度と同じ速度で、画面上での物体の移動方向と同じ方向に、マーカを画面上で移動させる映像信号を生成する。ロボットアーム制御部は、前記画面上の選択位置の座標と、物体の移動情報とに基づいて、複数の物体のうち実位置にあった対象物をロボットアームによって回収する制御信号を生成する。

本発明の一実施形態に係るロボット制御装置では、映像が画面に映し出されている時にユーザが画面の一部を選択すると、画面上の選択位置またはその近傍にマーカを映像に重ねて表示させる映像信号が生成される。これにより、ユーザは、例えば、映像中に発見した対象物に目印を付けることができる。また、このロボット制御装置では、画面上での物体の移動速度と同じ速度で、画面上での物体の移動方向と同じ方向に、マーカを画面上で移動させる映像信号が生成される。これにより、ユーザは、例えば、目印を付けた対象物が画面上のどこにあるかをリアルタイムに把握することができる。また、このロボット制御装置では、画面上の選択位置の座標と、物体の移動情報とに基づいて、複数の物体のうち実位置にあった対象物をロボットアームによって回収する制御信号が生成される。これにより、ユーザは、例えば、画面に触れて、映像中の対象物に目印を付けることで、ロボットアームに対して、対象物の回収を指示することができる。このように、このロボット制御装置では、例えば、ユーザに画面をタッチさせたり、マウス操作をさせたり、トラックボール操作をさせたりするだけで、ロボットアームに対して、対象物の回収を指示することができる。

本発明の一実施形態に係る表示制御装置およびロボット制御装置が、あらかじめ設定された移動情報を記憶する記憶部をさらに備えていてもよい。この場合に、記憶部内の移動情報が物体の画面上での移動情報と等価であるときには、表示制御部は、画面上の選択位置の座標と、記憶部から読み出した移動情報とを用いることによりマーカの画面上での位置を導出してもよい。このようにした場合には、映像中の対象物の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、映像中で移動する対象物にマーカを追従させることができる。なお、このとき、記憶部内の移動情報は、例えば、物体の画面上での移動速度もしくは移動距離と等価である。

また、記憶部内の移動情報が物体の実位置での移動情報と等価であるときには、表示制御部は、画面上の選択位置の座標と、記憶部から読み出した移動情報に基づいて導出した物体の画面上での移動情報とを用いることによりマーカの画面上での位置を導出してもよい。このようにした場合には、映像中の対象物の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、映像中で移動する対象物にマーカを追従させることができる。なお、このとき、記憶部内の移動情報は、例えば、物体の実位置での移動速度もしくは移動距離と等価である。

また、本発明の一実施形態に係るロボット制御装置において、記憶部内の移動情報が物体の画面上での移動情報と等価であるときには、ロボットアーム制御部は、画面上の選択位置に基づいて導出した画面上の選択位置に対応する実位置の座標と、記憶部から読み出した移動情報に基づいて導出した物体の実位置での移動情報とを用いることにより制御信号を生成してもよい。このようにした場合には、映像中の対象物の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、対象物をロボットアームによって回収することができる。なお、このとき、記憶部内の移動情報は、例えば、物体の画面上での移動速度もしくは移動距離と等価である。

また、本発明の一実施形態に係るロボット制御装置において、記憶部内の移動情報が物体の実位置での移動情報と等価であるときには、ロボットアーム制御部は、画面上の選択位置に基づいて導出した画面上の選択位置に対応する実位置の座標と、記憶部から読み出した移動情報とを用いることにより制御信号を生成してもよい。このようにした場合には、映像中の対象物の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、対象物をロボットアームによって回収することができる。なお、このとき、記憶部内の移動情報は、例えば、物体の実位置での移動速度もしくは移動距離と等価である。

本発明の一実施形態に係るロボット制御装置において、ロボットアーム制御部は、ユーザが画面内でスライド動作を行ったとき、もしくは、ユーザが画面内でフリック動作を行ったときに、スライド動作の延在方向と交差する方向、もしくは、フリック動作のフリック方向と交差する方向から、対象物を挟む制御信号を生成してもよい。このようにした場合には、簡単な操作で、映像中の対象物の形状もしくは長軸方向の向きを入力することができる。

本発明の一実施形態に係るロボット制御装置において、ロボットアーム制御部は、画面上の選択位置と、物体の移動情報とに基づいて、対象物が目標位置に到達する到達時刻を推定し、推定した到達時刻に対象物を目標位置でロボットアームによって回収してもよい。このようにした場合には、映像中の対象物の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、対象物を回収することができる。

本発明の一実施形態に係る表示制御装置によれば、例えば、この表示制御装置で得られた、画面上の選択位置の座標と、物体の移動情報とに基づいて、ロボットアームを制御することで、ロボットアームによって対象物を回収したり、この表示制御装置から出力された映像信号に基づいて得られる映像をユーザが見ながら、ロボットアームを操作することで、ロボットアームによって対象物を回収したりすることができるようにしたので、簡単な操作で遠隔操作が可能な安価なロボット制御装置を提供することができる。また、各請求項に記載の構成とすることによっても、簡単な操作で遠隔操作が可能な安価なロボット制御装置を提供することができる。

本発明の一実施形態に係るロボット制御装置によれば、例えば、ユーザに画面をタッチさせたり、マウス操作をさせたり、トラックボール操作をさせたりするだけで、ロボットアームに対して、対象物の回収を指示することができるようにしたので、簡単な操作で遠隔操作が可能な安価なロボット制御装置を提供することができる。また、各請求項に記載の構成とすることによっても、簡単な操作で遠隔操作が可能な安価なロボット制御装置を提供することができる。

破砕施設の概略構成の一例を表す図である。 ロボット制御システムの概略構成の一例を表す図である。 表示部に表示させる映像の生成方法の一例を表す図である。 図２の３台の表示部に表示される映像の一例を表す図である。 図２の３台の表示部に表示される映像の一例を表す図である。 図２の３台の表示部に表示される映像の一例を表す図である。 図２のロボット制御装置におけるロボット制御手順の一例を表す図である。 記憶部に記憶されたテーブルの一例を表す図である。 ロボット制御システムの概略構成の一変形例を表す図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。

［構成］
図１は、破砕施設１００の概略構成の一例を表したものである。破砕施設１００は、建設および建物解体の工事現場から排出された不要なコンクリート塊１１１を受け入れ、受け入れたコンクリート塊１１１を、一次破砕処理装置１３０および二次破砕処理装置１５０によって破砕し、それによって生成された砕石１１３を、再生砕石として販売する。

コンクリート塊１１１は、コンクリート集積場１１０で一時、保管される。一次破砕処理装置１３０には、コンクリート塊１１１の投入口であるホッパー１３１が設けられている。ホッパー１３１には、例えば、パワーショベル１２０によって、コンクリート塊１１１が投入される。ホッパー１３１に投入されたコンクリート塊１１１は、一次破砕処理装置１３０によって細かく砕かれ、砕石１１２となる。砕石１１２は、一次破砕処理装置１３０の排出口から排出される。一次破砕処理装置１３０の排出口には、ベルトコンベア１４０が配置されており、一次破砕処理装置１３０から排出された砕石１１２は、ベルトコンベア１４０を介して、二次破砕処理装置１５０のホッパー１５１に投入される。ホッパー１５１に投入された砕石１１２は、二次破砕処理装置１５０によってさらに細かく砕かれ、砕石１１３となる。二次破砕処理装置１５０の排出口には、ベルトコンベア１６０が配置されており、二次破砕処理装置１５０から排出された砕石１１３は、ベルトコンベア１６０を介して、砕石集積場１７０で一時、保管される。このようにして製造された砕石１１３が、再生砕石として販売される。

ところで、破砕施設１００は、砕石１１３の品質が所定の基準を満たすようにするための品質管理工程を備えている。この品質管理工程は、破砕施設１００における混入物除去建屋１８０および遠隔操作建屋１９０内で行われる。

混入物除去建屋１８０は、ベルトコンベア１４０の中途に設けられている。混入物除去建屋１８０内には、例えば、図２に示したように、複数台（例えば３台）のカメラ２１０と、ロボットアーム２２０とが設けられている。複数台のカメラ２１０は、ベルトコンベア１４０に沿って一列に並んで配置されている。ベルトコンベア１４０のベルトは、図２中の矢印の向きに一定の速度で移動する。ベルトコンベア１４０のベルト上には、砕石１１２が載置されている。砕石１１２は、ベルトコンベア１４０のベルトの移動に伴って、図２中の矢印の向きに一定の速度で移動する。ベルトコンベア１４０のベルト上には、砕石１１２とは異なる物体である対象物１１４が混入している。対象物１１４は、ベルトコンベア１４０のベルトの移動に伴って、図２中の矢印の向きに一定の速度で移動する。対象物１１４としては、例えば、木の根、木の切れ端、ゴムシート片、プラスチック片、非鉄金属片、ロープ片などが挙げられる。

各カメラ２１０は、ベルトコンベア１４０上の所定の箇所を動画撮影し、撮影により得られた映像２１１を出力する。それぞれのカメラ２１０での撮影により得られた複数の映像２１１をつなぎあわせると、連続した１つの映像となる。ロボットアーム２２０は、後述のロボットアーム制御部２７０から出力される制御信号２７１に従って動作する。ロボットアーム２２０は、例えば、制御信号２７１に基づいて、対象物１１４が目標位置Ｌｔに到達したときに、対象物１１４を回収する（例えば、つかみ取る）。なお、連続した１つの映像の中に目標位置Ｌｔが含まれるように、各カメラ２１０が配置されていてもよい。

遠隔操作建屋１９０は、混入物除去建屋１８０とは別の建物である。遠隔操作建屋１９０内には、例えば、図２に示したように、ロボット制御装置２００Ａと、複数台（例えば３台）の表示部２３０とが設けられている。表示部２３０の数は、カメラ２１０の数と同じである。複数台の表示部２３０は、横一列に並んで配置されている。各表示部２３０は、映像２１１を表示する画面２３１を有している。各表示部２３０は、後述の表示制御部２５０から出力される映像信号２５１に基づいて、映像２１１を画面２３１に表示する。画面２３１は、タッチ検出機能を有している。各表示部２３０は、ユーザによる画面２３１へのタッチ動作により、所望の入力を受け付ける。タッチ機能は、例えば、抵抗膜方式、静電容量方式、電磁誘導方式、超音波表面弾性波方式、赤外線走査方式、ＴＦＴ液晶セル内蔵方式等のタッチ検出機構により構成されている。各表示部２３０は、後述のタッチ検出部２６０から出力される駆動信号によってタッチ検出機構が駆動されている時に、ユーザが指やタッチペンなどで画面２３１に触れることにより、画面２３１へのタッチ位置およびタッチ方法に応じた検出信号２３２を出力する。なお、ロボット制御装置２００Ａについては、後に詳述する。

図２は、ロボット制御システム２００の概略構成の一例を表したものである。ロボット制御システム２００は、例えば、混入物除去建屋１８０内に設けられた複数台のカメラ２１０およびロボットアーム２２０と、遠隔操作建屋１９０内に設けられたロボット制御装置２００Ａおよび複数台の表示部２３０とを備えている。つまり、ロボット制御システム２００は、破砕施設１００における品質管理工程を実現するための設備である。

複数台のカメラ２１０、ロボットアーム２２０およびロボット制御装置２００Ａは、ネットワーク２９０を介して相互に接続される。ネットワーク２９０は、例えば、インターネットで標準的に利用されている通信プロトコル（ＴＣＰ／ＩＰ）を用いて通信を行うネットワークである。ネットワーク２９０は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク２９０は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク１００と、複数台のカメラ２１０、ロボットアーム２２０またはロボット制御装置２００Ａとの接続は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、Ｗｉ−Ｆｉ等の無線ＬＡＮや、携帯電話回線などであってもよい。

ロボット制御装置２００Ａは、例えば、記憶部２４０、表示制御部２５０、タッチ検出部２６０、ロボットアーム制御部２７０および通信部２８０を備えている。

記憶部２４０は、あらかじめ設定された速度情報を記憶している。記憶部２４０に記憶された速度情報は、砕石１１２の画面２３１上での移動速度としてあらかじめ設定された値である。つまり、記憶部２４０に記憶された速度情報は、砕石１１２の画面２３１上での移動速度と等価である。記憶部２４０に記憶された速度情報は、砕石１１２の画面２３１上での移動方向についての情報（方向情報）も含んでいる。記憶部２４０に記憶された速度情報は、例えば、速度のｘ方向成分およびｙ方向成分を含む。記憶部２４０は、記憶部２４０に記憶された速度情報を、表示制御部２５０に対して設定情報２４１として出力する。

表示制御部２５０は、複数台の表示部２３０における映像表示を制御する。表示制御部２５０は、複数台のカメラ２１１からの映像データ（映像２１１）に基づいて映像信号２５１を生成する。表示制御部２５０は、それぞれのカメラ２１０での撮影により得られた複数の映像２１１を複数台の表示部２３０に表示させたときに、連続した１つの映像となるように、複数台の表示部２３０に対して映像信号２５１を出力する。

表示制御部２５０は、例えば、ベルトコンベア１４０における相対的に一番上流の位置を撮影するカメラ２１０からの映像データ（映像２１１）に基づいて生成した映像信号２５１を、複数台の表示部２３０のうち一番左にある表示部２３０に出力する。表示制御部２５０は、例えば、ベルトコンベア１４０における相対的に一番下流の位置を撮影するカメラ２１０からの映像データ（映像２１１）に基づいて生成した映像信号２５１を、複数台の表示部２３０のうち一番右にある表示部２３０に出力する。表示制御部２５０は、例えば、ベルトコンベア１４０における相対的に真ん中の位置を撮影するカメラ２１０からの映像データ（映像２１１）に基づいて生成した映像信号２５１を、複数台の表示部２３０のうち真ん中にある表示部２３０に出力する。

表示制御部２５０は、一定の速度で所定の方向に移動する複数の物体（砕石１１２および対象物１１４）を含む映像２１１が画面２３１に映し出されている時にユーザが画面２３１の一部を選択すると、画面２３１上の選択位置またはその近傍にマーカ２３３を映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’）を生成する。表示制御部２５０は、例えば、一定の速度で所定の方向に移動する複数の物体（砕石１１２および対象物１１４）を含む映像２１１が画面２３１に映し出されている時にユーザが画面２３１の一部に触れると、例えば、図３（Ａ）に示したように、画面２３１上の接触位置またはその近傍にマーカ２３３を有する映像２１１Ａを、ユーザが画面２３１に触れた時（時刻ｔ１）に得られた映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’）を生成する。表示制御部２５０は、例えば、図４に示したように、映像信号２５１（映像信号２５１’）に基づいて生成した映像を時刻ｔ１の映像として表示部２３０に表示させる。マーカ２３３は、例えば、図４に示したように、映像２１１の中で映える色（例えば、赤色）の二重丸で表現されている。なお、図４には、マーカ２３３が対象物１１４上に配置されている様子が例示されている。

表示制御部２５０は、例えば、タッチ検出部２６０から取得したタッチ情報２６１と、複数台のカメラ２１１からの映像データ（映像２１１）とに基づいて、映像信号２５１（映像信号２５１’）を生成する。タッチ情報２６１は、ユーザが画面２３１に触れたときの、画面２３１上での接触位置についての情報（例えば、座標データ）を含む、タッチ情報２６１は、画面２３１上での接触位置についての情報として、例えば、ｘ座標データ（ｘ０）と、ｙ座標データ（ｙ０）とを含む。

表示制御部２５０は、さらに、物体（砕石１１２）の画面２３１上での移動速度と同じ速度で、物体（砕石１１２）の画面２３１上での移動方向と同じ方向に、マーカ２３３を画面２３１上で移動させる映像信号２５１（映像信号２５１’’）を生成する。表示制御部２５０は、例えば、図３（Ｂ）に示したように、時刻ｔ１のマーカ２３３を、物体（砕石１１２）の画面２３１上での移動速度と同じ速度で、物体（砕石１１２）の画面２３１上での移動方向と同じ方向に時刻ｔ２（時刻ｔ１よりも後の時刻）まで移動させた映像２１１Ａを映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’’）を生成する。表示制御部２５０は、例えば、図５に示したように、映像信号２５１（映像信号２５１’’）に基づいて生成した映像を時刻ｔ２に表示部２３０に表示させる。なお、図５には、マーカ２３３が対象物１１４に追従して移動している様子が例示されている。

表示制御部２５０は、例えば、タッチ情報２６１に基づいて生成したマーカ移動情報２５２と、複数台のカメラ２１１からの映像データ（映像２１１）とに基づいて、映像信号２５１（映像信号２５１’’）を生成する。マーカ移動情報２５２は、マーカ２３３を画面２３１上に表示させた後、マーカ２３３を画面２３１上で移動させるために必要となる情報（例えば、座標データ）である。つまり、マーカ移動情報２５２は、マーカ２３３を画面２３１上に表示させた後の、マーカ２３３の画面２３１上での位置情報（例えば、座標データ）である。

表示制御部２５０は、例えば、記憶部２４０から読み出した設定情報２４１と、タッチ検出部２６０から取得したタッチ情報２６１と、時刻情報２５１とを用いることにより、マーカ移動情報２５２を生成する。マーカ移動情報２５２は、例えば、ｘ座標データ（ｘ）と、ｙ座標データ（ｙ）とを含む。時刻情報２５１は、例えば、ユーザが画面２３１に触れた時刻と、映像信号２５１’’に基づいて映像２１１が画面２３１に表示される時刻との差分を表す時刻データΔｔを含む。マーカ移動情報２５２に含まれる座標データ（ｘ，ｙ）は、例えば、以下のようにして導出される。
ｘ＝ｘ０＋Ｖｘ×Δｔ
ｙ＝ｙ０＋Ｖｙ×Δｔ
ｘ：マーカ移動情報２５２に含まれるｘ座標データ
ｙ：マーカ移動情報２５２に含まれるｙ座標データ
ｘ０：タッチ情報２６１に含まれるｘ座標データ
ｙ０：タッチ情報２６１に含まれるｙ座標データ
Ｖｘ：設定情報２４１に含まれる速度情報におけるｘ方向成分
Ｖｙ：設定情報２４１に含まれる速度情報におけるｙ方向成分
Δｔ：時刻情報２５１に含まれる時刻データ

タッチ情報２６１に含まれる座標データが時刻ｔ１におけるマーカ２３３の座標データに相当する場合、表示制御部２５０は、時刻ｔ１からΔｔ１経過した後の時刻ｔ２におけるマーカ２３３の座標データ（ｘ１，ｙ１）（図３（Ｂ）参照）を、例えば、以下のようにして導出する。
ｘ１＝ｘ０＋Ｖｘ×Δｔ１
ｙ１＝ｙ０＋Ｖｙ×Δｔ１

タッチ情報２６１が、ユーザによる画面２３１へのタッチ方法についての情報（例えば、向きデータ）を含んでいてもよい。この場合には、表示制御部２５０は、ユーザによる画面２３１へのタッチ方法に応じた態様のマーカ２３３を含む映像信号２５１（映像信号２５１’，映像信号２５１’’）を生成してもよい。タッチ方法の種類としては、例えば、タップ、スライド、フリックなどが挙げられる。

表示制御部２５０は、ユーザによる画面２３１へのタッチ方法についての情報として、タップを示す情報がタッチ情報２６１に含まれていた場合には、例えば、図３〜図５に示したように、マーカ２３３を二重丸で表現した映像信号２５１を生成する。表示制御部２５０は、ユーザによる画面２３１へのタッチ方法についての情報として、スライドまたはフリックを示す情報がタッチ情報２６１に含まれていた場合には、例えば、図６に示したように、二重丸と、スライド動作またはフリック動作の方向に対応する線分とが互いに重ね合わされた記号で表現した映像信号２５１を生成する。

タッチ情報２６１は、ユーザによる画面２３１へのタッチ方法についての情報として、例えば、ｘ座標データ（ｘｄ）と、ｙ座標データ（ｙｄ）とを含む。ｘ座標データ（ｘｄ）は、ユーザによる画面２３１へのタッチが終了したときの、画面２３１上でのｘ座標データである。ｙ座標データ（ｙｄ）は、ユーザによる画面２３１へのタッチが終了したときの、画面２３１上でのｙ座標データである。

ユーザによる画面２３１へのタッチ方法がタップであった場合には、向きデータは、例えば、ｘ座標データ（ｘ０）から所定の閾値を超えない範囲の値のｘ座標データ（ｘｄ）と、ｙ座標データ（ｙ０）から所定の閾値を超えない範囲の値のｙ座標データ（ｙｄ）とを含む。ユーザによる画面２３１へのタッチ方法がスライドまたはフリックであった場合には、向きデータは、例えば、ｘ座標データ（ｘ０）から所定の閾値以上離れた値のｘ座標データ（ｘｄ）と、ｙ座標データ（ｙ０）から所定の閾値以上離れた値のｙ座標データ（ｙｄ）とを含む。

表示制御部２５０は、例えば、ｘ座標データ（ｘ０）とｘ座標データ（ｘｄ）との差分、および、ｙ座標データ（ｙ０）とｙ座標データ（ｙｄ）との差分が所定の閾値を超えない場合には、タップを示す記号で表現されたマーカ２３３を含む映像信号２５１を生成する。表示制御部２５０は、ｘ座標データ（ｘ０）とｘ座標データ（ｘｄ）との差分、および、ｙ座標データ（ｙ０）とｙ座標データ（ｙｄ）との差分が所定の閾値以上の値となっている場合には、スライドまたはフリックを示す記号で表現されたマーカ２３３を含む映像信号２５１を生成する。

表示制御部２５０は、さらに、画面２３１上の接触位置（選択位置）に対応する実位置についての情報（実位置情報２５３）を導出する。実位置情報２５３は、対象物１１４の実位置についての情報に相当する。表示制御部２５０は、例えば、タッチ情報２６１に含まれる座標データ（ｘ０，ｙ０）に対応する実位置の座標データ（Ｘ０，Ｙ０）（例えば図３（Ａ）参照）を、実位置情報２５３として導出する。表示制御部２５０は、導出した実位置情報２５３と、設定情報２４１とをロボットアーム制御部２７０に出力する。なお、表示制御部２５０は、実位置情報２５３の代わりに、ユーザによる画面２３１上の接触位置についての情報をロボットアーム制御部２７０に出力してもよい。

表示制御部２５０は、さらに、スライドまたはフリックを示す情報がタッチ情報２６１に含まれていた場合には、例えば、タッチ情報２６１に基づいて、映像２１１内における、スライド動作の延在方向と交差する方向、もしくは、フリック動作のフリック方向と交差する方向を導出する。表示制御部２５０は、このようにして導出した方向を、対象物１１４をロボットアーム２７０で挟み込む矜持方向２５４として、ロボットアーム制御部２７０に出力する。

次に、タッチ検出部２６０について説明する。タッチ検出部２６０は、駆動信号を各表示部２３０のタッチ検出機構に出力することにより、各表示部２３０のタッチ検出機能を発現させる。タッチ検出部２６０は、タッチ検出機構を駆動している時に、各表示部２３０のタッチ検出機構から検出信号２３２を取得する。ユーザが指やタッチペンなどで画面２３１に触れると、触れた位置に応じた変位が検出信号２３２に現れる。タッチ検出部２６０は、検出信号２３２の変位を検知することにより、ユーザが触れた画面２３１上での接触位置についての情報（例えば、座標データ）を取得する。タッチ検出部２６０は、取得した情報を、タッチ情報２６１として、表示制御部２５０に出力する。タッチ情報２６１は、画面２３１上での接触位置についての情報として、例えば、ｘ座標データ（ｘ０）と、ｙ座標データ（ｙ０）とを含む。

次に、ロボットアーム制御部２７０について説明する。ロボットアーム制御部２７０は、表示制御部２５０から、実位置情報２５３と、設定情報２４１とを取得する。すると、ロボットアーム制御部２７０は、実位置情報２５３と、設定情報２４１とに基づいて、複数の物体（砕石１１２および対象物１１４）のうち実位置（実位置情報２５３に含まれる座標データ）にあった対象物１１４をロボットアーム２２０によって回収する制御信号２７１を生成する。ロボットアーム制御部２７０は、例えば、画面２３１上での接触位置についての情報（例えば、座標データ）と、設定情報２４１とに基づいて、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定する。ロボットアーム制御部２７０は、例えば、実位置情報２５３に含まれる座標データと、設定情報２４１に対応する実位置での移動速度とを用いることにより、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定する。ロボットアーム制御部２７０は、さらに、例えば、推定した到達時刻ｔ０に対象物１１４を目標位置Ｌｔでロボットアーム２２０によって回収する制御信号２７１を生成する。

なお、表示制御部２５０が、実位置情報２５３の代わりに、接触位置（選択位置）についての情報をロボットアーム制御部２７０に出力する場合には、ロボットアーム制御部２７０は、表示制御部２５０から、接触位置（選択位置）についての情報と、設定情報２４１とを取得する。このとき、ロボットアーム制御部２７０は、接触位置（選択位置）についての情報に基づいて、接触位置（選択位置）に対応する実位置についての情報（実位置情報２５３）を導出する。さらに、ロボットアーム制御部２７０は、導出した実位置情報２５３と、設定情報２４１とに基づいて、複数の物体（砕石１１２および対象物１１４）のうち実位置にあった対象物１１４をロボットアーム２２０によって回収する制御信号２７１を生成する。

ロボットアーム制御部２７０は、画面２１１上でスライドされたとき、もしくは、画面２１１がフリックされたときに、スライド動作の延在方向と交差する方向、もしくは、フリック動作のフリック方向と交差する方向から、対象物１１４を挟む制御信号２７１を生成してもよい。

ロボットアーム制御部２７０は、画面２３１上でスライドされたとき、もしくは、画面２３１がフリックされたときに、スライド動作の延在方向と交差する方向、もしくは、フリック動作のフリック方向と交差する方向から、対象物１１４を挟む制御信号２７１を生成する。ロボットアーム制御部２７０は、例えば、表示制御部２５０から矜持方向２５４が入力された場合には、矜持方向２５４に基づいて、対象物１１４を挟む制御信号２７１を生成する。

［動作］
次に、ロボット制御装置２００Ａの動作について説明する。図６は、ロボット制御装置２００Ａにおけるロボット制御手順の一例を表したものである。

表示制御部２５０は、あらかじめ、記憶部２４０から設定情報２４１を読み出しておく（ステップＳ１０１）。表示制御部２５０は、さらに、複数台のカメラ２１１からの映像データ（映像２１１）に基づいて映像信号２５１を生成し、生成した映像信号２５１を各表示部２３０に送信する。各表示部２３０は、映像信号２５１に基づく映像２１１を画面２３１に表示する。

その後、タッチ検出部２６０は、各表示部２３０のタッチ検出機構を駆動している時に、各表示部２３０のタッチ検出機構から検出信号２３２を取得すると、取得した検出信号２３２をタッチ情報２６１として表示制御部２５０に送信する（ステップＳ１０２）。表示制御部２５０は、タッチ情報２６１をタッチ検出部２６０から受信する（ステップＳ１０３）。

このとき、表示制御部２５０は、一定の速度で所定の方向に移動する複数の物体（砕石１１２および対象物１１４）を含む映像２１１が画面２３１に映し出されている時に、タッチ情報２６１を受信したとする。すると、表示制御部２５０は、受信したタッチ情報２６１と、複数台のカメラ２１１からの映像データ（映像２１１）とに基づいて、画面２３１上の接触位置またはその近傍にマーカ２３３を映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’）を生成する（ステップＳ１０４）。表示制御部２５０は、生成した映像信号２５１（映像信号２５１’）を各表示部２３０に送信する（ステップＳ１０５）。

各表示部２３０は、映像信号２５１（映像信号２５１’）を表示制御部２５０から受信する（ステップＳ１０６）。各表示部２３０は、受信した映像信号２５１（映像信号２５１’）に基づいて、映像２１１を表示する（ステップＳ１０７）。

その後、表示制御部２５０は、ユーザによる画面２３１上の接触位置に対応する映像２１１内の実位置についての情報（実位置情報２５３）を導出する（ステップＳ１０８）。表示制御部２５０は、導出した実位置情報２５３と、設定情報２４１とをロボットアーム制御部２７０に送信する（ステップＳ１０９）。ロボットアーム制御部２７０は、実位置情報２５３と、設定情報２４１とを表示制御部２５０から受信する（ステップＳ１１０）。表示制御部２５０は、実位置情報２５３に含まれる座標データと、設定情報２４１とに基づいて、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定する（ステップＳ１１１）。ロボットアーム制御部２７０は、さらに、推定した到達時刻ｔ０に対象物１１４を目標位置Ｌｔでロボットアーム２２０によって回収する制御信号２７１を生成する（ステップＳ１１２）。ロボットアーム制御部２７０は、生成した制御信号２７１をロボットアーム２２０に送信する（ステップＳ１１３）。ロボットアーム２２０は、制御信号２７１をロボットアーム制御部２７０から受信する（ステップＳ１１４）。すると、ロボットアーム２２０は、制御信号２７１に基づいて、対象物１１４が目標位置Ｌｔに到達したときに、対象物１１４を回収する（ステップＳ１１５）。このようにして、ユーザは、遠隔操作によってロボットアーム２２０を制御することによって、対象物１１４を回収することができる。

［効果］
次に、ロボット制御装置２００Ａの効果について説明する。

建設および建物解体の工事現場では、不要なコンクリート塊が排出される。排出されたコンクリート塊は、所定の破砕施設に受け入れられ、施設内の破砕プラントによって破砕される。破砕物の粒度の調節や、破砕物に含まれる混入物の除去がなされたものが、再生砕石として販売される。破砕プラントにおいて、コンクリート塊は一次破砕処理装置に投入され、一次破砕処理がなされたコンクリート塊は、ベルトコンベアに乗って、混入物除去工程に向かう。混入物除去工程は、再生砕石の品質管理工程において最も重要な工程である。そのため、混入物除去工程では、人の目と手で、破砕物に含まれる混入物の除去が行われる。

このように、混入物の除去には、人手が不可欠である。しかし、混入物除去工程では、採光、風除、雨避けが考慮された建物内での作業となる。作業場としての建物は、例えば、鉄骨に、塩化ビニール製の波板トタンが貼り付けられた程度の貧弱なものであることが多い。そのため、夏には、建物内がサウナに近い暑さとなり、冬には、鉄材の冷えで建物内が底冷えする。さらに、粉じん抑制のために、散水が常に行われているので、濡れた混入物で手が冷えやすい。このように、混入物除去工程では、作業環境が良くない。

将来の人材確保の観点からは、良好な作業環境下で混入物除去を行えるようにすることが好ましい。良好な作業環境を実現するためには、例えば、混入物除去をロボットによる遠隔操作によって行うことが考えられる。しかし、従来のロボット制御装置は、操作が複雑であったり、高価格であったりと、混入物除去工程にはあまり適していなかった。

一方、本実施の形態に係るロボット制御装置２００Ａでは、映像２１１が各画面２３１に映し出されている時にユーザが画面２３１に触れると、画面２３１上の接触位置またはその近傍にマーカ２３３を映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’）が生成される。これにより、ユーザは、例えば、映像２１１中に発見した対象物１１４（ゴミ）に目印を付けることができる。また、このロボット制御装置２００Ａでは、画面２３１上での砕石１１２の移動速度と同じ速度で、画面２３１上での砕石１１２の移動方向と同じ方向に、マーカ２３３を画面２３１上で移動させる映像信号２５１（映像信号２５１’’）が生成される。これにより、ユーザは、例えば、目印を付けた対象物１１４（ゴミ）が画面２３１上のどこにあるかをリアルタイムに把握することができる。また、このロボット制御装置２００Ａでは、画面２３１上の接触位置に対応する映像２１１内の実位置の座標（実位置情報２５３）と、移動速度（設定情報２４１）とに基づいて、複数の物体（砕石１１２および対象物１１４）のうち実位置にあった対象物１１４（ゴミ）をロボットアーム２２０によって回収する制御信号２７１が生成される。これにより、ユーザは、例えば、画面２３１に触れて、映像２１１中の対象物１１４に目印を付けることで、ロボットアーム２２０に対して、対象物１１４（ゴミ）の回収を指示することができる。このように、このロボット制御装置２００Ａでは、例えば、ユーザに画面２３１をタッチさせるだけで、ロボットアーム２２０に対して、対象物１１４の回収を指示することができる。従って、本実施の形態では、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

また、本実施の形態に係るロボット制御装置２００Ａでは、記憶部２４０から読み出した設定情報２４１を用いて、マーカ２３３の画面２４１上での位置が導出される。これにより、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、映像２１１中で移動する対象物１１４にマーカ２３３を追従させることができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

また、本実施の形態に係るロボット制御装置２００Ａでは、記憶部２４０から読み出した設定情報２４１に対応する実位置での速度情報を用いて、ロボットアーム２２０を制御する制御信号２７１が生成される。これにより、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、ロボットアーム２２０を制御することができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

また、本実施の形態に係るロボット制御装置２００Ａにおいて、ロボットアーム制御部２７０は、画面２３１上でスライドされたとき、もしくは、画面２３１がフリックされたときに、スライド動作の延在方向と交差する方向、もしくは、フリック動作のフリック方向と交差する方向から、対象物１１４を挟む制御信号２７１を生成する場合には、簡単な操作で、映像２１１中の対象物１１４の形状もしくは長軸方向の向きを入力することができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

また、本実施の形態に係るロボット制御装置２００Ａにおいて、ロボットアーム制御部２７０は、画面２３１上の接触位置に対応する映像２１１内の（実位置情報２５３）と、と、記憶部２４０から読み出した移動速度（設定情報２４１）とに基づいて、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定し、推定した到達時刻ｔ０に対象物１１４を目標位置Ｌｔでロボットアーム２７０によって回収する場合には、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、対象物１１４を回収することができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

＜２．変形例＞
［変形例Ａ］
本実施の形態に係るロボット制御装置２００Ａにおいて、表示制御部２５０は、ロボットアーム２７０による回収が行われた際に、マーカ２３３を画面２３１から消去する映像信号２５１、または、マーカ２３３の表示色を別の色に変えた映像信号２５１を生成してもよい。この場合には、複雑な作業をしなくても画面２３１を見ているだけで、対象物１１４の回収の完了を知ることができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

［変形例Ｂ］
また、本実施の形態に係るロボット制御装置２００Ａにおいて、表示制御部２５０は、ロボットアーム２７０による回収が行われる前に、対象物１１４が移動により画面２３１から消えてしまった場合に、画面２３１から消えた対象物１１４に対応して表示されていたマーカ２３３を画面２３１のどこかに表示させておき、ロボットアーム２７０による回収が行われた際に、マーカ２３３を画面２３１から消去する映像信号２５１を生成してもよい。この場合には、複雑な作業をしなくても画面２３１を見ているだけで、対象物１１４の回収の完了を知ることができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

［変形例Ｃ］
上記実施の形態およびその変形例では、表示部２３０の数が、カメラ２１０の数と同じとなっていた。しかし、表示部２３０の数が、カメラ２１０の数と異なっていてもよい。表示部２３０の数が、カメラ２１０の数よりも少ない場合には、表示制御部２５０は、ある表示部２３０に対して、複数のカメラ２１０から得られた複数の映像２１１を連結させた状態で画面２３１に表示させる映像信号２５１を出力してもよい。また、表示部２３０の数が、カメラ２１０の数よりも多い場合には、表示制御部２５０は、特定の表示部２３０に対して、特定のカメラ２１０から得られた映像２１１の一部を画面２３１に表示させる映像信号２５１を出力するとともに、特定の表示部２３０に隣接する表示部２３０に対して、特定のカメラ２１０から得られた映像２１１の残りの部分を画面２３１に表示させる映像信号２５１を出力してもよい。

［変形例Ｄ］
上記実施の形態およびその変形例では、ユーザインターフェースとして表示部２３０のタッチ機能が用いられていた。しかし、上記実施の形態およびその変形例において、ユーザインターフェースとして他の機能が用いられてもよい。例えば、上記実施の形態およびその変形例において、ロボット制御装置２００Ａが、例えば、マウスやトラックボールなどの、ユーザが手を動かすことによって情報入力可能なデバイスを備えていてよい。

この場合、表示制御部２５０は、一定の速度で所定の方向に移動する複数の物体（砕石１１２および対象物１１４）を含む映像２１１が画面２３１に映し出されている時にユーザが、上述のデバイスを用いて、画面２３１の一部を選択すると、画面２３１上の選択位置またはその近傍にマーカ２３３を映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’）を生成する。表示制御部２５０は、例えば、図４に示したように、映像信号２５１（映像信号２５１’）に基づいて生成した映像を時刻ｔ１に表示部２３０に表示させる。

表示制御部２５０は、例えば、上述のデバイスから取得した位置情報２６２と、複数台のカメラ２１１からの映像データ（映像２１１）とに基づいて、映像信号２５１（映像信号２５１’）を生成する。位置情報２６２は、ユーザが上述のデバイスを用いて、画面２３１の一部を選択したときの、画面２３１上での選択位置についての情報（例えば、座標データ）を含む。位置情報２６２は、画面２３１上での選択位置についての情報として、例えば、ｘ座標データ（ｘ０）と、ｙ座標データ（ｙ０）とを含む。

表示制御部２５０は、例えば、記憶部２４０から読み出した設定情報２４１と、上述のデバイスから取得した位置情報２６２と、時刻情報２５１とを用いることにより、マーカ移動情報２５２を生成する。時刻情報２５１は、例えば、ユーザが画面２３１の一部を選択した時刻と、映像信号２５１’’に基づいて映像２１１が画面２３１に表示される時刻との差分を表す時刻データΔｔを含む。マーカ移動情報２５２に含まれる座標データ（ｘ，ｙ）は、例えば、以下のようにして導出される。
ｘ＝ｘ０＋Ｖｘ×Δｔ
ｙ＝ｙ０＋Ｖｙ×Δｔ
ｘ：マーカ移動情報２５２に含まれるｘ座標データ
ｙ：マーカ移動情報２５２に含まれるｙ座標データ
ｘ０：位置情報２６２に含まれるｘ座標データ
ｙ０：位置情報２６２に含まれるｙ座標データ
Ｖｘ：設定情報２４１に含まれる速度情報におけるｘ方向成分
Ｖｙ：設定情報２４１に含まれる速度情報におけるｙ方向成分
Δｔ：時刻情報２５１に含まれる時刻データ

位置情報２６２が、ユーザによる画面２３１の一部の選択方法についての情報（例えば、向きデータ）を含んでいてもよい。この場合には、表示制御部２５０は、ユーザによる画面２３１の一部の選択方法に応じた態様のマーカ２３３を含む映像信号２５１（映像信号２５１’，映像信号２５１’’）を生成してもよい。選択方法の種類としては、例えば、クリック、スライド、フリックなどが挙げられる。

表示制御部２５０は、ユーザによる画面２３１の一部の選択方法についての情報として、クリックを示す情報が位置情報２６２に含まれていた場合には、例えば、図３〜図５に示したように、マーカ２３３を二重丸で表現した映像信号２５１を生成する。表示制御部２５０は、ユーザによる画面２３１の一部の選択方法についての情報として、スライドまたはフリックを示す情報が位置情報２６２に含まれていた場合には、例えば、図６に示したように、二重丸と、スライド動作またはフリック動作の方向に対応する線分とが互いに重ね合わされた記号で表現した映像信号２５１を生成する。

位置情報２６２は、ユーザによる画面２３１の一部の選択方法についての情報として、例えば、ｘ座標データ（ｘｄ）と、ｙ座標データ（ｙｄ）とを含む。ｘ座標データ（ｘｄ）は、ユーザによる画面２３１の一部の選択が終了したときの、画面２３１上でのｘ座標データである。ｙ座標データ（ｙｄ）は、ユーザによる画面２３１の一部の選択が終了したときの、画面２３１上でのｙ座標データである。

ユーザによる画面２３１の一部の選択方法がクリックであった場合には、向きデータは、例えば、ｘ座標データ（ｘ０）から所定の閾値を超えない範囲の値のｘ座標データ（ｘｄ）と、ｙ座標データ（ｙ０）から所定の閾値を超えない範囲の値のｙ座標データ（ｙｄ）とを含む。ユーザによる画面２３１の一部の選択方法がスライドおよびフリックであった場合には、向きデータは、例えば、ｘ座標データ（ｘ０）から所定の閾値以上離れた値のｘ座標データ（ｘｄ）と、ｙ座標データ（ｙ０）から所定の閾値以上離れた値のｙ座標データ（ｙｄ）とを含む。

表示制御部２５０は、ｘ座標データ（ｘ０）とｘ座標データ（ｘｄ）との差分、および、ｙ座標データ（ｙ０）とｙ座標データ（ｙｄ）との差分が所定の閾値を超えない場合には、クリックを示す記号で表現されたマーカ２３３を含む映像信号２５１を生成する。表示制御部２５０は、ｘ座標データ（ｘ０）とｘ座標データ（ｘ１）との差分、および、ｙ座標データ（ｙ０）とｙ座標データ（ｙｄ）との差分が所定の閾値以上の値となっている場合には、スライドまたはフリックを示す記号で表現されたマーカ２３３を含む映像信号２５１を生成する。

表示制御部２５０は、さらに、ユーザによる画面２３１の選択位置に対応する実位置についての情報（実位置情報２５３）を導出する。実位置情報２５３は、対象物１１４の実位置についての情報に相当する。表示制御部２５０は、例えば、位置情報２６２に含まれる座標データ（ｘ０，ｙ０）に対応する実位置の座標データ（Ｘ０，Ｙ０）を、実位置情報２５３として導出する。表示制御部２５０は、導出した実位置情報２５３と、設定情報２４１とをロボットアーム制御部２７０に出力する。なお、表示制御部２５０は、実位置情報２５３の代わりに、ユーザによる画面２３１上の選択位置についての情報をロボットアーム制御部２７０に出力してもよい。

表示制御部２５０は、さらに、スライドまたはフリックを示す情報が位置情報２６２に含まれていた場合には、例えば、位置情報２６２に基づいて、映像２１１内における、スライド動作の延在方向と交差する方向、もしくは、フリック動作のフリック方向と交差する方向を導出する。表示制御部２５０は、このようにして導出した方向を、対象物１１４をロボットアーム２７０で挟み込む矜持方向２５４として、ロボットアーム制御部２７０に出力する。

このように、本変形例では、ユーザインターフェースとして、マウスやトラックボールなどの、ユーザが手を動かすことによって情報入力可能なデバイスが用いられる。このようにした場合であっても、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

［変形例Ｅ］
上記実施の形態およびその変形例では、記憶部２４０には、砕石１１２の画面２３１上での移動速度と等価な情報が速度情報として記憶されていた。しかし、上記実施の形態およびその変形例において、記憶部２４０には、砕石１１２の実位置での移動速度と等価な情報が速度情報として記憶されていてもよい。つまり、この場合は、記憶部２４０に記憶された速度情報は、砕石１１２の実位置での移動速度と等価である。

ただし、この場合には、マーカ移動情報２５２に含まれる座標データ（ｘ，ｙ）は、例えば、以下のようにして導出される。
ｘ＝ｘ０＋Ｖｘ×Δｔ
ｙ＝ｙ０＋Ｖｙ×Δｔ
ｘ：マーカ移動情報２５２に含まれるｘ座標データ
ｙ：マーカ移動情報２５２に含まれるｙ座標データ
ｘ０：タッチ情報２６１に含まれるｘ座標データ
ｙ０：タッチ情報２６１に含まれるｙ座標データ
Ｖｘ：設定情報２４１に含まれる速度情報に基づいて導出した砕石１１２の画面２３１上での速度情報におけるｘ方向成分
Ｖｙ：設定情報２４１に含まれる速度情報に基づいて導出した砕石１１２の画面２３１上での速度情報におけるｙ方向成分
Δｔ：時刻情報２５１に含まれる時刻データ

さらに、本変形例では、ロボットアーム制御部２７０は、例えば、実位置情報２５３に含まれる座標データと、設定情報２４１に含まれる実位置での移動速度とを用いることにより、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定する。

このように、本変形例では、記憶部２４０から読み出した設定情報２４１を用いて、マーカ移動情報２５２が生成される。これにより、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、映像２１１中で移動する対象物１１４にマーカ２３３を追従させることができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

また、本変形例では、記憶部２４０から読み出した設定情報２４１を用いて、ロボットアーム２２０を制御する制御信号２７１が生成される。これにより、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、ロボットアーム２２０を制御することができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

［変形例Ｆ］
上記実施の形態およびその変形例では、記憶部２４０には、物体（砕石１１２）の画面２３１上での移動速度と等価な情報が記憶されていたが、物体（砕石１１２）の画面２３１上での移動距離と等価な情報が記憶されていてもよい。記憶部２４０には、例えば、図８に記載したようなテーブル２４０Ａが記憶されていてもよい。テーブル２４０Ａは、時刻データΔｔと、距離データｘａ，ｙａとの関係を表したものである。距離データｘａは、物体（砕石１１２）が時刻データΔｔの間、画面２３１上を移動するｘ軸方向の距離と等価な値である。距離データｙａは、物体（砕石１１２）が時刻データΔｔの間、画面２３１上を移動するｙ軸方向の距離と等価な値である。

表示制御部２５０は、例えば、時刻情報２５１に含まれる時刻データΔｔに対応する距離データｘａ，ｙａをテーブル２４０Ａから読み出す。次に、表示制御部２５０は、例えば、読み出した距離データｘａと、タッチ情報２６１に含まれるｘ座標データｘ０とを互いに足し合わせることにより、時刻ｔ１から時刻データΔｔだけ経過した時のマーカ２３３のｘ座標データを導出する。表示制御部２５０は、例えば、読み出した距離データｙａと、タッチ情報２６１に含まれるｙ座標データｙ０とを互いに足し合わせることにより、時刻ｔ１から時刻データΔｔだけ経過した時のマーカ２３３のｙ座標データを導出する。表示制御部２５０は、例えば、このようにして導出した座標データをマーカ移動情報２５２とする。

また、ロボットアーム制御部２７０は、例えば、画面２３１上での接触位置についての情報（例えば、座標データ）と、テーブル２４０Ａとに基づいて、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定する。ロボットアーム制御部２７０は、例えば、実位置情報２５３に含まれる座標データと、テーブル２４０Ａに対応する実位置とを用いることにより、対象物１１４が目標位置Ｌｔに到達する到達時刻ｔ０を推定する。

このように、本変形例では、記憶部２４０から読み出したテーブル２４０Ａを用いて、マーカ移動情報２５２が生成される。これにより、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、映像２１１中で移動する対象物１１４にマーカ２３３を追従させることができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

また、本変形例では、記憶部２４０から読み出したテーブル２４０Ａを用いて、ロボットアーム２２０を制御する制御信号２７１が生成される。これにより、映像２１１中の対象物１１４の位置や速度を検出する複雑かつ高価なシステムを導入しなくても、ロボットアーム２２０を制御することができる。従って、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

なお、本変形例において、記憶部２４０に、物体（砕石１１２）の実位置での移動距離と等価な情報が記憶されていてもよい。この場合、テーブル２４０Ａ内の距離データｘａは、物体（砕石１１２）が時刻データΔｔの間、実位置を移動するｘ軸方向の距離と等価な値である。距離データｙａは、物体（砕石１１２）が時刻データΔｔの間、実位置を移動するｙ軸方向の距離と等価な値である。このような場合であっても、本変形例と同様、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

［変形例Ｇ］
上記実施の形態およびその変形例において、記憶部２４０に記憶された移動速度（Ｖｘ，Ｖｙ）が、テストモード下で得られたものであってもよい。テストモードとは、記憶部２４０内に記憶させる移動速度を導出するためのモードである。例えば、ベルトコンベア１４０の縁に、テスト用のマーカが設けられているとする。このテスト用のマーカは、ベルトコンベア１４０のベルトの移動に伴って移動する。テストモードでは、ベルトコンベア１４０のマーカが画面２３１に表示されたとき、ユーザは、例えば、画面２３１に映し出されたテスト用のマーカを２回、互いに異なる時間に選択する。ユーザは、例えば、ある時刻に画面２３１に映し出されているテスト用のマーカに触れ、その後、所定の時間が経過した後に、画面２３１に依然として映し出されているテスト用のマーカに再度、触れる。

これにより、表示制御部２５０は、ユーザによる画面２３１上の２つの接触位置（選択位置）と、接触（選択）をしたときの２つの時刻（選択時刻）とを得る。そこで、表示制御部２５０は、テストモードで取得した２つの接触位置（選択位置）および２つの選択時刻に基づいて、テスト用のマーカの移動速度Ｖｔｅｓｔを導出する。移動速度Ｖｔｅｓｔは、テスト用のマーカの画面２３１上での移動速度であってもよいし、テスト用のマーカの実位置での移動速度であってもよい。表示制御部２５０は、導出した移動速度Ｖｔｅｓｔを記憶部２４０に記憶する。

なお、記憶部２４０のテーブル２４０Ａに記憶された移動距離（距理データｘａ，ｙａ）が、テストモード下で得られたものであってもよい。この場合、表示制御部２５０は、例えば、あらかじめ用意した時刻データΔｔ（Δｔ１〜Δｔｎ）に対して、上述のようにして導出した移動速度Ｖｔｅｓｔを乗算し、それによって得られた距理データｘｂ，ｙｂを、距理データｘａ，ｙａとしてテーブル２４０Ａに格納してもよい。

このように、本変形例では、記憶部２４０に記憶された移動速度または移動距離が、テストモード下で得られたものとなっている。これにより、例えば、ベルトコンベア１４０の速度が経年変化した場合であっても、経年変化の影響を受けずに正確に、マーカ２３３表示や、ロボット制御を行うことができる。

［変形例Ｈ］
上記実施の形態およびその変形例では、マーカ２３３は、画面２３１上の選択位置（例えば接触位置）のごく近くに配置されていた。しかし、上記実施の形態およびその変形例において、例えば、画面２３１において、画面２３１上の選択位置（例えば接触位置）のＸ座標（マーカ２３３の移動方向の座標）と同じＸ座標上の所定位置にマーカ２３３が配置されてもよい。このとき、上記所定位置は、画面２３１上の選択位置（例えば接触位置）の近傍と言える。このようにした場合であっても、ユーザによる選択（例えば接触）がロボット制御装置２００Ａによって認識されたことをユーザに示すことができる。

［変形例Ｉ］
上記実施の形態およびその変形例では、ロボットアーム制御部２７０がロボットアーム２２０を制御していた。しかし、上記実施の形態およびその変形例において、ユーザがロボットアーム３００を制御してもよい。例えば、図９に示したように、ロボット制御システム２００において、ロボット制御装置２００Ａの代わりに、表示制御装置２００Ｂが設けられていてもよい。表示制御装置２００Ｂは、ロボット制御装置２００Ａにおいて、ロボット制御部２７０が省略されたものに相当する。さらに、例えば、図９に示したように、ロボット制御システム２００において、ロボットアーム制御部３００が設けられていてもよい。ロボットアーム制御部３００は、ネットワーク２９０を介してロボットアーム２２０を制御するものであり、ユーザによる操作によってロボットアーム２２０を制御するものである。ロボットアーム制御部３００は、例えば、ユーザの手および腕に取り付けられ、ユーザの手および腕の動きを検出するセンサと、そのセンサの出力に基づいて、ロボットアーム２２０を制御する制御信号を生成する制御部とを有している。

本変形例では、映像２１１が画面２３１に映し出されている時にユーザが画面２３１の一部を選択すると、画面２３１上の選択位置またはその近傍にマーカ２３３を映像２１１に重ねて表示させる映像信号２５１（映像信号２５１’）が生成される。これにより、ユーザは、例えば、映像２１１中に発見した対象物１１４（ゴミ）に目印を付けることができる。また、本変形例では、画面２３１上での砕石１１２の移動速度と同じ速度で、画面２３１上での物体砕石１１２の移動方向と同じ方向に、マーカ２３３を画面２３１上で移動させる映像信号２５１（映像信号２５１’’）が生成される。これにより、ユーザは、例えば、目印を付けた対象物１１４（ゴミ）が画面２３１上のどこにあるかをリアルタイムに把握することができる。さらに、ユーザは、表示制御装置２００Ｂから出力された映像信号２５１（映像信号２５１’’）に基づいて得られる映像２１１を見ながら、ロボットアーム制御部３００を介して、ロボットアーム２２０を操作することで、ロボットアーム２２０によって対象物１１４（ゴミ）を回収することが可能となる。従って、本変形例では、簡単な操作で遠隔操作が可能な安価なロボット制御装置２００Ａを提供することができる。

［変形例Ｊ］
上記実施の形態およびその変形例では、ロボット制御装置２００Ａおよびロボット制御システム２００が、破砕施設１００の混入物除去工程で用いられていた。しかし、制御装置２００Ａおよびロボット制御システム２００は、混入物除去とは全く別の分野で用いられてもよい。例えば、制御装置２００Ａおよびロボット制御システム２００が、ベルトコンベア１４０のベルト上を流れる景品を、ロボットアーム２２０を用いて回収する用途に用いられてもよい。

１００…破砕施設、１１０…コンクリート塊集積場、１１１…コンクリート塊、１１２，１１３…砕石、１１４…対象物、１２０…パワーショベル、１３０…一次破砕処理装置、１３１…ホッパー、１４０…ベルトコンベア、１５０…二次破砕処理装置、１５１…ホッパー、１６０…ベルトコンベア、１７０…砕石集積場、１８０…混合物除去建屋、１９０…遠隔操作建屋、２００…ロボット制御システム、２００Ａ…ロボット制御装置、２００Ｂ…表示制御装置、２１０…カメラ、２１１…映像、２２０…ロボットアーム、２３０…表示部、２３１…画面、２３２…検出信号、２４０…記憶部、２４０Ａ…テーブル、２４１…設定情報、２５０…表示制御部、２５１，２５１’，２５１’’…映像信号、２５２…マーカ移動情報、２５３…実位置情報、２６０…タッチ検出部、２６１…タッチ情報、２６２…位置情報、２７０…ロボットアーム制御部、２７１…制御信号、２８０…通信部、２９０…ネットワーク、３００…ロボットアーム制御部、Ｌｔ…目標位置、ｔ０，ｔ１，ｔ２…時刻。

Claims (8)

1. 一定の速度で所定の方向に移動する複数の物体を含む映像が画面に映し出されている時にユーザが前記画面の一部を選択すると、前記画面上の選択位置またはその近傍にマーカを前記映像に重ねて表示させる映像信号を生成し、さらに、前記画面上の前記物体の移動速度と同じ速度で、前記画面上の前記物体の移動方向と同じ方向に、前記マーカを前記画面上で移動させる映像信号を生成する表示制御部を備えた
   表示制御装置。
2. あらかじめ設定された移動情報を記憶する記憶部をさらに備え、
   前記記憶部内の移動情報は、前記物体の前記画面上での移動情報と等価であり、
   前記表示制御部は、前記画面上の選択位置の座標と、前記記憶部から読み出した前記移動情報とを用いることにより前記マーカの前記画面上での位置を導出する
   請求項１に記載の表示制御装置。
3. あらかじめ設定された移動情報を記憶する記憶部をさらに備え、
   前記記憶部内の移動情報は、前記物体の実位置での移動情報と等価であり、
   前記表示制御部は、前記画面上の選択位置の座標と、前記記憶部から読み出した前記移動情報に基づいて導出した前記物体の前記画面上での移動情報とを用いることにより前記マーカの前記画面上での位置を導出する
   請求項１に記載の表示制御装置。
4. 一定の速度で所定の方向に移動する複数の物体を含む映像が画面に映し出されている時にユーザが前記画面の一部を選択すると、前記画面上の選択位置またはその近傍にマーカを前記映像に重ねて表示させる映像信号を生成し、さらに、前記画面上の前記物体の移動速度と同じ速度で、前記画面上の前記物体の移動方向と同じ方向に、前記マーカを前記画面上で移動させる映像信号を生成する表示制御部と、
   前記画面上の選択位置の座標と、前記物体の移動情報とに基づいて、前記複数の物体のうち前記実位置にあった対象物をロボットアームによって回収する制御信号を生成するロボットアーム制御部と
   を備えた
   ロボット制御装置。
5. あらかじめ設定された移動情報を記憶する記憶部をさらに備え、
   前記記憶部内の移動情報は、前記物体の前記画面上での移動情報と等価であり、
   前記表示制御部は、前記画面上の選択位置の座標と、前記記憶部から読み出した前記移動情報とを用いることにより前記マーカの前記画面上での位置を導出する
   請求項４に記載のロボット制御装置。
6. あらかじめ設定された移動情報を記憶する記憶部をさらに備え、
   前記記憶部内の移動情報は、前記物体の実位置での移動情報と等価であり、
   前記表示制御部は、前記画面上の選択位置の座標と、前記記憶部から読み出した前記移動情報に基づいて導出した前記物体の前記画面上での移動情報とを用いることにより前記マーカの前記画面上での位置を導出する
   請求項４に記載のロボット制御装置。
7. あらかじめ設定された移動情報を記憶する記憶部をさらに備え、
   前記記憶部内の移動情報は、前記物体の前記画面上での移動情報と等価であり、
   前記ロボットアーム制御部は、前記画面上の選択位置に対応する実位置の座標と、前記記憶部から読み出した前記移動情報に対応する実位置での移動情報とを用いることにより前記制御信号を生成する
   請求項４に記載のロボット制御装置。
8. あらかじめ設定された移動情報を記憶する記憶部をさらに備え、
   前記記憶部内の移動情報は、前記物体の実位置での移動情報と等価であり、
   前記ロボットアーム制御部は、前記画面上の選択位置に対応する実位置の座標と、前記記憶部から読み出した前記移動情報とを用いることにより前記制御信号を生成する
   請求項４に記載のロボット制御装置。

Images