JP2003080488A - 遠隔操作の監視装置 - Google Patents
遠隔操作の監視装置Info
- Publication number
- JP2003080488A JP2003080488A JP2001269476A JP2001269476A JP2003080488A JP 2003080488 A JP2003080488 A JP 2003080488A JP 2001269476 A JP2001269476 A JP 2001269476A JP 2001269476 A JP2001269476 A JP 2001269476A JP 2003080488 A JP2003080488 A JP 2003080488A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- hand
- partial
- entire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 作業環境とマニピュレータの全体的な
位置関係と、ハンドと把持対象物との局所的な位置関係
の両方をカメラだけでオペレータに提示可能とする。 【解決手段】 カメラが３その第１の位置で撮影して
撮影対象全体領域９に係る撮像データを得て、その第２
の位置で撮影して撮影対象全体領域１０内の撮影対象一
部領域に係る撮像データを得て、コンピュータ４は、撮
影対象全体領域９に係る撮像データを入力してメモリ８
内に全体画像として記憶するとともに、撮影対象一部領
域に係る撮像データを入力して部分画像を得て、全体画
像内に部分画像をその対応する位置に嵌め込んで合成す
る。
位置関係と、ハンドと把持対象物との局所的な位置関係
の両方をカメラだけでオペレータに提示可能とする。 【解決手段】 カメラが３その第１の位置で撮影して
撮影対象全体領域９に係る撮像データを得て、その第２
の位置で撮影して撮影対象全体領域１０内の撮影対象一
部領域に係る撮像データを得て、コンピュータ４は、撮
影対象全体領域９に係る撮像データを入力してメモリ８
内に全体画像として記憶するとともに、撮影対象一部領
域に係る撮像データを入力して部分画像を得て、全体画
像内に部分画像をその対応する位置に嵌め込んで合成す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、遠隔操作ロボット
などカメラを用いてロボットを監視する必要がある場合
に、手先カメラだけを用いて、作業環境全体におけるハ
ンドの位置などの大局的な情報とハンドと操作対象物と
の相対的な位置関係などの局所的な情報を、1枚の画像
で提示するものである。
などカメラを用いてロボットを監視する必要がある場合
に、手先カメラだけを用いて、作業環境全体におけるハ
ンドの位置などの大局的な情報とハンドと操作対象物と
の相対的な位置関係などの局所的な情報を、1枚の画像
で提示するものである。
【０００２】
【従来の技術】近年、人が生活する環境自身を知能化す
る研究が進められており、マニピュレータのようなロボ
ット要素も生活環境に配置する試みを行っている。この
ような人間共存ロボットに仕事を依頼する場合などにお
いて、遠隔換作は重要な手段である。
る研究が進められており、マニピュレータのようなロボ
ット要素も生活環境に配置する試みを行っている。この
ような人間共存ロボットに仕事を依頼する場合などにお
いて、遠隔換作は重要な手段である。
【０００３】ところで、遠隔操作ロボットのモニタリン
グのため、マニピュレ一夕から離れた天井や床などにカ
メラを設置した場合に、モニタリングされるべき作業対
象物やロボットのハンドが、環境中の障害物やロボット
自身によってカメラから隠されるという問題がある。こ
れを避けるために、複数台のカメラを用意する解決策も
あるが、一般の生活環境で多くのカメラを配置するのは
困難である。
グのため、マニピュレ一夕から離れた天井や床などにカ
メラを設置した場合に、モニタリングされるべき作業対
象物やロボットのハンドが、環境中の障害物やロボット
自身によってカメラから隠されるという問題がある。こ
れを避けるために、複数台のカメラを用意する解決策も
あるが、一般の生活環境で多くのカメラを配置するのは
困難である。
【０００４】又、モニタリングカメラとして、マニピュ
レータの手先にカメラを取りつけることも知られてい
る。この場合は、カメラにはハンドと対象物の位置関係
をオペレータが直感的に理解しやすいという利点があ
る。マニピュレ一夕による把持動作の前にハンドカメラ
の画像内に把持対象物がハンドと正対して一定の大きさ
と座標で出現することが期待できるからである。例え
ば、宇宙用遠隔換作ロボットなどでメインのモニタリン
グカメラと共に補助的にカメラが用いられている。
レータの手先にカメラを取りつけることも知られてい
る。この場合は、カメラにはハンドと対象物の位置関係
をオペレータが直感的に理解しやすいという利点があ
る。マニピュレ一夕による把持動作の前にハンドカメラ
の画像内に把持対象物がハンドと正対して一定の大きさ
と座標で出現することが期待できるからである。例え
ば、宇宙用遠隔換作ロボットなどでメインのモニタリン
グカメラと共に補助的にカメラが用いられている。
【０００５】
【発明が解決しようとする課題】しかしながら、ロボッ
ト自身や把持対象物以外の物体によりカメラの画像が隠
され見えなくなるという問題はないが、カメラの視野を
マニピュレ一夕の動作と独立に制御できないので、マニ
ピュレータが把持のために物体に接近している時などに
は、カメラの視野は非常に小さくなり、作業環境全体に
おけるハンドの位置などの全体的、大極的な情報が解り
にくくなる。そのため、カメラだけではオペレータがマ
ニピュレ一夕を操作するとき不安を感じるおそれがあ
る。
ト自身や把持対象物以外の物体によりカメラの画像が隠
され見えなくなるという問題はないが、カメラの視野を
マニピュレ一夕の動作と独立に制御できないので、マニ
ピュレータが把持のために物体に接近している時などに
は、カメラの視野は非常に小さくなり、作業環境全体に
おけるハンドの位置などの全体的、大極的な情報が解り
にくくなる。そのため、カメラだけではオペレータがマ
ニピュレ一夕を操作するとき不安を感じるおそれがあ
る。
【０００６】そして、カメラで最初に全体画像を撮影し
てこれをコンソールに表示し、別に把持動作を始める位
置まで近づいた際に撮影したカメラの画像を並べて表示
すればハンドの環境中の全体的な位置とハンドと把持対
象物との相対位置の両方を示すことはできるが、同時に
注目すべき画面が複数あるのはオペレータにとって負担
になりかねない。
てこれをコンソールに表示し、別に把持動作を始める位
置まで近づいた際に撮影したカメラの画像を並べて表示
すればハンドの環境中の全体的な位置とハンドと把持対
象物との相対位置の両方を示すことはできるが、同時に
注目すべき画面が複数あるのはオペレータにとって負担
になりかねない。
【０００７】本発明は、従来のこのような問題を解決す
ることを目的とするものであり、画像全体と一部分の両
方が確認できるように、カメラが対象物に接近して視野
が狭い場合でも、ハンドが環境全体の中で今どこにいる
か操作者は容易に推測することができるようにすること
を課題とする。
ることを目的とするものであり、画像全体と一部分の両
方が確認できるように、カメラが対象物に接近して視野
が狭い場合でも、ハンドが環境全体の中で今どこにいる
か操作者は容易に推測することができるようにすること
を課題とする。
【０００８】具体的には、最初にハンドの初期位置でカ
メラが全景を撮影してその画像データを記録しておき、
その上にハンドが把持対象物に接近しているときの画像
を、対応する位置と大きさで嵌め込んだ画像を操作者に
提示する装置を実現しようとするものである。
メラが全景を撮影してその画像データを記録しておき、
その上にハンドが把持対象物に接近しているときの画像
を、対応する位置と大きさで嵌め込んだ画像を操作者に
提示する装置を実現しようとするものである。
【０００９】
【課題を解決するための手段】本発明は上記課題を解決
するために、マニピュレータ、該マニピュレータの手先
に取りつけられたカメラ、及び上記マニピュレータを制
御し撮像データの処理を行うコンピュータを備えた遠隔
操作の監視装置であって、上記カメラは、その第１の位
置で撮影して撮影対象全体領域に係る撮像データを得
て、その第２の位置で撮影して撮影対象全体領域内の撮
影対象一部領域に係る撮像データを得て、上記コンピュ
ータは、上記撮影対象全体領域に係る撮像データを入力
してメモリ内に全体画像として記憶するとともに、撮影
対象一部領域に係る撮像データを入力して部分画像を得
て、上記全体画像内に上記部分画像をその対応する位置
に嵌め込んで合成できることを特徴とする遠隔操作の監
視装置を提供する。
するために、マニピュレータ、該マニピュレータの手先
に取りつけられたカメラ、及び上記マニピュレータを制
御し撮像データの処理を行うコンピュータを備えた遠隔
操作の監視装置であって、上記カメラは、その第１の位
置で撮影して撮影対象全体領域に係る撮像データを得
て、その第２の位置で撮影して撮影対象全体領域内の撮
影対象一部領域に係る撮像データを得て、上記コンピュ
ータは、上記撮影対象全体領域に係る撮像データを入力
してメモリ内に全体画像として記憶するとともに、撮影
対象一部領域に係る撮像データを入力して部分画像を得
て、上記全体画像内に上記部分画像をその対応する位置
に嵌め込んで合成できることを特徴とする遠隔操作の監
視装置を提供する。
【００１０】上記第２の位置は、上記第１の位置より撮
影対象一部領域に近接した位置であることを特徴とす
る。
影対象一部領域に近接した位置であることを特徴とす
る。
【００１１】上記部分画像は、スケール変更されて上記
全体画像内に嵌め込んで合成できることを特徴とする。
全体画像内に嵌め込んで合成できることを特徴とする。
【００１２】
【発明の実施の形態】本発明に係る実施の形態を実施例
に基づいて図面を参照して以下説明する。 （構成）図１〜３は、本発明の実施例を説明する図であ
る。本発明は、図１（ａ）、（ｂ）に示すハンド１を装
備したマニピュレータ２、マニピュレータ２の手先に取
りつけたカメラ３、及びマニピュレータ２を制御し、撮
像データの処理を行う図３に示すコンピュータ４を備え
ている。
に基づいて図面を参照して以下説明する。 （構成）図１〜３は、本発明の実施例を説明する図であ
る。本発明は、図１（ａ）、（ｂ）に示すハンド１を装
備したマニピュレータ２、マニピュレータ２の手先に取
りつけたカメラ３、及びマニピュレータ２を制御し、撮
像データの処理を行う図３に示すコンピュータ４を備え
ている。
【００１３】マニピュレータ２及びハンド１は、そのｘ
ｙ方向の位置が、図２に示すコンピュータ４で制御さ
れ、その座標位置はコンピュータ４に常時入力されてお
り、コンピュータ４におけるマニピュレータ２及びハン
ド１の位置座標の出力に基づいて、表示装置５にマニピ
ュレータ２、ハンド１及びカメラ３の位置が表示され
る。
ｙ方向の位置が、図２に示すコンピュータ４で制御さ
れ、その座標位置はコンピュータ４に常時入力されてお
り、コンピュータ４におけるマニピュレータ２及びハン
ド１の位置座標の出力に基づいて、表示装置５にマニピ
ュレータ２、ハンド１及びカメラ３の位置が表示され
る。
【００１４】従って、オペレータは、コンピュータ４の
マウスやキーを操作（ドローや位置をクリックする。）
することにより、画像上でマニピュレータ２、ハンド１
及びカメラ３を移動操作するとともに、実際のマニピュ
レータ２、ハンド１及びカメラ３を移動することができ
る。マニピュレータ２及びハンド１の機構は周知の技術
を利用すればよいので特に説明は省略する。
マウスやキーを操作（ドローや位置をクリックする。）
することにより、画像上でマニピュレータ２、ハンド１
及びカメラ３を移動操作するとともに、実際のマニピュ
レータ２、ハンド１及びカメラ３を移動することができ
る。マニピュレータ２及びハンド１の機構は周知の技術
を利用すればよいので特に説明は省略する。
【００１５】カメラ３は、ハンド１の手首部分に装着さ
れており、CCDカメラ等が使用され、オペレータが、マ
ウス、キー等の入力装置６を利用してコンピュータ４を
操作することにより、コンピュータ４からの制御出力に
基づいてカメラ３の撮影動作等が制御される。カメラ３
が撮影した撮像データは、コンピュータ４の画像キャプ
チャーボード７に入力されてデータ変換後、コンピュー
タ４のメモリ８に記憶される。記憶された画像データは
コンピュータ４から表示装置５に送られてその表示可能
である。
れており、CCDカメラ等が使用され、オペレータが、マ
ウス、キー等の入力装置６を利用してコンピュータ４を
操作することにより、コンピュータ４からの制御出力に
基づいてカメラ３の撮影動作等が制御される。カメラ３
が撮影した撮像データは、コンピュータ４の画像キャプ
チャーボード７に入力されてデータ変換後、コンピュー
タ４のメモリ８に記憶される。記憶された画像データは
コンピュータ４から表示装置５に送られてその表示可能
である。
【００１６】本発明では、後述するように、撮影対象全
体領域９（作業環境全体の領域）をカメラ３で撮影し、
この撮影で得られた撮影対象全体領域９に係る全体画像
を静止画像としてメモリ８に記憶する。その後、カメラ
３を撮影対象全体領域９内の一部の撮影対象一部領域１
０まで移動し、この撮影対象一部領域１０で撮影して、
リアルタイムの部分画像を得る。
体領域９（作業環境全体の領域）をカメラ３で撮影し、
この撮影で得られた撮影対象全体領域９に係る全体画像
を静止画像としてメモリ８に記憶する。その後、カメラ
３を撮影対象全体領域９内の一部の撮影対象一部領域１
０まで移動し、この撮影対象一部領域１０で撮影して、
リアルタイムの部分画像を得る。
【００１７】そして、この一部の撮影対象一部領域１０
に係るリアルタイムの部分画像を、撮影対象全体領域９
に係る全体画像中の対応する位置に嵌め込んで合成し、
全体におけるカメラ３の現在の撮影対象一部領域１０を
表示することができるような構成にしている。
に係るリアルタイムの部分画像を、撮影対象全体領域９
に係る全体画像中の対応する位置に嵌め込んで合成し、
全体におけるカメラ３の現在の撮影対象一部領域１０を
表示することができるような構成にしている。
【００１８】（作用）以上の構成から成る本発明の作用
について以下説明する。オペレータは、まず、入力装置
６でコンピュータ４を操作して、図１（ａ）、図２に示
す撮影対象全体領域９が画角に収まる位置Ｐ１にカメラ
３を移動し、そこで撮影対象全体領域９を撮影し、撮影
対象全体領域９の撮像データを取得する。この撮像デー
タをコンピュータ４に入力し、画像キャプチャボード７
で所定の画像データ（bmp、jpeg等のデータ）に変換して
全体画像（静止画像）としてメモリ８内に保存する。
について以下説明する。オペレータは、まず、入力装置
６でコンピュータ４を操作して、図１（ａ）、図２に示
す撮影対象全体領域９が画角に収まる位置Ｐ１にカメラ
３を移動し、そこで撮影対象全体領域９を撮影し、撮影
対象全体領域９の撮像データを取得する。この撮像デー
タをコンピュータ４に入力し、画像キャプチャボード７
で所定の画像データ（bmp、jpeg等のデータ）に変換して
全体画像（静止画像）としてメモリ８内に保存する。
【００１９】次に、オペレータは、コンピュータ４を操
作して、マニピュレータ２を操作して、図１（ｂ）、図
２において、ハンド１及びカメラ３を撮影対象全体領域
９内に存在する把持対象物１１に接近した近接位置Ｐ２
まで移動する。この近接位置Ｐ２でカメラ３により把持
対象物１１を含む撮影対象一部領域１０をリアルタイム
で撮影し、その撮像データをコンピュータ４に入力す
る。
作して、マニピュレータ２を操作して、図１（ｂ）、図
２において、ハンド１及びカメラ３を撮影対象全体領域
９内に存在する把持対象物１１に接近した近接位置Ｐ２
まで移動する。この近接位置Ｐ２でカメラ３により把持
対象物１１を含む撮影対象一部領域１０をリアルタイム
で撮影し、その撮像データをコンピュータ４に入力す
る。
【００２０】この撮像データは、近接位置Ｐ２における
撮影された状態の大きさのリアルタイムの画像（拡大画
像）として表示装置５で観察可能である。さらに、この
撮像データを画像キャプチャボード７で所定の画像デー
タ（bmp、jpeg等）のデータ）に変換し、ＣＰＵ１２でメ
モリ８内に保存しておいた撮影対象全体領域９に係る全
体画像（静止画像）と同じスケールに変形され、撮影対
象全体領域９における撮影対象一部領域１０に係るリア
ルタイムの部分画像（静止画又は動画のいずれでもよ
い。）として表示装置５で観察可能である。
撮影された状態の大きさのリアルタイムの画像（拡大画
像）として表示装置５で観察可能である。さらに、この
撮像データを画像キャプチャボード７で所定の画像デー
タ（bmp、jpeg等）のデータ）に変換し、ＣＰＵ１２でメ
モリ８内に保存しておいた撮影対象全体領域９に係る全
体画像（静止画像）と同じスケールに変形され、撮影対
象全体領域９における撮影対象一部領域１０に係るリア
ルタイムの部分画像（静止画又は動画のいずれでもよ
い。）として表示装置５で観察可能である。
【００２１】このスケールの変形は、カメラ３の座標位
置は常時入力されており、全体画像を撮影したカメラ３
の位置Ｐ１と撮影対象一部領域１０を撮影した近接位置
Ｐ２の夫々の座標位置に基づいて簡単に縮小率又は拡大
率がコンピュータ４で算出され、その縮小率又は拡大率
に基づいて可能である。
置は常時入力されており、全体画像を撮影したカメラ３
の位置Ｐ１と撮影対象一部領域１０を撮影した近接位置
Ｐ２の夫々の座標位置に基づいて簡単に縮小率又は拡大
率がコンピュータ４で算出され、その縮小率又は拡大率
に基づいて可能である。
【００２２】このように全体画像と同じスケールに変換
された部分画像は、この全体画像において対応する位置
と対応する大きさ（全体画像と同じスケールの大きさ）
で嵌め込まれて合成される。このスケールの変更された
部分画像は、表示装置５の表示画面中で小さな枠（子ウ
ィンドウ）内に表示される。
された部分画像は、この全体画像において対応する位置
と対応する大きさ（全体画像と同じスケールの大きさ）
で嵌め込まれて合成される。このスケールの変更された
部分画像は、表示装置５の表示画面中で小さな枠（子ウ
ィンドウ）内に表示される。
【００２３】ハンド１の移動が平行移動であれば、部分
画像は、全体画像に対してスケールの変更と平行移動と
いう変形だけでよい。ハンド１の移動に、回転が加わっ
た場合は、以上の画像の変形に３次元の回転が加えられ
た状態の画像を用いる。
画像は、全体画像に対してスケールの変更と平行移動と
いう変形だけでよい。ハンド１の移動に、回転が加わっ
た場合は、以上の画像の変形に３次元の回転が加えられ
た状態の画像を用いる。
【００２４】（実験例）本発明者は、本発明について具
体的な実験装置を作成し、これにより実験を行ったので
以下、この実験例を実際の撮影画像である図４〜６とと
もに説明する。全景を撮影するときのカメラの姿勢と把
持対象物１１に接近したときの姿勢は平行とし、撮影対
象の把持対象物１１がカメラの視線に対して垂直な平面
上に並んでいると仮定しているので、全景画像中に描画
する子ウィンドウの画像は平行移動と対象物に接近した
分のスケールの変更を行うだけでよい。
体的な実験装置を作成し、これにより実験を行ったので
以下、この実験例を実際の撮影画像である図４〜６とと
もに説明する。全景を撮影するときのカメラの姿勢と把
持対象物１１に接近したときの姿勢は平行とし、撮影対
象の把持対象物１１がカメラの視線に対して垂直な平面
上に並んでいると仮定しているので、全景画像中に描画
する子ウィンドウの画像は平行移動と対象物に接近した
分のスケールの変更を行うだけでよい。
【００２５】カメラ３の画像を用いて、棚に並べた瓶の
把持作業（pick作業）を行う実験システムを構築した。
操作するロボットとして、マニピュレータ２（PAlO：商
品名）とバレットハンド（Barett Hand：商品名）を用
いた。ハンドの手首部分に小型カラーCCDカメラ３をハ
ンド１の把持動作時に上部になる位置に取りつけ、その
映像出力を画像処理ソフト（Debian Linux：商品名）を
インストールしたパソコンの画像キャプチャボードに入
力した。画像キヤプチヤボードは、Bt878ビデオキャプ
チャチップ（商品名）を搭載したものである。
把持作業（pick作業）を行う実験システムを構築した。
操作するロボットとして、マニピュレータ２（PAlO：商
品名）とバレットハンド（Barett Hand：商品名）を用
いた。ハンドの手首部分に小型カラーCCDカメラ３をハ
ンド１の把持動作時に上部になる位置に取りつけ、その
映像出力を画像処理ソフト（Debian Linux：商品名）を
インストールしたパソコンの画像キャプチャボードに入
力した。画像キヤプチヤボードは、Bt878ビデオキャプ
チャチップ（商品名）を搭載したものである。
【００２６】この画像を画像処理ソフト（Video4Linu
x：商品名）の関数を用いて所定の画像データの一種で
あるppmデータとしてキャプチャし、そのデータを画像
処理ソフト（euslisp：商品名）のＸライブラリ関数を
用いて、パソコンのコンソールに表示した。
x：商品名）の関数を用いて所定の画像データの一種で
あるppmデータとしてキャプチャし、そのデータを画像
処理ソフト（euslisp：商品名）のＸライブラリ関数を
用いて、パソコンのコンソールに表示した。
【００２７】オペレータは、全体画像中でマウスをクリ
ックすることで、クリックした画像上の位置へ実際のハ
ンド１を平行移動させることができる。ハンド１の移動
に応じて子ウィンドウも移動し、子ウィンドウの画像と
周囲の全体画像を沈べて、オペレータは自分の指令の結
果を確認できる。把持対象物が正しい位置に来たのを確
認した後、子ウィンドウ内でマウスをクリックし、把持
の指令を行う。
ックすることで、クリックした画像上の位置へ実際のハ
ンド１を平行移動させることができる。ハンド１の移動
に応じて子ウィンドウも移動し、子ウィンドウの画像と
周囲の全体画像を沈べて、オペレータは自分の指令の結
果を確認できる。把持対象物が正しい位置に来たのを確
認した後、子ウィンドウ内でマウスをクリックし、把持
の指令を行う。
【００２８】図４〜６は、この実験例の実験状態を示す
図である。図４はハンドの初期位置でのカメラから見た
作業環境の全体画像である。図５は把持のために近づい
た場面でのカメラの画像である。カメラはハンドの上部
に取りつけられており、対象物の把持点（キャップ付き
瓶の胴部分）はカメラの画像の中心よりも下の位置にな
り図５には写っていないため、全体画像と接近画像を同
時に見せられても把持がうまく行くかどうか解りにく
い。
図である。図４はハンドの初期位置でのカメラから見た
作業環境の全体画像である。図５は把持のために近づい
た場面でのカメラの画像である。カメラはハンドの上部
に取りつけられており、対象物の把持点（キャップ付き
瓶の胴部分）はカメラの画像の中心よりも下の位置にな
り図５には写っていないため、全体画像と接近画像を同
時に見せられても把持がうまく行くかどうか解りにく
い。
【００２９】図６は、全体画像と接近画像の合成画像で
ある。現在のハンドの位置における接近画像が全体画像
の中で占める位置が表示されているので対象物の被把持
部分が明らかになっており、把持が可能であることが容
易に解る。
ある。現在のハンドの位置における接近画像が全体画像
の中で占める位置が表示されているので対象物の被把持
部分が明らかになっており、把持が可能であることが容
易に解る。
【００３０】また、このシステムでは一旦把持対象物を
指定してハンドが移動した後で、子ウィンドウ中のカメ
ラ３画像には写っていない別の対象物を指定し直すこと
ができる。単純なカメラ３の画像だけでは、一度移動し
た後に、画像の中に写っていない場所へ移動することは
簡単ではない。
指定してハンドが移動した後で、子ウィンドウ中のカメ
ラ３画像には写っていない別の対象物を指定し直すこと
ができる。単純なカメラ３の画像だけでは、一度移動し
た後に、画像の中に写っていない場所へ移動することは
簡単ではない。
【００３１】以上、本発明の実施の形態を実施例に基づ
いて説明したが、本発明はこのような実施例に限定され
ることはなく、上記特許請求の範囲の技術的事項の範囲
でいろいろな実施例があることは言うまでもない
いて説明したが、本発明はこのような実施例に限定され
ることはなく、上記特許請求の範囲の技術的事項の範囲
でいろいろな実施例があることは言うまでもない
【００３２】
【発明の効果】本発明は以上のような構成であるから、
次のような効果が生じる。 （１）遠隔換作ロボットのハンドの手先に取りつけたカ
メラを用い、最初に記録しておいた作業環境の全体画像
上にハンドが把持対象物に接近した時の画像を対応する
位置と大きさで貼り付けてオペレータに提示することが
できるから、作業環境とマニピュレータの全体的な位置
関係と、ハンドと把持対象物との局所的な位置関係の両
方をカメラだけでオペレータに提示することができる。
次のような効果が生じる。 （１）遠隔換作ロボットのハンドの手先に取りつけたカ
メラを用い、最初に記録しておいた作業環境の全体画像
上にハンドが把持対象物に接近した時の画像を対応する
位置と大きさで貼り付けてオペレータに提示することが
できるから、作業環境とマニピュレータの全体的な位置
関係と、ハンドと把持対象物との局所的な位置関係の両
方をカメラだけでオペレータに提示することができる。
【００３３】（２）監視のために複数のカメラが必要で
あった遠隔操作ロボットにおいて、手先カメラ１台のみ
を用いて作業に十分なインタフェースを構成できる。ま
た、現在カメラに写っていない対象物や座標を目標とし
て指示を与えることが簡単にできる。
あった遠隔操作ロボットにおいて、手先カメラ１台のみ
を用いて作業に十分なインタフェースを構成できる。ま
た、現在カメラに写っていない対象物や座標を目標とし
て指示を与えることが簡単にできる。
【図１】図１は本発明に係る遠隔操作の監視装置の実施
例を示す図である。
例を示す図である。
【図２】この実施例の全体の動作を行うためのブロック
図である。
図である。
【図３】この実施例の作用を説明するための図である。
【図４】本発明に係る遠隔操作の監視装置の実験例の実
験状態を示す図である。
験状態を示す図である。
【図５】本発明に係る遠隔操作の監視装置の実験例の実
験状態を示す図である。
験状態を示す図である。
【図６】本発明に係る遠隔操作の監視装置の実験例の実
験状態を示す図である。
験状態を示す図である。
１ ハンド
２ マニピュレータ
３ カメラ
４ コンピュータ
５ 表示装置
６ 入力装置
７ 画像キャプチャボード
８ メモリ
９ 撮像対象全体領域
１０ 撮像対象一部領域
１２ ＣＰＵ
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 3C007 BS09 JU12 KS01 KS10 KT00
KT01 KT16 KT18 MT01
Claims (4)
- 【請求項１】 マニピュレータ、該マニピュレータの
手先に取りつけられたカメラ、及び上記マニピュレータ
を制御し撮像データの処理を行うコンピュータを備えた
遠隔操作の監視装置であって、 上記カメラは、その第１の位置で撮影して撮影対象全体
領域に係る撮像データを得て、その第２の位置で撮影し
て撮影対象全体領域内の撮影対象一部領域に係る撮像デ
ータを得て、 上記コンピュータは、上記撮影対象全体領域に係る撮像
データを入力してメモリ内に全体画像として記憶すると
ともに、撮影対象一部領域に係る撮像データを入力して
部分画像を得て、上記全体画像内に上記部分画像をその
対応する位置に嵌め込んで合成できることを特徴とする
遠隔操作の監視装置。 - 【請求項２】 上記第１の位置は、上記第２の位置よ
り撮影対象一部領域に近接した位置であることを特徴と
する請求項１記載の遠隔操作の監視装置。 - 【請求項３】 上記部分画像は、スケール変更されて
上記全体画像内に嵌め込んで合成できることを特徴とす
る請求項１又は２記載の遠隔操作の監視装置。 - 【請求項４】 上記部分画像は、上記合成された画像
とは別に単独の画像として上記コンピュータの表示装置
に表示されることを特徴とする請求項１又は２記載の遠
隔操作の監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001269476A JP2003080488A (ja) | 2001-09-05 | 2001-09-05 | 遠隔操作の監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001269476A JP2003080488A (ja) | 2001-09-05 | 2001-09-05 | 遠隔操作の監視装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003080488A true JP2003080488A (ja) | 2003-03-18 |
Family
ID=19095288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001269476A Pending JP2003080488A (ja) | 2001-09-05 | 2001-09-05 | 遠隔操作の監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003080488A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007094420A1 (ja) * | 2006-02-17 | 2007-08-23 | Toyota Jidosha Kabushiki Kaisha | 移動型ロボット |
| JP2010131751A (ja) * | 2010-03-15 | 2010-06-17 | Toyota Motor Corp | 移動型ロボット |
-
2001
- 2001-09-05 JP JP2001269476A patent/JP2003080488A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007094420A1 (ja) * | 2006-02-17 | 2007-08-23 | Toyota Jidosha Kabushiki Kaisha | 移動型ロボット |
| JP2007216350A (ja) * | 2006-02-17 | 2007-08-30 | Toyota Motor Corp | 移動型ロボット |
| JP4506685B2 (ja) * | 2006-02-17 | 2010-07-21 | トヨタ自動車株式会社 | 移動型ロボット |
| CN101384402B (zh) * | 2006-02-17 | 2010-11-03 | 丰田自动车株式会社 | 可移动机器人 |
| KR101049266B1 (ko) * | 2006-02-17 | 2011-07-13 | 도요타 지도샤（주） | 이동형 로봇 |
| US8010232B2 (en) | 2006-02-17 | 2011-08-30 | Toyota Jidosha Kabushiki Kaisha | Movable robot |
| US8234011B2 (en) | 2006-02-17 | 2012-07-31 | Toyota Jidosha Kabushiki Kaisha | Movable robot |
| JP2010131751A (ja) * | 2010-03-15 | 2010-06-17 | Toyota Motor Corp | 移動型ロボット |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6361213B2 (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
| JP3419050B2 (ja) | 入力装置 | |
| CN110888428B (zh) | 移动机器人、远程终端、计算机可读介质、控制系统、控制方法 | |
| KR20110055062A (ko) | 로봇 시스템 및 그 제어 방법 | |
| CN102395931A (zh) | 具有软件模块、投影仪和激光指示器的远地视在机器人系统 | |
| JP4386367B2 (ja) | コミュニケーションロボット改良システム | |
| JP5515654B2 (ja) | ロボットシステム | |
| US11685052B2 (en) | Vision guided robot arm and method for operating the same | |
| JP2015043488A (ja) | 遠隔操作装置及びそれを用いた遠隔施工方法 | |
| CN106468917A (zh) | 一种可触摸现场实时视频图像的远程呈现交互方法和系统 | |
| JP2018144228A (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
| JP6866467B2 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
| JP2006026790A (ja) | 教示モデル生成装置 | |
| JPH1080886A (ja) | 視覚制御ロボット | |
| US20220392084A1 (en) | Scene perception systems and methods | |
| JP2001062766A (ja) | ２足歩行ロボットの遠隔制御用ユーザインターフェイスシステム | |
| JPS6257884A (ja) | マニピユレ−タ装置 | |
| US20130271371A1 (en) | Accurate extended pointing apparatus and method thereof | |
| JP2003080488A (ja) | 遠隔操作の監視装置 | |
| JP7155613B2 (ja) | 情報処理装置及びプログラム | |
| JP2004291186A (ja) | ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 | |
| JP2013218423A (ja) | 指向性映像コントロール装置及びその方法 | |
| JP6005496B2 (ja) | 遠隔監視装置および遠隔監視方法 | |
| Chandan et al. | Guided 360-degree visual perception for mobile telepresence robots | |
| WO2019106862A1 (ja) | 操作案内システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051206 |