JP2011101915A - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP2011101915A JP2011101915A JP2009257142A JP2009257142A JP2011101915A JP 2011101915 A JP2011101915 A JP 2011101915A JP 2009257142 A JP2009257142 A JP 2009257142A JP 2009257142 A JP2009257142 A JP 2009257142A JP 2011101915 A JP2011101915 A JP 2011101915A
- Authority
- JP
- Japan
- Prior art keywords
- arm
- camera
- hand
- robot
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】物品を把持するハンドと、ハンドを回転駆動させるアームと、ロボットの動作を制御するコントローラと、ハンドに内蔵され、アームにより回転されるハンドの回転軸に対して撮像方向がオフセットするように配設されたカメラと、カメラにより取得された画像情報を処理してコントローラに信号を送信する画像処理装置と、を有して構成する。
【選択図】図3
Description
請求項1に記載の発明は、物品を把持するハンドと、前記ハンドを回転駆動させるアームと、前記ロボットの動作を制御するコントローラと、前記ハンドに内蔵され、前記アームにより回転される前記ハンドの回転軸に対して撮像方向がオフセットするように配設されたカメラと、前記カメラにより取得された画像情報を処理して前記コントローラに信号を送信する画像処理装置と、を有していることを特徴とするものである。
請求項2に記載の発明は、前記カメラの前記オフセットする量を調整する調整機構を有していることを特徴とするものである。
請求項3に記載の発明は、前記画像処理装置により処理された画像情報を表示するとともに、入力手段を有する表示装置と、を有し、前記表示装置は、前記画像処理手段が前記カメラにより取得された前記画像情報に把持対象物を抽出する処理を実行し、抽出された前記画像情報中の対象物候補の領域を表示させ、記表示装置の画面上での前記領域の選択にかかる入力に基づいて、前記コントローラが前記ロボットを制御することを特徴とするものである。
請求項4に記載の発明は、前記表示装置は、前記カメラにより撮像する領域を指定するためのキーを備え、その移動方向は前記アームのツール座標系に対応し、前記表示装置は、操作者が押下したキーの方向に基づいて、前記アームを動作させて前記カメラの視野を変更させることを特徴とするものである。
また、カメラ取り付け位置について、アームのハンドを回転させる軸からのオフセット量を調整できるため、アプリケーションに応じて最適なカメラ視野変化を得ることができる。
図1は、本発明のロボットシステムの構成を示す概略図である。本実施形態は、環境にある物品を把持して搬送するサービスロボットに本発明を適用した例について説明する。なお、本発明はサービスロボットに限定されるものではない。
図1にしめすように本実施形態は、ロボット10,ハンドアイユニット(画像処理装置)16,タッチパネルユニット(表示装置)17,システム制御アプリケーション(コントローラ)18を有している。
ロボット10は左右それぞれに図示省略の複数のアクチュエータを内蔵したアーム11を有しており、各アーム11にはそれぞれハンド12が取り付けられている。また、ロボット10は車輪を駆動させて自律移動する移動台車14(移動手段)を有しているから構成される。なお、移動台車14は、脚式の移動手段であっても良い。なお、ロボット10には、各部の駆動を制御するコントローラユニット(コントローラ)10Aが内蔵されている。
ハンドアイユニット16はカメラで撮像された画像情報の解析や対象物抽出などを行う。
タッチパネルユニット17は、ハンドアイユニット16から出力された画像情報をタッチパネルに表示するとともに入力手段としての機能を有し、操作者からの画面入力情報をシステム制御アプリケーション18、およびサービスロボット10に中継装置19を介して出力するようになっている。
なお、コントローラユニット10A、システム制御アプリケーション18、および、ハンドアイユニット16は同一のコンピュータであっても良く、また、サービスロボット10に内蔵させることも可能である。
図2(a)は、ハンドアイ13のカメラ中心をT軸に重なるように取り付けた様子を表している。図2(b)は、ハンドアイ視野26を変えるためにアーム11を動作させた結果、アーム11が環境物25と接触した様子を示している。
図6は、本発明の方法を実施するタッチパネルユニット17の画面構成を示す図である。図において符号40はタッチパネルであり、矢印方向移動キー41で上下左右方向への表示エリアの移動を、ズームキー42で前後方向への表示エリアの移動を、回転キー44で表示エリアの回転を行う。符号43はハンドアイユニット16が認識し抽出した対象物を示す対象物候補フレームである。
ステップ1:ハンドアイ13は、カメラで撮影したライブ画像をハンドアイユニット16へ送信する。
ステップ2:ハンドアイユニット16は、受信した画像情報から対象物抽出処理を実行する。
ステップ4:タッチパネルユニット17では、受信した画像をタッチパネル40上に表示し操作者の入力を待機する。図6は、ハンドアイ13の撮影範囲内に3つの対象物が抽出された例である。左から缶、人形、箱の順に抽出され、それぞれを囲い込む対象物候補フレーム43が表示されている。
また、ステップ1からステップ4までの処理は定周期で処理されているため、ステップ6でハンドアイ視野26を変更しても、操作者はハンドアイユニット16の処理結果を特別な操作なしで確認することがきる。
ステップ6:操作者は、タッチパネル40上で矢印方向移動キー41、ズームキー42、回転キー44に触れ、希望する把持対象物が対象物候補フレーム43付きでタッチパネル内に表示されるようハンドアイ視野26を操作する。
ステップ7:操作者は、タッチパネル40上で対象物候補フレーム43内部に触れ、把持する物品を指定する。
ステップ9:ハンドアイユニット16は、受信した対象物指定情報に基づき、対象物の位置および姿勢の算出処理を実行する。算出の方法としては例えば、複数の方向から対象物を撮影して算出するステレオ視を用いた方法などがある。算出後、ハンドアイユニット16は対象物の位置および姿勢情報を、システム制御アプリケーション18に送信する。
ステップ10:システム制御アプリケーション18は、受信した対象物の位置、姿勢情報から対象物位置への移動、および把持を行うモーション指令をサービスロボット10に送信する。
なお、前述のステレオ視を用いた算出方法を使用する場合、撮影位置が2箇所以上必要なため、アーム11の移動が必要となる。その場合は、システム制御アプリケーション18上であらかじめアームの移動を実行するようにプログラムを記述しておけばよい。
図9と図10を用いて、T軸を利用したアーム11の姿勢変化により、ハンドアイ視野26の方向を変えて、把持対象物を撮像領域内に調整する方法を説明する。図9は、撮像領域内に缶、人形、箱の計3つの対象物が写った状態を示しているが、箱に関してはその一部が撮像領域外であり、対象物抽出処理による切り出しに失敗し、対象物候補フレーム43が表示されていない。
11 アーム
12 ハンド
13 ハンドアイ(カメラ)
14 移動台車
16 ハンドアイユニット
17 タッチパネルユニット
18 システム制御アプリケーション
19 中継装置
20 モジュール管理部
21 アーム制御モジュール
22 グリッパ制御モジュール
23 移動台車制御モジュール
24 通信部
25 環境物
26 ハンドアイ視野
27 T軸
28 オフセット距離
29 オフセット角度
40 タッチパネル
41 矢印方向移動キー
42 ズームキー
43 対象物候補フレーム
44 回転キー
Claims (4)
- 物品を把持するハンドと、
前記ハンドを回転駆動させるアームと、
前記ロボットの動作を制御するコントローラと、
前記ハンドに内蔵され、前記アームにより回転される前記ハンドの回転軸に対して撮像方向がオフセットするように配設されたカメラと、
前記カメラにより取得された画像情報を処理して前記コントローラに信号を送信する画像処理装置と、を有している
ことを特徴とする、ロボットシステム。 - 前記カメラの前記オフセットする量を調整する調整機構を有している
ことを特徴とする、請求項1記載のロボットシステム。 - 前記画像処理装置により処理された画像情報を表示するとともに、入力手段を有する表示装置と、を有し、
前記表示装置は、前記画像処理手段が前記カメラにより取得された前記画像情報に把持対象物を抽出する処理を実行し、抽出された前記画像情報中の対象物候補の領域を表示させ、
記表示装置の画面上での前記領域の選択にかかる入力に基づいて、前記コントローラが前記ロボットを制御する
ことを特徴とする、請求項1又は2記載のロボットシステム。 - 前記表示装置は、
前記カメラにより撮像する領域を指定するためのキーを備え、その移動方向は前記アームのツール座標系に対応し、前記表示装置は、操作者が押下したキーの方向に基づいて、前記アームを動作させて前記カメラの視野を変更させる
ことを特徴とする、請求項3記載のロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009257142A JP5515654B2 (ja) | 2009-11-10 | 2009-11-10 | ロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009257142A JP5515654B2 (ja) | 2009-11-10 | 2009-11-10 | ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011101915A true JP2011101915A (ja) | 2011-05-26 |
JP5515654B2 JP5515654B2 (ja) | 2014-06-11 |
Family
ID=44192500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009257142A Expired - Fee Related JP5515654B2 (ja) | 2009-11-10 | 2009-11-10 | ロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5515654B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017170614A (ja) * | 2017-06-23 | 2017-09-28 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
JP2019012527A (ja) * | 2018-07-20 | 2019-01-24 | ソニー株式会社 | 移動体、制御方法、およびプログラム |
JP2020049653A (ja) * | 2018-07-20 | 2020-04-02 | ソニー株式会社 | 移動体、制御方法、およびプログラム |
CN111941392A (zh) * | 2019-05-14 | 2020-11-17 | 发那科株式会社 | 机器人操作装置、机器人及机器人操作方法 |
US10890884B2 (en) | 2011-08-02 | 2021-01-12 | Sony Corporation | Control device, control method, computer program product, and robot control system |
CN113093741A (zh) * | 2021-03-30 | 2021-07-09 | 上海图灵智造机器人有限公司 | 用于仓储搬运的复合机器人及局部动态障碍物规避方法 |
JP7401250B2 (ja) | 2019-10-09 | 2023-12-19 | キヤノン株式会社 | 画像処理装置、制御方法およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6850639B2 (ja) | 2017-03-09 | 2021-03-31 | 本田技研工業株式会社 | ロボット |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0241882A (ja) * | 1988-08-03 | 1990-02-13 | Mitsubishi Heavy Ind Ltd | マニピュレータ及びそのカメラ搭載機構及びその腕機構 |
JPH04313106A (ja) * | 1991-03-25 | 1992-11-05 | Mitsubishi Electric Corp | ロボットアーム相対姿勢補正方法 |
JPH0639382U (ja) * | 1992-11-06 | 1994-05-24 | 株式会社明電舎 | 画像処理における補正装置 |
JPH079373A (ja) * | 1993-06-30 | 1995-01-13 | Nippei Toyama Corp | 溶接ロボットおよびそのトラッキングセンサ |
-
2009
- 2009-11-10 JP JP2009257142A patent/JP5515654B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0241882A (ja) * | 1988-08-03 | 1990-02-13 | Mitsubishi Heavy Ind Ltd | マニピュレータ及びそのカメラ搭載機構及びその腕機構 |
JPH04313106A (ja) * | 1991-03-25 | 1992-11-05 | Mitsubishi Electric Corp | ロボットアーム相対姿勢補正方法 |
JPH0639382U (ja) * | 1992-11-06 | 1994-05-24 | 株式会社明電舎 | 画像処理における補正装置 |
JPH079373A (ja) * | 1993-06-30 | 1995-01-13 | Nippei Toyama Corp | 溶接ロボットおよびそのトラッキングセンサ |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10890884B2 (en) | 2011-08-02 | 2021-01-12 | Sony Corporation | Control device, control method, computer program product, and robot control system |
JP2017170614A (ja) * | 2017-06-23 | 2017-09-28 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
JP2019012527A (ja) * | 2018-07-20 | 2019-01-24 | ソニー株式会社 | 移動体、制御方法、およびプログラム |
JP2020049653A (ja) * | 2018-07-20 | 2020-04-02 | ソニー株式会社 | 移動体、制御方法、およびプログラム |
CN111941392A (zh) * | 2019-05-14 | 2020-11-17 | 发那科株式会社 | 机器人操作装置、机器人及机器人操作方法 |
JP2020185639A (ja) * | 2019-05-14 | 2020-11-19 | ファナック株式会社 | ロボット操作装置、ロボットおよびロボット操作方法 |
US11618166B2 (en) | 2019-05-14 | 2023-04-04 | Fanuc Corporation | Robot operating device, robot, and robot operating method |
JP7306871B2 (ja) | 2019-05-14 | 2023-07-11 | ファナック株式会社 | ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置 |
JP7401250B2 (ja) | 2019-10-09 | 2023-12-19 | キヤノン株式会社 | 画像処理装置、制御方法およびプログラム |
CN113093741A (zh) * | 2021-03-30 | 2021-07-09 | 上海图灵智造机器人有限公司 | 用于仓储搬运的复合机器人及局部动态障碍物规避方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5515654B2 (ja) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5515654B2 (ja) | ロボットシステム | |
US11197730B2 (en) | Manipulator system | |
JP6361213B2 (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
JP5246672B2 (ja) | ロボットシステム | |
WO2020090809A1 (ja) | 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 | |
CN111093903B (zh) | 机器人系统及其运行方法 | |
JP7052652B2 (ja) | 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム | |
JP2017104944A (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
US10807240B2 (en) | Robot control device for setting jog coordinate system | |
US10427298B2 (en) | Robot system displaying information for teaching robot | |
EP3835002B1 (en) | Remote control system and remote control method | |
CN114905487B (zh) | 示教装置、示教方法以及记录介质 | |
JP2018144228A (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
JP2020082282A (ja) | 把持ロボットおよび把持ロボットの制御プログラム | |
US11618166B2 (en) | Robot operating device, robot, and robot operating method | |
KR20020081510A (ko) | 로봇 청소 시스템 | |
JP2005205519A (ja) | ロボットハンド装置 | |
JPH07328971A (ja) | Tvカメラ付マニピュレータ | |
JP7230626B2 (ja) | ロボット装置 | |
US20240075623A1 (en) | Remote control system, remote control method, and control program | |
Lim et al. | Wrap-around View Equipped on Mobile Robot | |
CN116901108A (zh) | 远程操作系统、远程操作方法以及存储介质 | |
CN117245664A (zh) | 一种基于ar眼镜的工业机器人轨迹规划系统及方法 | |
CN116372954A (zh) | Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质 | |
JP2003080488A (ja) | 遠隔操作の監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5515654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |