JP2001071292A - 情報共有装置、その情報提示方法および記録媒体 - Google Patents

情報共有装置、その情報提示方法および記録媒体

Info

Publication number
JP2001071292A
JP2001071292A JP24847499A JP24847499A JP2001071292A JP 2001071292 A JP2001071292 A JP 2001071292A JP 24847499 A JP24847499 A JP 24847499A JP 24847499 A JP24847499 A JP 24847499A JP 2001071292 A JP2001071292 A JP 2001071292A
Authority
JP
Japan
Prior art keywords
worker
information sharing
robot
sharing device
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP24847499A
Other languages
English (en)
Other versions
JP3165824B2 (ja
Inventor
Masahito Wakita
優仁 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Agency of Industrial Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency of Industrial Science and Technology filed Critical Agency of Industrial Science and Technology
Priority to JP24847499A priority Critical patent/JP3165824B2/ja
Publication of JP2001071292A publication Critical patent/JP2001071292A/ja
Application granted granted Critical
Publication of JP3165824B2 publication Critical patent/JP3165824B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 (修正有) 【課題】 ロボットと人間が協同作業を行うときに、ロ
ボットが協同作業者をどのように認識しているかを協同
作業者に提示することによって協同作業者に作業の安心
感を与える。情報共有装置及びその情報提示方法及び記
録媒体を提供する。 【解決手段】 モニタ用カメラ9により共同作業者5の
身体の作業部分を撮影して、作業部分の位置をパーソナ
ルコンピュータ1により検出し、検出された位置を特定
のイメージパターンでもって作業部分上にビデオプロジ
ェクタ8から投影する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、マニピュレータの
ようなロボットと人間が協同作業を行う際に、ロボット
が協同作業者を監視し、監視状況を協同作業者に知らせ
る情報共有装置に関する。
【0002】
【従来の技術】従来、視覚などを用いたロボットの制御
においてはその視覚処理がどのように進行しているかを
確認するためには、作業環境と離れたコンピュータのコ
ンソールにロボットの視覚状態を表示させていた。
【0003】
【発明が解決しようとする課題】しかしながら、ロボッ
トと人間が協同作業を行う場合には、その人間(以下、
協同作業者と称す)は、協同作業中はコンピュータのコ
ンソールを見ることができないので、ロボットの挙動が
わかりにくく、ロボットに対して不安感を持つという問
題があった。
【0004】そこで、本発明の目的は、協同作業者に安
心感を与えることができる情報共有装置を提供すること
にある。
【0005】
【課題を解決するための手段】このような目的を達成す
るために、請求項1の発明は、ロボットを制御し、該ロ
ボットと協同作業者との間で作業を行わせる情報共有装
置において、作業環境における前記協同作業者の身体の
作業部分の位置を検出する位置検出手段と、当該検出さ
れた位置に,予め定めたイメージパターンを投影する投
影手段とを具えたことを特徴とする。
【0006】請求項2の発明は、ロボットを制御し、該
ロボットと協同作業者との間で作業を行わせる情報共有
装置の情報提示方法において、作業環境における前記協
同作業者の身体の作業部分の位置を検出し、当該検出さ
れた位置に,予め定めたイメージパターンを投影するこ
とを特徴とする。
【0007】請求項3の発明は、ロボットを制御し、該
ロボットと協同作業者との間で作業を行わせる情報共有
装置にインストールするプログラムを記録した記録媒体
において、該プログラムは、作業環境における前記協同
作業者の身体の作業部分の位置を検出する位置検出ステ
ップと、当該検出された位置に,予め定めたイメージパ
ターンを投影する投影ステップとを具えたことを特徴と
する。
【0008】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。
【0009】人と人が把持物体の手渡しを行う時、人は
お互いに相手の手と物体を目で見て、また、見られてい
ることを前提して作業を行っており、これによって、物
体の受け渡しをスムーズに行うことができると考えられ
る。このように協調作業において自分の振る舞いが相手
に見られていることを前提して作業を行うことは円滑な
協調作業の条件であると言える。
【0010】本願発明者は、この点に着目し、協同作業
者がロボットと同一環境で任意の作業を行う場合、ロボ
ットを制御する情報共有装置が、協同作業者を正しくモ
ニタリングしているという情報を協同作業者に提示する
ことができる情報共有装置を開発した。
【0011】情報共有装置のシステム構成を図1に示
す。図1において、情報共有装置はロボットとして使用
するマニピュレータ7、イメージを投影するビデオプロ
ジェクタ8、モニタリング用カメラ9、以上の機器を制
御するパーソナルコンピュータ1で構成される。パーソ
ナルコンピュータ1のビデオボード2からビデオプロジ
ェクタ8に投影用イメージが出力される。
【0012】パーソナルコンピュータ1の画像処理ボー
ド3に対して、モニタリング用カメラ9、たとえば、C
CDビデオカメラで撮影されたイメージが送られる。ま
た、マニピュレータ7に対して動作を指示する制御信号
は、パーソナルコンピュータ1のRS232CなどのI
/Oポートから出力される。
【0013】本実施形態では、机(作業環境)6の上で
協同作業者5がマニピュレータ7から作業対象物を受け
取る例を説明する。
【0014】コンピュータ内に、マニピュレータ7と作
業対象物の幾何モデル(特定の形状のレンダリングイメ
ージ)が構成されている。幾何モデルによるレンダリン
グイメージと、協同作業者の手をパーソナルコンピュー
タが認識していることを示す特定パターンのイメージ、
たとえば、白の矩形のイメージが天井に取り付けたビデ
オプロジェクタ8から机6および協同作業者の手に向か
って投影される。幾何モデルの大きさ、色のみかけおよ
び水平(X−Y)座標位置は実ロボット(マニピュレー
タ7の手渡し部分)と同じになるよう設定されている。
このようなシステム構成において、パーソナルコンピュ
ータ1はマニピュレータ7を内蔵の制御プログラムにし
たがって、制御し、協同作業者5に対して作業対象物の
手渡し作業を行う。作業環境に差し出された協同作業者
の手をモニタリング用カメラ9を介してパーソナルコン
ピュータ1が認識し、手の位置を検出する。検出した位
置に基づいてパーソナルコンピュータ1はビデオプロジ
ェクタ8の投影画像の白の矩形イメージが協同作業者の
手に投影する。これにより、ビデオプロジェタ8から投
影される白の矩形イメージを見て、協同作業者は自分の
手が、情報共有装置により認識されているという感覚を
持つことができ、さらに、情報共有装置が正常に作動し
ていると知ることができる。
【0015】協同作業者がある位置で手を一定時間静止
すると、パーソナルコンピュータ1は静止した手の位置
を作業対象物の手渡し位置と判断し、マニピュレータ7
のモデルイメージがマニピュレータの動作に先立って、
上記矩形イメージに近づくようにパーソナルコンピュー
タ1が制御する。このシミュレーション的なイメージの
移動軌跡の後を追ってマニピュレータ7が動作し、協同
作業者と作業対象物の受け渡しを行う。
【0016】以上のような制御を行うための制御プログ
ラムの概要を図2に示す。図2の制御プログラムはパー
ソナルコンピュータ1のCPUが実行可能なプログラム
言語で記載され、パーソナルコンピュータ内の記録媒
体、たとえば、ハードディスク記憶装置内に保存記憶さ
れる。なお、CDROMのような記録媒体を介してパー
ソナルコンピュータ1に制御プログラムをインストール
してもよい。
【0017】図2は制御プログラムの中の本発明に係わ
るプログラム部分を示す。従来から周知のプログラム部
分については図2では省略している。なお、マニピュレ
ータ7のモデルイメージがマニピュレータの動作に先立
って、上記矩形イメージに近づくようにパーソナルコン
ピュータ1が制御するためのプログラム内容については
本願に先立って出願された特願平9−246832号に
開示されているので、その公開公報(特開平11−85
237号)を参照されたい。
【0018】電源が投入されると、図2の処理プログラ
ムがハードディスク記憶装置から読み出され、パーソナ
ルコンピュータ1内のシステムメモリにローディングさ
れ、CPUにより実行される。
【0019】CPUは、画像処理ボード3を介してモニ
タリング用カメラ9から撮影画像を入力し、システムメ
モリ内に格納する(ステップS10)。格納された撮影
画像の中の協同作業者の手のイメージおよびその位置を
CPUにより認識する。
【0020】本実施形態では、肌色のカラーデータを有
する撮影画像中の画素位置を検出することで、手の領域
および画面中の手の位置を検出する(ステップS2
0)。検出された撮影画面中の手の位置はシステムメモ
リに一時記憶される。本実施形態では連続する一定時間
内で得られた複数組の手の位置データを記憶する。
【0021】CPUは一定時間前の手の位置データと現
時点で得られた手の位置データとを比較し、一致の判定
が得られた場合には、手が静止していると判断する(ス
テップS30でNO判定)。一致判定が得られない場合
(ステップS30でYES判定)は手が移動しているの
で、手順をステップS30からS50へと進め、マニピ
ューレ−タ7用のモデルイメージと白い矩形イメージと
を合成して投影用イメージを作成する(ステップS5
0)。
【0022】投影画面上の白い矩形イメージの位置は、
ステップS20で検出した手の位置から予め定めた換算
率をかけることで簡単に得られる。また、マニピュレー
タ7のモデルイメージの位置は、マニピューレ−タ7の
位置(水平座標)からやはり換算により得ることができ
る。
【0023】合成された投影用イメージがビデオボード
2を介してビデオプロジェクタ8に送られるので、ビデ
オプロジェクタ8から投影された白い矩形イメージは協
同作業者の手の上に投影される(ステップS60)。
【0024】一方、ステップS30の判定処理でNO判
定(手が静止)の判定が得られた場合には、ステップS
20で検出された撮影画面中の手の位置を実空間上の手
の位置に換算し、マニピュレータ7の受け渡し位置に設
定する(ステップS7)。この後、CPUは、図2の処
理手順を繰り返し実行しながら、ステップS50で合成
するマニピュレータ7のモデル位置を順次に変更して投
影されるモデルイメージをマニピュレータ7の移動に先
行させる。
【0025】以上説明したようにパーソナルコンピュー
タ1のCPUが図2の処理プログラムを実行することに
より協同作業者の手には、その手が移動しても白い矩形
イメージが追従的に投影されるので、協同作業者は情報
共有装置(パーソナルコンピュータ1およびマニピュレ
ータ7)が正常に作動していることを確認でき、あたか
もマニピュレータ7に見られているような安心感を持つ
ことができる。
【0026】上述の実施形態の他に次の形態を実施でき
る。
【0027】1)上述の実施形態では、ロボットの一例
としてマニピュレータを説明したがその他周知のロボッ
トに本発明を適用することができる。
【0028】2)上述の実施形態では、パーソナルコン
ピュータ1とマニピュレータ7、モニタリング用カメラ
9、ビデオプロジェクタ8との間は有線の信号ケーブル
で接続したが、これらの機器の間を無線でデータ通信す
るようにしてもよい。
【0029】3)上述の実施形態では白い矩形イメージ
を協同作業者の手に投影しているようにしているが作業
内容に応じて協同作業者の足等、身体の作業部分に投影
すればよいこと勿論である。
【0030】4)協同作業者に投影するイメージパター
ンの形状、色は上述の実施形態に限らず、用途に応じて
適宜定めればよい。
【0031】
【発明の効果】以上、説明したように、本発明によれ
ば、協同作業者の身体の作業部分に、この作業部分の移
動に追従させて予め定めたイメージを投影することで、
協同作業者は自己が見つめられているという心理的な感
覚を持つことができ、また、装置が正常作動しているこ
とも確認できるので、安心してロボットと協同作業を行
うことができる。
【図面の簡単な説明】
【図1】本発明実施形態のシステム構成を示すブロック
図である。
【図2】パーソナルコンピュータ1のCPUが実行する
処理内容を示すフローチャートである。
【符号の説明】
1 パーソナルコンピュータ 2 ビデオボード 3 画像処理ボード 4 I/Oポート 5 協同作業者 6 机 7 マニピュレータ 8 ビデオプロジェクタ 9 モニタリング用カメラ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 ロボットを制御し、該ロボットと協同作
    業者との間で作業を行わせる情報共有装置において、 作業環境における前記協同作業者の身体の作業部分の位
    置を検出する位置検出手段と、 当該検出された位置に,予め定めたイメージパターンを
    投影する投影手段とを具えたことを特徴とする情報共有
    装置。
  2. 【請求項2】 ロボットを制御し、該ロボットと協同作
    業者との間で作業を行わせる情報共有装置の情報提示方
    法において、 作業環境における前記協同作業者の身体の作業部分の位
    置を検出し、 当該検出された位置に,予め定めたイメージパターンを
    投影することを特徴とする情報共有装置の情報提示方
    法。
  3. 【請求項3】 ロボットを制御し、該ロボットと協同作
    業者との間で作業を行わせる情報共有装置にインストー
    ルするプログラムを記録した記録媒体において、該プロ
    グラムは、 作業環境における前記協同作業者の身体の作業部分の位
    置を検出する位置検出ステップと、 当該検出された位置に,予め定めたイメージパターンを
    投影する投影ステップとを具えたことを特徴とする記録
    媒体。
JP24847499A 1999-09-02 1999-09-02 情報共有装置、その情報提示方法および記録媒体 Expired - Lifetime JP3165824B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24847499A JP3165824B2 (ja) 1999-09-02 1999-09-02 情報共有装置、その情報提示方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24847499A JP3165824B2 (ja) 1999-09-02 1999-09-02 情報共有装置、その情報提示方法および記録媒体

Publications (2)

Publication Number Publication Date
JP2001071292A true JP2001071292A (ja) 2001-03-21
JP3165824B2 JP3165824B2 (ja) 2001-05-14

Family

ID=17178694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24847499A Expired - Lifetime JP3165824B2 (ja) 1999-09-02 1999-09-02 情報共有装置、その情報提示方法および記録媒体

Country Status (1)

Country Link
JP (1) JP3165824B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211726A (ja) * 2009-03-12 2010-09-24 Fanuc Ltd シミュレーション方法
JP2014180723A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及び被加工物の製造方法
US11123863B2 (en) 2018-01-23 2021-09-21 Seiko Epson Corporation Teaching device, robot control device, and robot system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211726A (ja) * 2009-03-12 2010-09-24 Fanuc Ltd シミュレーション方法
JP2014180723A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及び被加工物の製造方法
US11123863B2 (en) 2018-01-23 2021-09-21 Seiko Epson Corporation Teaching device, robot control device, and robot system

Also Published As

Publication number Publication date
JP3165824B2 (ja) 2001-05-14

Similar Documents

Publication Publication Date Title
JP5464083B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2921936B2 (ja) 画像監視装置
WO2005065013A3 (en) Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images
JP6452440B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
EP3355576A1 (en) Information processing apparatus, information processing method, and program
CN110947181A (zh) 游戏画面显示方法、装置、存储介质及电子设备
JP2006068315A (ja) ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH0844490A (ja) インターフェイス装置
TW201241679A (en) Image supply device, image display system, method of controlling image supply device, image display device, and recording medium
Huy et al. See-through and spatial augmented reality-a novel framework for human-robot interaction
Cavens et al. Interacting with the big screen: pointers to ponder
CN109558004B (zh) 一种人体辅助机器人的控制方法及装置
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20130030117A (ko) 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
CN104980722A (zh) 一种数据处理方法、装置以及电子设备
JP3165824B2 (ja) 情報共有装置、その情報提示方法および記録媒体
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
JP2001084375A (ja) 動作検証システムおよび非接触マニピュレーションシステム
JPH02118713A (ja) 文字認識装置
JP2003209832A (ja) 遠隔環境ガイド装置
JP2010015032A (ja) プロジェクタ及びその制御方法並びに画像投射表示システム
JP5907184B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP3005715B2 (ja) 情報共有装置、方法および記録媒体
JP2011188147A (ja) 監視システム及び監視方法
CN111860213A (zh) 增强现实系统及其控制方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3165824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term