JP2002132487A - 遠隔作業支援システム - Google Patents

遠隔作業支援システム

Info

Publication number
JP2002132487A
JP2002132487A JP2000325916A JP2000325916A JP2002132487A JP 2002132487 A JP2002132487 A JP 2002132487A JP 2000325916 A JP2000325916 A JP 2000325916A JP 2000325916 A JP2000325916 A JP 2000325916A JP 2002132487 A JP2002132487 A JP 2002132487A
Authority
JP
Japan
Prior art keywords
work
support system
operator
image
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000325916A
Other languages
English (en)
Other versions
JP4288843B2 (ja
Inventor
Takahiro Oda
高広 小田
Kenji Kadota
健志 門田
Yuji Ota
裕二 太田
Takeya Suzuki
健也 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2000325916A priority Critical patent/JP4288843B2/ja
Priority to US09/881,348 priority patent/US6694194B2/en
Publication of JP2002132487A publication Critical patent/JP2002132487A/ja
Application granted granted Critical
Publication of JP4288843B2 publication Critical patent/JP4288843B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40136Stereo audio and vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40183Tele-machining
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40195Tele-operation, computer assisted manual operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 【課題】作業者と設計担当者との間で情報の共有性を高
くすることができるようにする。 【解決手段】第1の操作者による作業対象装置を撮影す
る撮像手段と、作業対象装置3の画像を第1の操作者に
対して表示するための第1の表示部と、前記画像を第2
の操作者に対して表示するための第2の表示部と、第2
の操作者によって操作される操作部と、該操作部の操作
に基づいて、前記第1の表示部の画面に指示内容を表示
する指示内容表示処理手段とを有する。第2の操作者に
よる操作部の操作に基づいて、前記画面に指示内容が表
示されるので、第1、第2の操作者において情報の共有
性を高くすることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、遠隔作業支援シス
テムに関するものである。
【0002】
【従来の技術】従来、一般に、製造業において、工場部
門と設計部門とはそれぞれの設備環境が異なるので、互
いにかなり離れた場所に設置されることが多い。したが
って、工場部門と設計部門との間における情報交換は、
部品図、組立図等の図面、作業指示書、設計担当者が工
場部門に出張した際の打合せ、作業訓練等によって行わ
れるようになっている。
【0003】特に、工場部門において突発性の障害が発
生した場合には、電話、ファクシミリ等による指示で対
応し、それでも十分でない場合には、設計担当者が工場
部門に出張して対応するようにしている。
【0004】ところで、最近、工場部門と設計部門とを
企業内ネットワークで接続し、図面、作業指示書等をリ
アルタイムで発行したり、打合せに応じて改版したりす
ることができるようにした遠隔作業支援システムが提供
されている。そして、工場部門の製造ラインにおいて設
計上の問題が発生すると、問題が発生した部位を作業者
がディジタルカメラで撮影し、撮影によって取得された
画像情報を企業内ネットワークで設計部門に送るように
している。
【0005】
【発明が解決しようとする課題】しかしながら、前記従
来の遠隔作業支援システムにおいては、作業者が確認し
た部位だけが撮影されるので、特定の画像情報だけが送
られるにすぎない。したがって、設計担当者は、前記画
像情報を受け取った後、作業者に、問題が発生した部位
における背景を撮影するように指示したり、撮影する部
位を変えるように指示したりしなければならない。
【0006】そのため、問題が発生した原因を分析する
のに時間がかかり、結局、設計担当者が工場部門に出張
して、問題が発生した部位の周辺の部分、異なる部位等
を自分の目で直接確認する必要が生じる。
【0007】すなわち、企業内ネットワークによって工
場部門と設計部門とが接続されているにもかかわらず、
作業者と設計担当者とは、図面、作業指示書等と同レベ
ルの情報を共有することができず、情報の共有性は低
い。
【0008】また、最近は、工場部門を海外に移転させ
る企業が増加してきている。したがって、問題が発生し
た原因を分析するのに必要な時間が長くなるだけでな
く、製造品のコストが高くなってしまう。
【0009】本発明は、前記従来の遠隔作業支援システ
ムの問題点を解決して、作業者と設計担当者との間で情
報の共有性を高くすることができ、問題が発生した原因
を分析するのに必要な時間を短くすることができるだけ
でなく、製造品のコストを低くすることができる遠隔作
業支援システムを提供することを目的とする。
【0010】
【課題を解決するための手段】そのために、本発明の遠
隔作業支援システムにおいては、第1の操作者による作
業の対象となる作業対象装置を撮影する撮像手段と、該
撮像手段によって撮影された作業対象装置の画像を第1
の操作者に対して表示するための第1の表示部と、前記
画像を第2の操作者に対して表示するための第2の表示
部と、前記第2の操作者によって操作される操作部と、
該操作部の操作に基づいて、前記第1の表示部の画面に
指示内容を表示する指示内容表示処理手段とを有する。
【0011】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。
【0012】図1は本発明の第1の実施の形態における
遠隔作業支援システムを示す第1の概念図、図2は本発
明の第1の実施の形態における遠隔作業支援システムを
示す第2の概念図、図3は本発明の第1の実施の形態に
おける作業者端末の使用状態を示す図である。
【0013】図において、1は第1の操作者としての作
業者、1aは該作業者1の右目、1bは前記作業者1の
左目、2は設計担当者及び第2の操作者としての作業指
示者、2aは該作業指示者2の右目、2bは前記作業指
示者2の左目、3は前記作業者1による作業の対象とな
る作業対象装置、4は作業者1の右手、S1は作業者1
側の端末としての作業者端末、S2は作業指示者2側の
端末としての作業指示者端末である。
【0014】前記作業対象装置3は、第1のスイッチ3
a、第2のスイッチ3b、モータギヤ3c、該モータギ
ヤ3cと噛(し)合させられる出力ギヤ3d、タイミン
グベルト3e、テンションプーリ3f及び第1、第2の
プーリ3g、3hを備え、前記タイミングベルト3eは
前記第1、第2のプーリ3g、3h及びテンションプー
リ3f間に張設される。
【0015】また、5は画像入力装置、6は前記作業対
象装置3を撮影する撮像手段としてのカメラ、7は第1
のLCD、8は第2のLCD、9は作業者1の音声を入
力するための第1の音声入力手段としてのマイク、10
は第1の音声出力手段としてのスピーカ、11は画像入
力部、12、22はLCD制御部、13、21はCP
U、14、35はメモリ、15、36は電源部、16、
20、39はインタフェース部、17、19、38はモ
デム、18は該モデム17、19間に配設された通信ネ
ットワークとしてのインターネット網、23はLCD、
24は指示入力アイコン、25は部品検索アイコン、2
6は形状入力アイコン、27は完了アイコン、28はマ
ウスアイコン、29は作業指示者2の音声を入力するた
めの第2の音声入力手段としてのマイク、30は第2の
音声出力手段としてのスピーカ、31は作業指示者2の
左手、32は作業指示者2によって操作される操作部と
してのマウス、33は左スイッチ、34は右スイッチ、
37はイントラネット網、40はデータベース(D
B)、90はキーボードである。
【0016】前記構成の遠隔作業支援システムにおい
て、カメラ6によって撮影された作業対象装置3の画像
(作業者1の右手4の画像も含まれる。)は、第1、第
2のLCD7、8の画面に作業者1に対して表示され、
作業者1は前記画像を目視する。なお、第1、第2のL
CD7、8によって第1の表示部が、LCD23によっ
て第2の表示部が構成される。カメラ6は作業者1の右
目1a及び左目1bのほぼ中央に配置される。
【0017】また、第1のLCD7は右目1aと対向す
る位置に、第2のLCD8は左目1bと対向する位置に
配設される。なお、第1、第2のLCD7、8を一つの
大きなLCDにして、作業者1の顔と対向させて配設す
ることもできるが、第1、第2のLCD7、8を分割し
て配設する方が、画像入力装置5を小型化し、軽量化す
ることができる。したがって、図3に示されるように、
画像入力装置5を作業者1の顔に装着した場合、違和感
がなくなるとともに、重さで画像入力装置5が作業者1
の顔からずれることが少なくなる。
【0018】作業者1側、すなわち、作業者端末S1側
においてカメラ6によって撮影された作業対象装置3の
画像は、画像入力部11においてディジタル信号に変換
され、CPU13、インタフェース部16、モデム1
7、インターネット網18及びモデム19を介して、遠
隔地に配設された作業指示者2側、すなわち、作業指示
者端末S2側に画像情報として送られ、LCD23の画
面に作業指示者2に対して表示される。そして、前記カ
メラ6は、作業者1の視線とほぼ同じ画角を有するの
で、作業指示者2は、LCD23の画面に表示された画
像を、作業者1の視線と同じ視線で目視することができ
る。したがって、作業者1及び作業指示者2は、作業対
象装置3の画像情報を共有することができる。
【0019】次に、作業者1及び作業指示者2によって
共有される画像情報に作業指示を入力する方法について
説明する。
【0020】前記LCD23の画面には、作業指示者2
が左手31でマウス32を操作することによってマウス
アイコン28が任意の位置に指示内容として表示される
ほかに、作業指示者2が指示を入力するための指示入力
アイコン24、作業指示者2が部品検索を行うための部
品検索アイコン25、作業指示者2が部品の形状を入力
するための形状入力アイコン26、完了アイコン27等
のアイコン群が画面の上部の位置に指示内容として表示
される。そのために、前記CPU13に図示されない第
1の指示内容表示処理手段が、CPU21に図示されな
い第2の指示内容表示処理手段が配設され、第1、第2
の指示内容表示処理手段によって、前記マウスアイコン
28及びアイコン群が表示される。
【0021】作業指示者2は、マウス32を操作して、
指示入力アイコン24、部品検索アイコン25及び形状
入力アイコン26のうちの所定のアイコンを選択し、続
いて、画面上に表示されるコマンドに従って所定の指示
を入力する。
【0022】図4は本発明の第1の実施の形態における
遠隔作業支援システムの動作を示す第1のフローチャー
ト、図5は本発明の第1の実施の形態における遠隔作業
支援システムの動作を示す第2のフローチャート、図6
は本発明の第1の実施の形態における遠隔作業支援シス
テムの動作を示す第3のフローチャート、図7は本発明
の第1の実施の形態における遠隔作業支援システムの動
作を示す第4のフローチャート、図8は本発明の第1の
実施の形態における遠隔作業支援システムの動作を示す
第5のフローチャート、図9は本発明の第1の実施の形
態における遠隔作業支援システムの動作を示す第6のフ
ローチャート、図10は本発明の第1の実施の形態にお
ける点指示アイコンが選択されたときのLCDの画面の
表示例を示す図、図11は本発明の第1の実施の形態に
おける範囲指示アイコンが選択されたときのLCDの画
面の表示例を示す図、図12は本発明の第1の実施の形
態における部品検索アイコンが選択されたときのLCD
の画面の表示例を示す図、図13は本発明の第1の実施
の形態における形状入力アイコンが選択されたときのL
CDの画面の表示例を示す第1の図、図14は本発明の
第1の実施の形態における形状入力アイコンが選択され
たときのLCDの画面の表示例を示す第2の図である。
【0023】作業指示者2(図2)が、指示入力アイコ
ン24を選択すると、図10に示されるように、LCD
23の画面の右下に、リアルタイム指示アイコン45、
点指示アイコン46及び範囲指示アイコン47から成る
詳細指示アイコン群が表示される。
【0024】そして、作業指示者2が、詳細指示アイコ
ン群のうちのリアルタイム指示アイコン45を選択する
と、マウスアイコン28の座標値(x,y)が検出さ
れ、続いて、作業指示者2がマウスアイコン28を移動
させると、移動先のマウスアイコン28の座標値(x,
y)が検出され、該座標値(x,y)がインターネット
網18を介してCPU13(図1)に送られる。該CP
U13は、あらかじめメモリ14に記録されているマウ
スアイコン表示プログラムを起動し、前記座標値(x,
y)のデータを用いて、第1、第2のLCD7、8の画
面にマウスアイコンを表示する。したがって、作業者1
は第1、第2のLCD7、8の画面に表示されたマウス
アイコンを目視することによって、遠隔地にいる作業指
示者2の作業指示を確認することができる。
【0025】また、作業指示者2が、点指示アイコン4
6を選択すると、LCD23の画面上において、図5に
示されるフローチャートに従って、マウスアイコン28
の色及びサイズが変更され、図10に示されるように、
マウスアイコン28に代えて指示アイコン41が作成さ
れ、表示される。そして、作業指示者2は、マウス32
を操作して前記指示アイコン41を移動させ、作業者1
による作業の部位を指示するための指示点において左ス
イッチ33を押す。
【0026】これにより、指示アイコン41は、複写さ
れ、前記左スイッチ33が押された指示点の座標位置
に、前記指示点を表す複写アイコンCi(i=1、2、
…)が固定された状態で表示される。なお、複写アイコ
ンCiの座標値(Xa,Ya)は、指示点の順番を表す
値iと共にメモリ35に記録される。そして、座標値
(Xa,Ya)及び値iが画像情報としてインターネッ
ト網18を介してCPU13に送られると、CPU13
は、メモリ14にあらかじめ記録されている複写アイコ
ン表示プログラムを起動し、前記座標値(Xa,Ya)
及び値iに基づいて、第1、第2のLCD7、8の画面
に複写アイコン及び前記値iを表示する。
【0027】これにより、作業指示者2が作業者1に作
業指示を説明するに当たり、作業の部位を複写アイコン
Ciによって任意に特定することができるので、作業を
簡素化することができる。また、作業者1は、第1、第
2のLCD7、8の画面に表示された複写アイコンを目
視することによって、作業指示者2の作業指示を確認す
ることができる。
【0028】そして、作業指示者2が、範囲指示アイコ
ン47を選択すると、LCD23の画面上において、図
6に示されるフローチャートに従って、作業者1による
作業の部位を指示する指示枠を設定することができる。
そのために、作業指示者2が、マウス32を操作し、マ
ウスアイコン28を移動させることによって、前記指示
枠の始点を入力し、左スイッチ33を押すと、始点の座
標値(X1,Y1)がメモリ35に記録され、再びマウ
スアイコン28を移動させることによって、前記指示枠
の終点を入力し、左スイッチ33を押すと、終点の座標
値(X2,Y2)がメモリ35に記録される。そして、
前記各座標値(X1,Y1)、(X2,Y2)に基づい
て指示枠が設定され、該指示枠を表す指示枠アイコンF
j(j=1、2、…)が、図11に示されるように、L
CD23の画面に表示される。なお、指示枠の順番を表
す値jは、前記各座標値(X1,Y1)、(X2,Y
2)と共にメモリ35に記録される。また、前記各座標
値(X1,Y1)、(X2,Y2)及び値jは、画像情
報としてインターネット網18を介してCPU13に送
られ、CPU13は、メモリ14にあらかじめ記録され
ている指示枠アコン表示プログラムを起動し、前記座標
値(X1,Y1)、(X2,Y2)及び値jのデータに
基づいて、第1、第2のLCD7、8の画面に指示枠ア
イコン及び値jを表示する。
【0029】これにより、作業指示者2が作業者1に作
業指示を説明するに当たり、作業の部位を指示枠アイコ
ンFjによって任意に特定することができるので、作業
を簡素化することができる。また、作業者1は、第1、
第2のLCD7、8の画面に表示された指示枠アイコン
を目視することによって、作業指示者2の作業指示を確
認することができる。
【0030】そして、作業指示者2が、部品検索アイコ
ン25を選択すると、図12に示されるように、LCD
23の画面の右下に部品ウィンドウ51が表示される。
このとき、作業指示者2は、図7に示されるフローチャ
ートに従って、マウスアイコン28を部品番号入力欄5
2に移動させ、該部品番号入力欄52を入力状態にした
後、部品検索を希望する部品番号をキーボード90によ
って入力する。その後、部品ウィンドウ51内に表示さ
れたスタート(START)ボタン55にマウスアイコ
ン28を移動させ、左スイッチ33又は右スイッチ34
によってスタートボタン55を押すと、前記CPU21
の図示されない部品検索処理手段は、部品検索処理を行
う。そして、データがある場合、部品番号に対応する部
品の名称が名称欄53に、部品番号に対応する部品の図
形が図形欄54に表示される。
【0031】この場合、部品検索処理は、メモリ35に
記録された部品データに基づいて行われるが、メモリ3
5に部品データが記録されていない場合、イントラネッ
ト網37を介して、データベース40に記録された部品
データに基づいて行われる。そして、データベース40
において目的とする部品データが検索された場合、検索
された部品、すなわち、検索部品50の部品データはメ
モリ35にダウンロードされる。
【0032】部品検索処理が終了すると、部品ウィンド
ウ51に部品情報送信要否(Y/N)コマンドが表示さ
れる。作業指示者2が部品情報送信要否コマンドに要
(Y)を入力すると、部品情報は、画像情報としてイン
ターネット網18を介してメモリ14に送られ、記録さ
れる。また、第1、第2のLCD7、8の画面には、部
品ウィンドウ51と同じ部品ウィンドウが表示される。
【0033】なお、56はエンド(END)ボタン、5
8は実際に作業対象装置3に搭載され、作業者1による
作業の対象となる部品、すなわち、対象部品である。
【0034】これにより、作業指示者2が作業者1に作
業指示を説明するに当たり、対象部品58の名称及び形
状を特定することができるので、作業を簡素化すること
ができる。また、作業者1は、第1、第2のLCD7、
8の画面に表示された部品ウィンドウを目視することに
よって、作業指示者2の作業指示を確認することができ
る。
【0035】例えば、図12に示されるように、対象部
品58の形状と検索部品50の形状とが異なる(検索部
品50にはねじ穴があるのに対して、対象部品58には
ねじ穴がない。)ことを容易に確認することができる。
【0036】また、作業指示者2が形状入力アイコン2
6を選択すると、図13に示されるように、LCD23
の画面の右下に部品ウィンドウ51が表示される。この
とき、作業指示者2は、図8及び9に示されるフローチ
ャートに従って、マウスアイコン28を部品番号入力欄
52に移動させ、該部品番号入力欄52を入力状態にし
た後、部品検索を希望する部品番号をキーボード90に
よって入力する。その後、部品ウィンドウ51内に表示
されたスタートボタン55にマウスアイコン28を移動
させ、左スイッチ33又は右スイッチ34によってスタ
ートボタン55を押すと、前記部品検索処理手段は部品
検索処理を行う。そして、データがある場合、部品番号
に対応する部品の名称が名称欄53に、部品番号に対応
する検索部品50の図形が図形欄54に表示される。
【0037】この場合、部品検索処理は、メモリ35に
記録された部品データに基づいて行われるが、メモリ3
5に部品データが記録されていない場合、イントラネッ
ト網37を介して、データベース40に記録された部品
データに基づいて行われる。そして、データベース40
において目的とする部品データが検索された場合、該部
品データはメモリ35にダウンロードされる。
【0038】次に、前記検索部品50を対象部品58に
重ね表示するために、該対象部品58の画像の表示倍
率、すなわち、画像倍率値を算出するための処理につい
て説明する。
【0039】まず、作業指示者2は、マウスアイコン2
8を対象部品58の位置に移動させ、該対象部品58の
大きさを指定する。そのために、図13に示されるよう
に、対象部品58を包囲する包囲枠の始点の座標値(x
1,y1)及び終点の座標値(x2,y2)を左スイッ
チ33を押して記録すると、記録された座標値(x1,
y1)、(x2,y2)から、包囲枠のX軸方向及びY
軸方向の長さΔx、Δyが、LCD23の表示画素数
(M,N)に基づいて算出される。この場合、対象部品
58の寸法は、検索部品50の部品データに基づいて確
認することができる。前記長さΔx、Δy、部品デー
タ、及びマウス32の表示ドット数の相関関係に基づい
て、LCD23の画面上において検索部品50を対象部
品58に重ね表示するための画像倍率値Sx 、Sy が算
出される。
【0040】すなわち、LCD23の表示画素数(M,
N)、カメラ6の撮像素子の画素数(m,n)、前記撮
像素子の画素ピッチ(w,h)、対象部品58の実際の
サイズ(X,Y)等が分かっているので、長さΔx、Δ
yに基づいて前記画像倍率値Sx 、Sy が次の式によっ
て算出され、算出された画像倍率値Sx 、Sy は部品ウ
ィンドウ51内に表示される。
【0041】Sx =m・w・Δx/(M・X) Sy =n・h・Δy/(N・Y) 作業指示者2は、画像倍率値Sx 、Sy を確認した後、
部品ウィンドウ51内のフィックス(Fix)ボタン5
7にマウスアイコン28を移動させ、左スイッチ33又
は右スイッチ34によってフィックスボタン57を押
す。これによって、図形欄54に表示された検索部品5
0は、図14に示されるように、前記画像倍率値Sx
y を用いて変換され、前記始点の座標値(x1,y
1)及び終点の座標値(x2,y2)に基づいて対象部
品58と重ね合わせられる。
【0042】このとき、前記部品データ、座標値(x
1,y1)、(x2,y2)及び画像倍率値Sx 、Sy
が、重ね表示情報及び画像情報としてインターネット網
18を介してCPU13に送られ、該CPU13は、前
記重ね表示情報をメモリ14に記録するとともに、該メ
モリ14にあらかじめ記録されている形状入力アイコン
表示プログラムを起動し、前記部品データ、座標値(x
1,y1)、(x2,y2)及び画像倍率値Sx 、Sy
に基づいて、第1、第2のLCD7、8の画面に表示さ
れた対象部品に検索部品を重ねて表示する。
【0043】これにより、作業指示者2が作業者1に作
業指示を説明するに当たり、対象部品58と検索部品5
0との差を明らかにすることができるので、作業を簡素
化することができる。また、作業者1が作業指示を受け
るに当たり、図面を探す時間を短くすることができる。
なお、4は作業者1の右手、27は完了アイコンであ
る。
【0044】ところで、この場合、作業者1と作業指示
者2との間において画像情報を共有することができる
が、画像情報を作業者端末S1から作業指示者端末S2
に送ったり、作業指示者端末S2から作業者端末S1に
送ったりするタイミングを設定するのが困難であり、作
業者1の状態を作業指示者2が把握するのが困難であ
る。
【0045】そこで、作業者1のCPU13にマイク9
及びスピーカ10が、作業指示者2のCPU21にマイ
ク29及びスピーカ30が接続される。したがって、作
業者端末S1と作業指示者端末S2との間で画像情報を
送受信する際に、作業者1がマイク9を使用して、作業
指示の依頼を音声で入力することができ、作業指示者2
は、作業指示の依頼を、LCD23の画面に表示された
メッセージだけでなく、スピーカ30から出力された音
声でも確認することができる。そのために、CPU13
に図示されない第1の音声情報送信処理手段が、CPU
21に図示されない第2の音声情報送信処理手段が配設
され、第1の音声情報送信処理手段は音声情報を作業指
示者2側に、第2の音声情報送信処理手段は音声情報を
作業者1側に送る。
【0046】また、作業指示の依頼を音声で確認した作
業指示者2は、作業指示を画像で送るときに、マイク2
9を使用し、作業箇所の位置を説明した内容を音声で入
力することができ、作業者1は、作業指示を、画像で確
認するだけでなく、スピーカ10から出力された音声で
も確認することができる。
【0047】このように、作業者1及び作業指示者2に
おいて情報の共有性を高くすることができるので、問題
が発生した原因を分析するのに必要な時間を短くするこ
とができるだけでなく、製造品のコストを低くすること
ができる。
【0048】次に、フローチャートについて説明する。 ステップS1 指示入力アイコン24が選択されたかど
うかを判断する。指示入力アイコン24が選択された場
合はステップS2に、選択されていない場合はステップ
S10に進む。 ステップS2 詳細指示アイコン群を表示する。 ステップS3 リアルタイム指示アイコン45が選択さ
れたどうかを判断する。リアルタイム指示アイコン45
が選択された場合はステップS4に、選択されていない
場合はステップS8に進む。 ステップS4 マウスアイコン28の座標値(x,y)
を検出する。 ステップS5 マウスアイコン28を移動させる。 ステップS6 座標値(x,y)を送る。 ステップS7 左スイッチ33が押されたかどうかを判
断する。左スイッチ33が押された場合はステップS1
に、押されていない場合はステップS4に戻る。 ステップS8 点指示アイコン46が選択されたかどう
かを判断する。点指示アイコン46が選択された場合は
ステップS13に、選択されていない場合はステップS
9に進む。 ステップS9 範囲指示アイコン47が選択されたかど
うかを判断する。範囲指示アイコン47が選択された場
合はステップS26に進み、選択されていない場合はス
テップS1に戻る。 ステップS10 部品検索アイコン25が選択されたか
どうかを判断する。部品検索アイコン25が選択された
場合はステップS40に、選択されていない場合はステ
ップS11に進む。 ステップS11 形状入力アイコン26が選択されたか
どうかを判断する。形状入力アイコン26が選択された
場合はステップS54に、選択されていない場合はステ
ップS12に進む。 ステップS12 完了アイコン27が選択されたかどう
かを判断する。完了アイコン27が選択された場合は処
理を終了し、選択されていない場合はステップS1に戻
る。 ステップS13 値iに1をセットする。 ステップS14 マウスアイコン28の色及びサイズを
変更する。すなわち、指示アイコン41を表示する。 ステップS15 指示点を入力する。 ステップS16 左スイッチ33が押されたかどうかを
判断する。左スイッチ33が押された場合はステップS
17に、押されていない場合はステップS22に進む。 ステップS17 複写アイコンCiを作成する。 ステップS18 複写アイコンCiを表示し、座標値
(Xa,Ya)を記録する。 ステップS19 座標値(Xa,Ya)を送る。 ステップS20 次の指示点が入力されたかどうかを判
断する。次の指示点が入力された場合はステップS21
に、入力されていない場合はステップS24に進む。 ステップS21 値iをインクリメントし、ステップS
16に戻る。 ステップS22 右スイッチ34が押されたかどうかを
判断する。右スイッチ34が押された場合はステップS
23に進み、押されていない場合はステップS16に戻
る。 ステップS23 複写アイコンCiの消去が指示された
かどうかを判断する。複写アイコンCiの消去が指示さ
れた場合はステップS24に、指示されていない場合は
ステップS25に進む。 ステップS24 複写アイコンCiを消去する。 ステップS25 マウスアイコン28を初期化し、ステ
ップS1に戻る。 ステップS26 値jに1をセットする。 ステップS27 始点を入力する。 ステップS28 左スイッチ33が押されたかどうかを
判断する。左スイッチ33が押された場合はステップS
29に、押されていない場合はステップS32に進む。 ステップS29 始点の座標値(X1,Y1)を記録す
る。 ステップS30 終点を入力する。 ステップS31 左スイッチ33が押されたかどうかを
判断する。左スイッチ33が押された場合はステップS
33に、押されていない場合はステップS32に進む。 ステップS32 右スイッチ34が押されたかどうかを
判断する。右スイッチ34が押された場合はステップS
38に進み、押されていない場合はステップS27に戻
る。 ステップS33 終点の座標値(X2,Y2)を記録す
る。 ステップS34 指示枠アイコンFjを表示する。 ステップS35 座標値(X1,Y1)、(X2,Y
2)を送る。 ステップS36 次の指示枠の設定が指示されたかどう
かを判断する。次の指示枠の設定が指示された場合はス
テップS37に、指示されていない場合はステップS3
8に進む。 ステップS37 値jをインクリメントし、ステップS
27に戻る。 ステップS38 指示枠の消去が指示されたかどうかを
判断する。指示枠の消去が指示された場合はステップS
39に進み、指示されていない場合はステップS1に戻
る。 ステップS39 指示枠を消去し、ステップS1に戻
る。 ステップS40 部品ウィンドウ51を表示する。 ステップS41 部品番号を入力する。 ステップS42 スタートボタン55が押されたかどう
かを判断する。スタートボタン55が押された場合はス
テップS45に、押されていない場合はステップS43
に進む。 ステップS43 エンドボタン56が押されたかどうか
を判断する。エンドボタン56が押された場合はステッ
プS44に進み、押されていない場合はステップS40
に戻る。 ステップS44 部品ウィンドウ51を消去し、ステッ
プS1に戻る。 ステップS45 部品検索処理を行う。 ステップS46 データがあるかどうかを判断する。デ
ータがある場合はステップS49に、ない場合はステッ
プS47に進む。 ステップS47 再入力の指示を表示する。 ステップS48 部品ウィンドウ51内の表示をクリア
し、ステップS40に戻る。 ステップS49 名称及び図形を表示する。 ステップS50 部品情報を送るかどうかを判断する。
部品情報を送る場合はステップS51に、送らない場合
はステップS53に進む。 ステップS51 部品情報を送る。 ステップS52 送信が終了したかどうかを判断する。
送信が終了した場合はステップS53に進み、終了して
いない場合はステップS51に戻る。 ステップS53 次の部品を検索するかどうかを判断す
る。次の部品を検索する場合はステップS40に戻り、
検索しない場合はステップS44に進む。 ステップS54 部品ウィンドウ51を表示する。 ステップS55 部品番号を入力する。 ステップS56 スタートボタン55が押されたかどう
かを判断する。スタートボタン55が押された場合はス
テップS59に、押されていない場合はステップS57
に進む。 ステップS57 エンドボタン56が押されたかどうか
を判断する。エンドボタン56が押された場合はステッ
プS58に進み、押されていない場合はステップS55
に戻る。 ステップS58 部品ウィンドウ51を消去し、ステッ
プS1に戻る。 ステップS59 部品検索処理を行う。 ステップS60 データがあるかどうかを判断する。デ
ータがある場合はステップS63に、ない場合はステッ
プS61に進む。 ステップS61 再入力の指示を表示する。 ステップS62 部品ウィンドウ51内の表示をクリア
し、ステップS55に戻る。 ステップS63 名称及び図形を表示し、記録する。 ステップS64 包囲枠を入力する。 ステップS65 始点を入力する。 ステップS66 左スイッチ33が押されたかどうかを
判断する。左スイッチ33が押された場合はステップS
69に、押されていない場合はステップS67に進む。 ステップS67 右スイッチ34が押されたかどうかを
判断する。右スイッチ34が押された場合はステップS
68に進み、押されていない場合はステップS65に戻
る。 ステップS68 再指定が行われたかどうかを判断す
る。再指定が行われた場合 はステップS65に戻り、行われていない場合はステッ
プS58に進む。 ステップS69 始点の座標値(x1,y1)を記録す
る。 ステップS70 終点を入力する。 ステップS71 左スイッチ33が押されたかどうかを
判断する。左スイッチ33が押された場合はステップS
72に進み、押されていない場合はステップS65に戻
る。 ステップS72 終点の座標値(x2,y2)を記録す
る。 ステップS73 画像倍率値Sx 、Sy を算出する。 ステップS74 画像倍率値Sx 、Sy を表示する。 ステップS75 フィックスボタン57が押されたかど
うかを判断する。フィックスボタン57が押された場合
はステップS77に、押されていない場合はステップS
76に進む。 ステップS76 終了入力が行われたかどうかを判断す
る。終了入力が行われた場合はステップS58に進み、
行われていない場合はステップS74に戻る。 ステップS77 検索部品50を変換する。 ステップS78 重ね表示を行う。 ステップS79 重ね表示情報を送る。 ステップS80 次の形状入力アイコン26が選択され
たかどうかを判断する。次の形状入力アイコン26が選
択された場合はステップS54に、選択されていない場
合はステップS58に進む。
【0049】ところで、第1の実施の形態においては、
作業者1がねじ緩み又はベルト緩みを検査している場
合、その作業状況を確認することができるが、緩みとい
う力情報を作業指示者2が取得することができない。そ
こで、作業者1がねじ緩み又はベルト緩みを検査するた
めの検査装置を備えるようにした、本発明の第2の実施
の形態について説明する。なお、第1の実施の形態と同
じ構造を有するものについては、同じ符号を付与するこ
とによってその説明を省略する。
【0050】図15は本発明の第2の実施の形態におけ
る検査装置の斜視図、図16は本発明の第2の実施の形
態における遠隔作業支援システムを示す第1の概念図、
図17は本発明の第2の実施の形態における遠隔作業支
援システムを示す第2の概念図、図18は本発明の第2
の実施の形態におけるLCDの画面の表示例を示す図で
ある。
【0051】図において、59は作業対象装置3におけ
る所定の部位について検査を行うための検査装置、60
は作業工具、61は力センサ部、62は操作部、63は
検査方向目印、64は信号線、65はセンサ制御部、6
6は力情報表示ウィンドウである。
【0052】前記検査装置59は、作業工具60と操作
部62との間に、二つの力F1、F2及び一つの回転ト
ルクTを測定することができる力センサ部61を備え
る。この場合、力F1は作業工具60の曲がり方向(検
査方向目印63を含む垂直方向)に作用する力、力F2
は作業工具60の軸方向に作用する力、回転トルクTは
作業工具60の軸回りに作用するトルクである。
【0053】そして、前記力センサ部61は、各方向に
力F1、F2及び回転トルクTが作用した場合に、力F
1、F2及び回転トルクTに比例した電圧を発生させ
る。該電圧は、信号線64によってセンサ制御部65に
送られてディジタル信号に変換され、該ディジタル信号
はCPU13に送られる。CPU13は、メモリ14に
あらかじめ記録されている力測定プログラムを起動し、
前記ディジタル信号を力の大きさに変換し、検査結果と
しての力データとしてメモリ14に記録する。なお、記
録された力データに基づいて、メモリ14にあらかじめ
記録されている力データ表示プログラムによって、第1
の操作者としての作業者1が目視している第1、第2の
LCD7、8の画面に力情報表示ウィンドウが作成さ
れ、該力情報表示ウィンドウ内の数値表示欄に、力F
1、F2及び回転トルクTの力データが指示内容として
表示される。
【0054】また、前記力データは、設計担当者及び第
2の操作者としての作業指示者2からの指示によってイ
ンターネット網18を介してメモリ35にダウンロード
される。そして、メモリ35にあらかじめ記録された力
データ表示プログラムによって、作業指示者2が目視し
ているLCD23の画面に力情報表示ウィンドウ66が
作成され、図18に示される数値表示欄66a〜66c
に、力F1、F2及び回転トルクTの力データが表示さ
れる。
【0055】また、力センサ部61からセンサ制御部6
5を介して得られたディジタル信号を、そのままインタ
ーネット網18を介して作業指示者2のCPU21に送
り、メモリ35にあらかじめ記録された力測定プログラ
ム及び力データ表示プログラムによって、各数値表示欄
66a〜66cに力データを表示することもできる。そ
のために、前記CPU13に図示されない検査情報送信
処理手段が配設され、該検査情報送信処理手段によって
前記ディジタル信号が作業指示者端末S2に送られる。
【0056】この場合、CPU13は、前記力測定プロ
グラム及び力データ表示プログラムを起動し、力センサ
部61からセンサ制御部65を介して送られたディジタ
ル信号に基づいて、第1、第2のLCD7、8の画面に
おける前記数値表示欄に力データを表示することもでき
る。
【0057】したがって、作業者1及び作業指示者2
は、作業者1が検査装置59の作業工具60の先端を作
業対象装置3における検査の対象となる部位に接触さ
せ、操作部62を検査方向に動かすことによって、部位
の組立状態を同時に確認することができる。
【0058】また、図16に示されるように、作業者1
が力F1の検査方向を、タイミングベルト3eにおける
テンションプーリ3fと第1のプーリ3gとの間の部分
A、及びテンションプーリ3fと第2のプーリ3hとの
間の部分Bの各張設方向に合わせることによって、タイ
ミングベルト3eの張力を測定することができる。しか
も、測定された張力と、第1、第2のLCD7、8に表
示された力情報表示ウィンドウ、又はLCD23に表示
された力情報表示ウィンドウ66の各力F1、F2とが
等しいかどうかを容易に確認することができる。
【0059】なお、必要に応じて、作業指示者2は、メ
モリ35又はデータベース40にあらかじめ記録されて
いる前記検査装置59による検査の測定基準値を検索
し、該測定基準値を第1、第2のLCD7、8に表示さ
れた力情報表示ウィンドウ、又はLCD23に表示され
た力情報表示ウィンドウ66の欄外に表示することもで
きる。そのために、前記CPU21に図示されない測定
基準値検索処理手段が配設され、該測定基準値検索処理
手段は前記測定基準値を検索する。また、前記CPU2
1に図示されない測定基準値送信処理手段が配設され、
該測定基準値送信処理手段は前記測定基準値を作業者端
末S1に送る。この場合、作業者1及び作業指示者2
が、力データと測定基準値とが等しいかどうかを同時に
確認することができる。
【0060】また、第1、第2のLCD7、8の画面に
複写アイコン、指示枠等が表示されるので、特に、作業
対象装置3に形状の同じ部品が隣接させて配設されてい
て、所定の部品について検査を行う場合に、作業者1
は、検査の対象となる部品を容易に特定することができ
る。
【0061】次に、本発明の第3の実施の形態について
説明する。
【0062】図19は本発明の第3の実施の形態におけ
る遠隔作業支援システムを示す図である。
【0063】図において、67は作業対象装置、68は
作業者用パソコン、69はLCDである。第1の操作者
としての作業者1の顔に画像入力装置5が装着され、該
画像入力装置5において、カメラ6、第1、第2のLC
D7、8、マイク9及びスピーカ10が一体に形成され
る。そして、作業者1は、右手4に検査装置59を把持
し、該検査装置59によって前記作業対象装置67の組
立状態を検査する。
【0064】前記カメラ6は、作業者1の視線上、すな
わち、作業者1の右目1a(図1)と左目1bとのほぼ
中央に配設され、カメラ6のレンズは、撮影視野と作業
者1が両目で目視することができる視野とがほぼ同じに
なるよう、例えば、水平視野角が60〔°〕以上で、か
つ、垂直視野角が40〔°〕以上になるように設定され
る。
【0065】この場合、カメラ6によって撮影された作
業対象装置67の画像は、画像入力装置5に配設された
図示されない画像入力部においてディジタル信号に変換
され、該ディジタル信号は作業者用パソコン68に送ら
れ、該作業者用パソコン68の図示されないCPUによ
って処理される。なお、前記LCD69は第1、第2の
LCD7、8の補助表示用として使用され、現場にいる
他の作業者に画像情報を提供することができる。
【0066】ところで、前記各実施の形態においては、
1台のカメラ6によって撮影された作業対象装置3、6
7の画像が第1、第2のLCD7、8の画面に表示され
るようになっている。したがって、作業者1は、目視し
ている画像に距離感を持つことができない。その結果、
両目で経験した距離感覚と同じ距離感覚で前記画像を目
視しながら作業対象装置3、67に手を延ばそうとする
と、違和感が生じ、空振りしてしまう。
【0067】また、1台のカメラ6によって撮影された
作業対象装置3、67の画像が一つのLCD23の画面
に表示されるようになっているので、設計担当者及び第
2の操作者としての作業指示者2は、目視している画像
に距離感を持つことができない。
【0068】そこで、作業者1の右目1a及び左目1b
に対応させて2台のカメラを配設し、各カメラによって
撮影された作業対象装置3、67の画像を、作業指示者
端末S2(図2)側において二つのLCDの画面に表示
するようにした本発明の第4の実施の形態について説明
する。なお、第1の実施の形態と同じ構造を有するもの
については、同じ符号を付与することによってその説明
を省略する。
【0069】図20は本発明の第4の実施の形態におけ
る遠隔作業支援システムを示す第1の概念図、図21は
本発明の第4の実施の形態における遠隔作業支援システ
ムを示す第2の概念図、図22は本発明の第4の実施の
形態における作業者端末の使用状態を示す図である。
【0070】図において、70はステレオ画像を入力す
る画像入力装置、7は第1の操作者としての作業者1の
右目1aに対応させて配設された第1のLCD、8は作
業者1の左目1bに対応させて配設された第2のLC
D、71は作業者1の右目1aに対応させて配設された
撮像手段としての第1のカメラ、72は作業者1の左目
1bに対応させて配設された撮像手段としての第2のカ
メラ、73は設計担当者及び第2の操作者としての作業
指示者2の右目2aに対応させて配設された第2の表示
部としての第3のLCD、74は作業指示者2の左目2
bに対応させて配設された第2の表示部としての第4の
LCDである。
【0071】この場合、第1、第2のカメラ71、72
によって撮影された画像が、第1、第2のLCD7、8
の画面にそれぞれ表示されるので、作業者1は、視差が
ある二つの画像を目視することができ、目視している画
像に距離感を持つことができる。したがって、作業者1
が前記画像を目視しながら作業対象装置3に手を延ばそ
うとするときに、違和感が生じることがなく、空振りす
ることがない。
【0072】また、第1、第2のカメラ71、72によ
って撮影された画像が、第3、第4のLCD73、74
の画面にそれぞれ表示されるので、作業指示者2は、視
差がある二つの画像を目視することができ、目視してい
る画像に距離感を持つことができる。
【0073】なお、一つのLCDに視差のある立体画像
を表示することもできる。そのために、CPU13、2
1のうちの少なくとも一方に図示されない立体画像表示
処理手段が配設され、該立体画像表示処理手段は、作業
者1側のLCD、及び作業指示者2側の一つのLCDの
うちの少なくとも一方の画面に立体画像を表示する。こ
の場合、作業者1側のLCD、及び作業指示者2側のL
CDのうちの少なくとも一方の画面に表示された立体画
像に距離感を持つことができる。
【0074】ところで、前記各実施の形態においては、
作業者1が、作業対象装置3、67(図19)につい
て、又は作業対象装置3、67に対する作業について、
ある程度の知識、経験等を有することを前提として作業
を行うようになっている。ところが、作業者1が初心者
で前記知識、経験等を有しない場合、作業指示者2によ
る作業指示が作業者1には理解できないことがある。
【0075】そこで、作業者1及び作業指示者2をいず
れも同じ作業環境に置くことによって、作業者1が作業
を行う前に、作業指示者2が作業対象装置3、67を組
み立てたり、検査したりして、その際の作業情報を作業
者1に送り、作業者1が必要な作業を事前に体験するこ
とができるようにした、本発明の第5の実施の形態につ
いて説明する。なお、第4の実施の形態と同じ構造を有
するものについては、同じ符号を付与することによって
その説明を省略する。
【0076】図23は本発明の第5の実施の形態におけ
る遠隔作業支援システムを示す第1の概念図、図24は
本発明の第5の実施の形態における遠隔作業支援システ
ムを示す第2の概念図である。
【0077】図において、75は第1の操作者としての
作業者1の左手、76は作業者1用のマウス、77は左
スイッチ、78は右スイッチ、79は作業対象装置3と
同じ構造を有する事前体験用作業対象装置、80は設計
担当者及び第2の操作者としての作業指示者2の右手、
81は作業指示者2用の画像入力装置、82は第3のカ
メラ、83は第4のカメラ、84は画像入力部、85は
作業指示者2用の検査装置、65、86はセンサ制御部
である。
【0078】まず、作業者1が初心者である場合、撮像
手段としての第1、第2のカメラ71、72及び検査装
置59の電源をオフにする。そして、作業指示者2が第
3、第4のカメラ82、83によって事前体験用作業対
象装置79を撮影すると、撮影された事前体験用作業対
象装置79の画像が第1、第2のLCD7、8の画面に
表示されるとともに、第3、第4のLCD82、83の
画面に表示される。この場合、第4の実施の形態と同じ
ように、第3のカメラ82によって撮影された事前体験
用作業対象装置79の画像が第1、第3のLCD7、7
3の画面に、第4のカメラ83によって撮影された事前
体験用作業対象装置79の画像が第2、第4のLCD
8、74にそれぞれ表示される。
【0079】そして、作業指示者2が事前体験用作業対
象装置79の組立状態を検査するために、検査装置85
を用いて各力F1、F2及び回転トルクTを測定する
と、CPU21の図示されない操作情報送信処理手段
は、作業指示者2が事前体験用作業対象装置79の組立
状態を検査したときの画像、各力F1、F2、回転トル
クT、音、作業環境等の操作情報を指示内容として作業
者端末S1に送る。そして、前記CPU13の図示され
ない第1の操作情報表示処理手段は、第1、第2のLC
D7、8の画面の各力情報表示ウィンドウに力データを
表示する。なお、前記CPU21の図示されない第2の
操作情報表示処理手段は、第3、第4のLCD73、7
4の画面の各力情報表示ウィンドウに力データを表示す
る。
【0080】したがって、作業者1は、作業対象装置3
を組み立てたり、検査したりする前に、作業指示者2が
事前体験用作業対象装置79の組立状態を検査したとき
の画像、各力F1、F2、回転トルクT、音、作業環境
等の操作情報を入手することができるので、必要な作業
を事前に体験することができる。
【0081】続いて、作業者1は、作業対象装置3を組
み立てたり、検査したりするために、第1、第2のカメ
ラ71、72及び検査装置59の電源をオンにし、第
3、第4のカメラ82、83及び検査装置85の電源を
オフにする。この場合、第1のカメラ71によって撮影
された作業対象装置3の画像は、第1、第3のLCD
7、73の画面に、第2のカメラ72によって撮影され
た作業対象装置3の画像は、第2、第4のLCD8、7
4の画面にそれぞれ表示される。
【0082】このように、作業者1は、作業対象装置3
を組み立てたり、検査したりする前に必要な作業を事前
に体験することができるので、事前に体験した作業及び
そのときの作業環境を思い浮かべながら作業を実施する
ことができる。また、仮に、作業者1が事前に体験した
作業及びそのときの作業環境を忘れても、作業指示者2
は再び前記操作情報を作業者用端末S1側に送ることが
できる。
【0083】本実施の形態においては、一人の作業者1
と一人の作業指示者2との間において操作情報を送受信
するようになっているが、複数の作業者と複数の作業指
示者との間で操作情報を送受信することもできる。この
場合、中心になる作業指示者が、各作業者及び他の作業
指示者に作業指示を送るのに対応させて、インターネッ
ト網18に接続された各画像入力装置のカメラ、LC
D、及び検査装置の電源がオン・オフさせられる。
【0084】次に、本発明の第6の実施の形態について
説明する。なお、第3の実施の形態と同じ構造を有する
ものについては、同じ符号を付与することによってその
説明を省略する。
【0085】図25は本発明の第6の実施の形態におけ
る遠隔作業支援システムを示す図である。
【0086】この場合、ステレオ画像を入力するための
画像入力装置70において、撮像手段としての第1、第
2のカメラ71、72、第1、第2のLCD7、8、マ
イク9及びスピーカ10が一体に形成される。そして、
第1の操作者としての作業者1は、右手4に検査装置5
9を把持し、該検査装置59によって、作業対象装置6
7の組立状態を検査する。
【0087】前記第1のカメラ71は作業者1の右目1
a(図1)及び第1のLCD7に対応させて、第2のカ
メラ72は作業者1の左目1b及び第2のLCD8に対
応させて配設される。
【0088】次に、本発明の第7の実施の形態について
説明する。なお、第5の実施の形態と同じ構造を有する
ものについては、同じ符号を付与することによってその
説明を省略する。
【0089】図26は本発明の第7の実施の形態におけ
る遠隔作業支援システムを示す第1の概念図、図27は
本発明の第7の実施の形態における遠隔作業支援システ
ムを示す第2の概念図である。
【0090】図において、91は第1の操作者としての
作業者1の図示されない右手に装着するためのグロー
ブ、92は設計担当者及び第2の操作者としての作業指
示者2の図示されない右手に装着するためのグローブ、
93は前記グローブ91を任意の位置に移動させるため
の図示されない移動機構を駆動する駆動部としてのドラ
イバ、94は作業指示者2の動作を前記グローブ92の
位置によって検出する検出部である。この場合、第1の
カメラ71によって撮影された作業対象装置3の画像
は、第1、第3のLCD7、73の画面に、第2のカメ
ラ72によって撮影された作業対象装置3の画像は、第
2、第4のLCD8、74の画面にそれぞれ表示され
る。
【0091】作業者1が初心者である場合、作業指示者
2が右手にグローブ92を装着し、事前体験用作業対象
装置79の組立状態を検査するために、検査装置85を
移動させると、グローブ92の位置が検出部94によっ
て検出され、検出信号がCPU21に送られる。そし
て、CPU21の図示されない動作情報送信処理手段
は、検出信号を動作情報としてインターネット網18を
介してCPU13に送る。
【0092】該CPU13は、前記動作情報に従って、
ドライバ93を駆動し、グローブ91を前記グローブ9
2の位置に対応する位置に置くことによって、作業者1
を動作させる。したがって、作業者1は、前記第1、第
2のLCD7、8の画面に表示された作業指示者2の指
示内容としての動作にならって作業対象装置3を組み立
てたり、検査したりすることができる。
【0093】次に、三次元で認識される画像が表示され
た画面に、三次元的な指示内容を表示することができる
ようにした本発明の第8の実施の形態について説明す
る。なお、第5の実施の形態と同じ構造を有するものに
ついては、同じ符号を付与することによってその説明を
省略する。
【0094】図28は本発明の第8の実施の形態におけ
る遠隔作業支援システムを示す第1の概念図、図29は
本発明の第8の実施の形態における遠隔作業支援システ
ムを示す第2の概念図、図30は本発明の第8の実施の
形態における指示手袋の表側を示す図、図31は本発明
の第8の実施の形態における指示手袋の裏側を示す図で
ある。
【0095】図において、91、93は間隔センサ、9
2、94はセンサ制御部、95は操作手袋としての指示
手袋、96は背景幕である。
【0096】設計担当者及び第2の操作者としての作業
指示者2の右手80に装着された指示手袋95が第3、
第4のカメラ82、83によって撮影され、撮影された
指示手袋95の画像が第3、第4のLCD73、74の
画面に表示される。したがって、作業指示者2は指示手
袋95を三次元で認識することができる。
【0097】指示手袋95は、所定の指としての人指し
指95a、及び該人指し指95a以外の指を含む本体部
95bを備え、人指し指95aと本体部95bとは互い
に色を異ならせてあり、しかも、人指し指95aの色は
背景幕96の色と異ならせてあり、本体部95bの色は
背景幕96の色と同じにされる。
【0098】したがって、本体部95b及び背景幕96
の色に合わせてクロマキー処理を行うことによって、人
指し指95aだけを指示内容として浮き出させ、表示す
ることができる。
【0099】そのために、作業指示者2は、第3、第4
のLCD73、74の画面に表示された画像を見なが
ら、クロマキー処理を行う部分にマウス32を移動さ
せ、クロマキー処理を行う部分を指定する。CPU21
は、メモリ35にあらかじめ記録されたクロマキー合成
プログラムによって、人指し指95aだけが浮き出るよ
うに画像処理を行う。
【0100】次に、クロマキー処理が行われて人指し指
95aだけ浮き出ている画像と、第1、第2のカメラ7
1、72によって撮影された作業対象装置3の画像とを
合成し、合成によって得られた画像を第1、第2のLC
D7、8及び第3、第4のLCD73、74の画面にそ
れぞれ表示する。したがって、第1の操作者としての作
業者1及び作業指示者2は、作業対象装置3及び人指し
指95aの画像を三次元で認識することができる。
【0101】この場合、第3、第4のカメラ82、83
間の間隔と、第1、第2のカメラ71、72間の間隔と
が大幅に異なると、人指し指95aの画像と作業対象装
置3の画像とを適切に合成することができなくなる。そ
こで、本実施の形態においては、第1、第2のカメラ7
1、72間の間隔を測定するために、画像入力装置70
に間隔センサ91が、第3、第4のカメラ82、83間
の間隔を測定するために、画像入力装置81に間隔セン
サ93が配設され、前記画像の合成が行われる際に、間
隔センサ91、93の各センサ出力を確認するようにし
ている。
【0102】間隔センサ91は、第1、第2のカメラ7
1、72間の距離に比例したセンサ出力を発生させる。
したがって、作業者1がマウス76を操作して間隔を測
定する指示をCPU13に入力すると、該CPU13は
センサ制御部92を介して間隔センサ91からのセンサ
出力を読み込み、メモリ14にあらかじめ記録された間
隔測定・表示プログラムによって前記センサ出力を距離
に変換し、該距離を第1、第2のLCD7、8の画面に
表示する。前記距離は、インターネット網18を介して
作業指示者端末S2に送られ、第3、第4のLCD7
3、74の画面にも表示される。
【0103】同様に、間隔センサ93によって発生させ
られたセンサ出力は、センサ制御部94を介してCPU
21に読み込まれ、該CPU21において距離に変換さ
れ、該距離は、第3、第4のLCD73、74及び第
1、第2のLCD7、8の画面にそれぞれ表示される。
【0104】そして、作業者1及び作業指示者2は、表
示された二つの距離に基づいて、第1、第2のカメラ7
1、72間の間隔、及び第3、第4のカメラ82、83
間の間隔を調整する。そのために、例えば、各第1、第
2のカメラ71、72及び第3、第4のカメラ82、8
3を固定している図示されないねじを緩め、第1、第2
のカメラ71、72及び第3、第4のカメラ82、83
を必要に応じて中心方向又は外方向に動かした後、前記
ねじを締めて再び固定する。
【0105】なお、あらかじめ作業者1及び作業指示者
2の両目の間隔を測定し、両目の間隔の近い者同士で作
業者1と作業指示者2とを組み合わせれば、前記間隔の
調整は不要になる。
【0106】また、各間隔センサ91、93が配設され
た位置に、各CPU13、21からの制御信号に基づい
て前記間隔を調整することができるアクチュエータ又は
メカニズムを配設し、各間隔センサ91、93のセンサ
出力の平均値を算出し、該平均値を目標値として、前記
アクチュエータ又はメカニズムの制御を行うためのプロ
グラムを各メモリ14、35に記録することによって、
前記間隔を自動的に調整することもできる。
【0107】このように、第1、第2のLCD7、8及
び第3、第4のLCD73、74の各画面に作業指示者
2の指示内容が三次元的に表示されるので、臨場感のあ
る指示を行うことができる。そして、作業指示者2は、
あたかも目の前に作業対象装置3があるような臨場感を
体感することができるので、人指し指95aを用いた簡
単な操作で作業者1に指示を出すことができる。
【0108】ところで、前記第8の実施の形態において
は、作業指示者2は、あたかも目の前に作業対象装置3
があるような臨場感を体感することができるが、実際に
は作業指示者端末S2に作業対象装置3は存在しないの
で、作業指示者2は人指し指95aに触覚を覚えること
ができず、しかも、人指し指95aを空間に浮かせた状
態に置かなければならない。したがって、指示する時間
が長くなると、手が疲れたり、指示している位置がずれ
たり、人指し指95aが振動したりしてしまう。
【0109】そこで、作業指示者2の人指し指95aに
触覚を与えるようにした本発明の第9の実施の形態につ
いて説明する。なお、第8の実施の形態と同じ構造を有
するものについては、同じ符号を付与することによって
その説明を省略する。
【0110】図32は本発明の第9の実施の形態におけ
る作業指示者側の遠隔作業支援システムを示す概念図で
ある。
【0111】まず、第3、第4のカメラ82、83と事
前体験用作業対象装置79との距離を、第1、第2のカ
メラ71(図28)、72と作業対象装置3との距離に
合わせる。このとき、メモリ35に記録された画像構成
プログラムが起動され、第1、第2のカメラ71、72
によって撮影され、濃度が低くされた作業対象装置3の
画像と第3、第4のカメラ82、83によって撮影され
た事前体験用作業対象装置79の画像とが合成され、合
成された画像が第3、第4のLCD73、74の画面に
表示される。そして、設計担当者及び第2の操作者とし
ての作業指示者2は、事前体験用作業対象装置79の大
きさと作業対象装置3の大きさとが等しくなるように距
離の調整を行い、調整が行われた時点で、事前体験用作
業対象装置79の前方の所定の箇所に背景幕96を配設
する。その後、第8の実施の形態と同様に、人指し指9
5aだけが浮き出るように画像にクロマキー処理を行
い、人指し指95aの画像と作業対象装置3の画像及び
事前体験用作業対象装置79の画像とを合成する。
【0112】したがって、人指し指95aを背景幕96
に触れさせて作業者1に指示を出すことができるので、
作業指示者2は人指し指95aに触覚を覚えることがで
きるだけでなく、人指し指95aを空間に浮かせた状態
に置く必要がなくなる。したがって、指示する時間が長
くなっても、手が疲れたり、指示している位置がずれた
り、人指し指95aが振動したりすることがない。
【0113】ところで、前記第8、第9の実施の形態に
おいては、作業指示者2は人指し指95aによって三次
元的に第1の操作者としての作業者1に指示を出すこと
ができるようになっているが、作業において、掴(つ
か)む、擦(こす)る、叩(たた)く等の手全体を使っ
た動作で指示を出す必要がある場合、前述されたような
クロマキー処理を指示手袋95の全体に対して行うと、
第1、第2のカメラ71、72によって撮影された作業
対象装置3の画像が指示手袋95で隠れてしまう。そこ
で、第1、第2のカメラ71、72によって撮影された
作業対象装置3の画像が指示手袋95で隠れてしまうこ
とがないようにした本発明の第10の実施の形態につい
て説明する。なお、第8の実施の形態と同じ構造を有す
るものについては、同じ符号を付与することによってそ
の説明を省略する。
【0114】図33は本発明の第10の実施の形態にお
ける作業指示者側の遠隔作業支援システムを示す概念
図、図34は本発明の第10の実施の形態における指示
手袋の表側を示す図、図35は本発明の第10の実施の
形態における指示手袋の裏側を示す図である。
【0115】この場合、設計担当者及び第2の操作者と
しての作業指示者2は右手80に操作手袋としての指示
手袋97を装着する。そして、クロマキー処理による画
像の合成が行われ、作業者1(図28)に指示手袋97
の動きによって三次元的に指示を出すことができる。
【0116】図34に示されるように、指示手袋97お
いて、側面部99及び爪部100a〜100eの色と本
体部98の色とが互いに異ならせられる。前記側面部9
9及び爪部100a〜100eの色は背景幕96と異な
る色にされ、本体部98の色は背景幕96と同じ色にさ
れる。そして、本体部98及び背景幕96の色に合わせ
てクロマキー処理を行うことによって、前記側面部99
及び爪部100a〜100eだけが浮き出た画像を表示
することができる。なお、指示手袋97は、爪部100
a〜100eの有無、親指の位置等によって、右手及び
左手の区別、並びに表側及び裏側の区別を目視で行うこ
とができる。図34及び35に示される指示手袋97は
右手仕様である。
【0117】このように、側面部99及び爪部100a
〜100eだけが作業対象装置3の画像に合成されるの
で、作業指示者2が手全体を使った動作で指示を出して
も、作業対象装置3の画像を不必要に隠してしまうこと
がない。
【0118】また、前記指示手袋97は第3、第4のカ
メラ82、83によって撮影されるので、第1の操作者
としての作業者1及び作業指示者2は三次元的に画像を
認識することができる。
【0119】ところで、前記各実施の形態においては、
画像入力装置5(図19)、70が作業者1の顔に装着
されるので、作業者1は両手が自由になり、画像入力装
置5、70を装着していない場合と同じ作業性を得るこ
とができる。しかも、作業者1の顔の動きに第1、第2
のLCD7、8が追従するので、作業者1は、作業指示
者2からの指示内容を、作業姿勢に関係なく、確実に目
視することができる。
【0120】ところが、作業指示者2が同じ作業面に対
して複数の指示を出す場合、作業面を撮影しているカメ
ラ6が動かないように固定する必要がある。カメラ6が
動いてしまうと、カメラ6の動きに合わせて作業指示者
2が指示位置を修正しなければならない。
【0121】そこで、カメラ6を固定することができる
ようにした第11の実施の形態について説明する。
【0122】図36は本発明の第11の実施の形態にお
ける画像入力装置を示す斜視図である。
【0123】図において、110は画像入力装置、6は
撮像手段としてのカメラ、7、8は第1、第2のLC
D、9はマイク、111は支持台としての台座部、11
3は固定装置であり、該固定装置113は、パン固定ね
じ112、チルト固定ねじ114、チルト台115、シ
ャフト116、高さ固定ねじ117及びスタンド118
を備える。
【0124】この場合、画像入力装置110は、図示さ
れない作業台上に配設された固定装置113に固定され
る。これにより、第1の操作者としての作業者1(図
1)の顔の動きに従ってカメラ6が動いてしまうことが
ないので、設計担当者及び第2の操作者としての作業指
示者2からの指示内容が表示される位置と、作業対象装
置3における作業の位置とが一致させられる。しかも、
カメラ6と作業対象装置3との距離が一定になるので、
部品の重ね表示の精度を高くすることができる。
【0125】また、画像入力装置110が作業台上に配
設されるので、作業者1は、目が疲れた場合、顔を移動
させるだけで、手を使うことなく、第1、第2のLCD
7、8の画面から視線を外すことができる。
【0126】なお、作業者1は、作業中、顔を画像入力
装置110に押し付けている必要があるので、姿勢保持
にストレスを感じることがある。その場合、作業者1
は、可能な限り座位状態で画像入力装置110を覗(の
ぞ)くような姿勢になるように、固定装置113のチル
ト方向(矢印A方向)、パン方向(矢印B方向)及び高
さ方向(矢印C方向)を調整することによって、ストレ
スを軽減することができる。
【0127】次に、本発明の第12の実施の形態につい
て説明する。
【0128】図37は本発明の第12の実施の形態にお
ける画像入力装置を示す図である。
【0129】図において、119は画像入力装置、7
1、72は第1、第2のカメラ、7、8は第1、第2の
LCD、9はマイク、111は支持台としての台座部、
113は固定装置であり、該固定装置113は、パン固
定ねじ112、チルト固定ねじ114、チルト台11
5、シャフト116、高さ固定ねじ117及びスタンド
118を備える。前記画像入力装置119は、チルト固
定ねじ114の中心線を中心にして矢印A方向に、パン
固定ねじ112の中心線を中心にして矢印B方向に回動
させたり、矢印C方向に移動させたりすることができ
る。
【0130】この場合、第1、第2のカメラ71、72
によってステレオ画像を入力することができる。
【0131】なお、本発明は前記実施の形態に限定され
るものではなく、本発明の趣旨に基づいて種々変形させ
ることが可能であり、それらを本発明の範囲から排除す
るものではない。
【0132】
【発明の効果】以上詳細に説明したように、本発明によ
れば、遠隔作業支援システムにおいては、第1の操作者
による作業の対象となる作業対象装置を撮影する撮像手
段と、該撮像手段によって撮影された作業対象装置の画
像を第1の操作者に対して表示するための第1の表示部
と、前記画像を第2の操作者に対して表示するための第
2の表示部と、前記第2の操作者によって操作される操
作部と、該操作部の操作に基づいて、前記第1の表示部
の画面に指示内容を表示する指示内容表示処理手段とを
有する。
【0133】この場合、撮像手段によって撮影された作
業対象装置の画像が、第1の表示部の画面に表示され、
第2の操作者による操作部の操作に基づいて、前記画面
に指示内容が表示されるので、第1、第2の操作者にお
いて情報の共有性を高くすることができ、問題が発生し
た原因を分析するのに必要な時間を短くすることができ
るだけでなく、製造品のコストを低くすることができ
る。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における遠隔作業支
援システムを示す第1の概念図である。
【図2】本発明の第1の実施の形態における遠隔作業支
援システムを示す第2の概念図である。
【図3】本発明の第1の実施の形態における作業者端末
の使用状態を示す図である。
【図4】本発明の第1の実施の形態における遠隔作業支
援システムの動作を示す第1のフローチャートである。
【図5】本発明の第1の実施の形態における遠隔作業支
援システムの動作を示す第2のフローチャートである。
【図6】本発明の第1の実施の形態における遠隔作業支
援システムの動作を示す第3のフローチャートである。
【図7】本発明の第1の実施の形態における遠隔作業支
援システムの動作を示す第4のフローチャートである。
【図8】本発明の第1の実施の形態における遠隔作業支
援システムの動作を示す第5のフローチャートである。
【図9】本発明の第1の実施の形態における遠隔作業支
援システムの動作を示す第6のフローチャートである。
【図10】本発明の第1の実施の形態における点指示ア
イコンが選択されたときのLCDの画面の表示例を示す
図である。
【図11】本発明の第1の実施の形態における範囲指示
アイコンが選択されたときのLCDの画面の表示例を示
す図である。
【図12】本発明の第1の実施の形態における部品検索
アイコンが選択されたときのLCDの画面の表示例を示
す図である。
【図13】本発明の第1の実施の形態における形状入力
アイコンが選択されたときのLCDの画面の表示例を示
す第1の図である。
【図14】本発明の第1の実施の形態における形状入力
アイコンが選択されたときのLCDの画面の表示例を示
す第2の図である。
【図15】本発明の第2の実施の形態における検査装置
の斜視図である。
【図16】本発明の第2の実施の形態における遠隔作業
支援システムを示す第1の概念図である。
【図17】本発明の第2の実施の形態における遠隔作業
支援システムを示す第2の概念図である。
【図18】本発明の第2の実施の形態におけるLCDの
画面の表示例を示す図である。
【図19】本発明の第3の実施の形態における遠隔作業
支援システムを示す図である。
【図20】本発明の第4の実施の形態における遠隔作業
支援システムを示す第1の概念図である。
【図21】本発明の第4の実施の形態における遠隔作業
支援システムを示す第2の概念図である。
【図22】本発明の第4の実施の形態における作業者端
末の使用状態を示す図である。
【図23】本発明の第5の実施の形態における遠隔作業
支援システムを示す第1の概念図である。
【図24】本発明の第5の実施の形態における遠隔作業
支援システムを示す第2の概念図である。
【図25】本発明の第6の実施の形態における遠隔作業
支援システムを示す図である。
【図26】本発明の第7の実施の形態における遠隔作業
支援システムを示す第1の概念図である。
【図27】本発明の第7の実施の形態における遠隔作業
支援システムを示す第2の概念図である。
【図28】本発明の第8の実施の形態における遠隔作業
支援システムを示す第1の概念図である。
【図29】本発明の第8の実施の形態における遠隔作業
支援システムを示す第2の概念図である。
【図30】本発明の第8の実施の形態における指示手袋
の表側を示す図である。
【図31】本発明の第8の実施の形態における指示手袋
の裏側を示す図である。
【図32】本発明の第9の実施の形態における作業指示
者側の遠隔作業支援システムを示す概念図である。
【図33】本発明の第10の実施の形態における作業指
示者側の遠隔作業支援システムを示す概念図である。
【図34】本発明の第10の実施の形態における指示手
袋の表側を示す図である。
【図35】本発明の第10の実施の形態における指示手
袋の裏側を示す図である。
【図36】本発明の第11の実施の形態における画像入
力装置を示す斜視図である。
【図37】本発明の第12の実施の形態における画像入
力装置を示す図である。
【符号の説明】
1 作業者 1a、2a 右目 1b、2b 左目 2 作業指示者 3、67 作業対象装置 5、70、81、110、119 画像入力装置 6 カメラ 7、8、73、74 第1〜第4のLCD 9、29 マイク 13、21 CPU 18 インターネット網 23 LCD 32 マウス 50 検索部品 58 対象部品 59、85 検査装置 71、72 第1、第2のカメラ 79 事前体験用作業対象装置 93 ドライバ 94 検出部 95、97 指示手袋 95a 人指し指 96 背景幕 99 側面部 100a〜100e 爪部 111 台座部 S1 作業者端末 S2 作業指示者端末
───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 裕二 東京都港区虎ノ門1丁目7番12号 沖電気 工業株式会社内 (72)発明者 鈴木 健也 東京都港区虎ノ門1丁目7番12号 沖電気 工業株式会社内 Fターム(参考) 5B069 CA13 CA19 DD15 JA02 KA06 5C054 AA02 DA01 DA09 FD07 FE16 GB11 HA01 5E501 AC02 AC25 CA02 CA04 CA08 CB03 CB09 CB14 CB15 CC09 CC11 EA05 EA10 EA11 EA21 EB05 EB06 FA03 FA04 FA06 FA13 FA14 FA32 FA46 FB28

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 (a)第1の操作者による作業の対象と
    なる作業対象装置を撮影する撮像手段と、(b)該撮像
    手段によって撮影された作業対象装置の画像を第1の操
    作者に対して表示するための第1の表示部と、(c)前
    記画像を第2の操作者に対して表示するための第2の表
    示部と、(d)前記第2の操作者によって操作される操
    作部と、(e)該操作部の操作に基づいて、前記第1の
    表示部の画面に指示内容を表示する指示内容表示処理手
    段とを有することを特徴とする遠隔作業支援システム。
  2. 【請求項2】 前記撮像手段は、第1の操作者の目の視
    野とほぼ同じ画角を有する請求項1に記載の遠隔作業支
    援システム。
  3. 【請求項3】 前記指示内容は、第1の操作者による作
    業の部位を指示する指示点を表すための複写アイコンで
    ある請求項1に記載の遠隔作業支援システム。
  4. 【請求項4】 前記複写アイコンは、指示点の順番を表
    す数字と共に複数表示される請求項3に記載の遠隔作業
    支援システム。
  5. 【請求項5】 前記指示内容は、第1の操作者による作
    業の部位を指示する指示枠を表すための指示枠アイコン
    である請求項1に記載の遠隔作業支援システム。
  6. 【請求項6】 前記指示枠アイコンは、指示枠の順番を
    表す数字と共に複数表示される請求項5に記載の遠隔作
    業支援システム。
  7. 【請求項7】 前記指示内容は、部品検索処理手段によ
    って検索され、前記作業対象装置における対象部品に重
    ね表示される検索部品である請求項1に記載の遠隔作業
    支援システム。
  8. 【請求項8】 前記検索部品を対象部品に重ね表示する
    ための画像倍率値が算出される請求項7に記載の遠隔作
    業支援システム。
  9. 【請求項9】 (a)前記第1の操作者の音声を入力す
    るための第1の音声入力手段と、(b)前記音声の音声
    情報を第2の操作者側に送る第1の音声情報送信処理手
    段とを有する請求項1に記載の遠隔作業支援システム。
  10. 【請求項10】 (a)前記第2の操作者の音声を入力
    するための第2の音声入力手段と、(b)前記音声の音
    声情報を第1の操作者側に送る第2の音声情報送信処理
    手段とを有する請求項1に記載の遠隔作業支援システ
    ム。
  11. 【請求項11】 前記第1の表示部は、第1の操作者の
    右目及び左目に対応させて二つ配設される請求項1に記
    載の遠隔作業支援システム。
  12. 【請求項12】 前記第2の表示部は、第2の操作者の
    右目及び左目に対応させて二つ配設される請求項1に記
    載の遠隔作業支援システム。
  13. 【請求項13】 (a)前記作業対象装置における所定
    の部位について検査を行うための検査装置と、(b)該
    検査装置による検査結果を第2の操作者側に送る検査情
    報送信処理手段とを有する請求項1に記載の遠隔作業支
    援システム。
  14. 【請求項14】 (a)前記第2の操作者側に配設さ
    れ、前記検査装置による検査の測定基準値を検索する測
    定基準値検索処理手段と、(b)前記測定基準値を第1
    の操作者側に送る測定基準値送信処理手段とを有する請
    求項13に記載の遠隔作業支援システム。
  15. 【請求項15】 (a)前記撮像手段は、第1の操作者
    の右目及び左目に対応させて二つ配設され、(b)前記
    各撮像手段によって撮影された作業対象装置の各画像
    は、前記各第1の表示部の画面に表示される請求項11
    又は12に記載の遠隔作業支援システム。
  16. 【請求項16】 前記第1、第2の表示部のうちの少な
    くとも一方の画面に立体画像を表示する立体画像表示処
    理手段を有する請求項1に記載の遠隔作業支援システ
    ム。
  17. 【請求項17】 (a)前記第1の操作者側の端末、及
    び第2の操作者側の端末のうちの少なくとも一方が複数
    配設され、(b)前記各端末間が通信ネットワークを介
    して接続される請求項1に記載の遠隔作業支援システ
    ム。
  18. 【請求項18】 (a)前記第2の操作者側に配設され
    た事前体験用作業対象装置と、(b)前記第2の操作者
    による前記事前体験用作業対象装置の操作情報を第1の
    操作者側に送る操作情報送信処理手段とを有する請求項
    1に記載の遠隔作業支援システム。
  19. 【請求項19】 前記操作情報は第1の表示部の画面に
    表示される請求項18に記載の遠隔作業支援システム。
  20. 【請求項20】 (a)前記第2の操作者の動作を検出
    する検出部と、(b)該検出部による動作情報を第1の
    操作者側に送る動作情報送信処理手段と、(c)前記動
    作情報に従って第1の操作者を動作させるための駆動部
    とを有する請求項1に記載の遠隔作業支援システム。
  21. 【請求項21】 前記第2の操作者の手に装着される操
    作手袋の所定の指の画像と前記作業対象装置の画像とが
    合成される請求項1に記載の遠隔作業支援システム。
  22. 【請求項22】 前記第2の操作者側に配設された事前
    体験用作業対象装置の前方に背景幕が配設される請求項
    21に記載の遠隔作業支援システム。
  23. 【請求項23】 前記操作手袋の側面部及び爪部の画像
    と前記作業対象装置の画像とが合成される請求項21に
    記載の遠隔作業支援システム。
  24. 【請求項24】 (a)前記撮像手段及び第1の表示部
    を少なくとも備えた画像入力装置を有するとともに、
    (b)該画像入力装置は顔に装着される請求項1に記載
    の遠隔作業支援システム。
  25. 【請求項25】 (a)前記撮像手段及び第1の表示部
    を少なくとも備えた画像入力装置を有するとともに、
    (b)該画像入力装置は支持台上に配設される請求項1
    に記載の遠隔作業支援システム。
JP2000325916A 2000-10-25 2000-10-25 遠隔作業支援システム Expired - Fee Related JP4288843B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000325916A JP4288843B2 (ja) 2000-10-25 2000-10-25 遠隔作業支援システム
US09/881,348 US6694194B2 (en) 2000-10-25 2001-06-15 Remote work supporting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000325916A JP4288843B2 (ja) 2000-10-25 2000-10-25 遠隔作業支援システム

Publications (2)

Publication Number Publication Date
JP2002132487A true JP2002132487A (ja) 2002-05-10
JP4288843B2 JP4288843B2 (ja) 2009-07-01

Family

ID=18803203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000325916A Expired - Fee Related JP4288843B2 (ja) 2000-10-25 2000-10-25 遠隔作業支援システム

Country Status (2)

Country Link
US (1) US6694194B2 (ja)
JP (1) JP4288843B2 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093687A1 (ja) 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
EP1686554A2 (en) 2005-01-31 2006-08-02 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
JP2006259926A (ja) * 2005-03-15 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> 作業指示システムとそのプログラム
JP2007034439A (ja) * 2005-07-22 2007-02-08 Advanced Telecommunication Research Institute International 触力覚検索システムおよび触力覚検索プログラム
JP2007156950A (ja) * 2005-12-07 2007-06-21 Toyota Motor Corp 車両用操作装置
CN100373304C (zh) * 2005-01-31 2008-03-05 佳能株式会社 系统、图像处理装置及信息处理方法
JP2008210359A (ja) * 2007-01-30 2008-09-11 Toyota Motor Corp 操作装置
US7532224B2 (en) 2005-04-08 2009-05-12 Canon Kabushiki Kaisha Information processing method and apparatus
JP2009200691A (ja) * 2008-02-20 2009-09-03 Konica Minolta Holdings Inc 頭部装着式映像表示装置
WO2010050301A1 (ja) * 2008-10-27 2010-05-06 コニカミノルタオプト株式会社 映像表示システム
WO2010082547A1 (ja) * 2009-01-16 2010-07-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP2014505627A (ja) * 2011-01-13 2014-03-06 ザ・ボーイング・カンパニー 拡張コラボレーション・システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
JP2015100138A (ja) * 2007-05-18 2015-05-28 ザ ユーエービー リサーチ ファンデーション 仮想インタラクティブプレゼンスのシステムおよび方法
JP2016126365A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム
JP2016224890A (ja) * 2015-06-04 2016-12-28 富士通株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2015072195A1 (ja) * 2013-11-13 2017-03-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
WO2017056631A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理システム及び情報処理方法
WO2017158718A1 (ja) * 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末
JP2017200144A (ja) * 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 作業支援システム
JP2018174003A (ja) * 2018-08-16 2018-11-08 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP2018207359A (ja) * 2017-06-07 2018-12-27 キヤノン株式会社 画像処理装置、撮像装置、作業支援システム、制御方法およびプログラム
JP2019093535A (ja) * 2017-11-28 2019-06-20 ファナック株式会社 教示操作盤およびロボット制御システム
JP2021039567A (ja) * 2019-09-03 2021-03-11 東芝システムテクノロジー株式会社 作業支援システム及びプログラム
WO2023218740A1 (ja) * 2022-05-13 2023-11-16 株式会社Nttドコモ 表示制御システムおよびウェアラブル装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715037B2 (en) * 2005-03-01 2010-05-11 Xerox Corporation Bi-directional remote visualization for supporting collaborative machine troubleshooting
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US10705692B2 (en) * 2009-05-21 2020-07-07 Sony Interactive Entertainment Inc. Continuous and dynamic scene decomposition for user interface
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
US9858475B2 (en) 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US8621362B2 (en) 2011-01-21 2013-12-31 Xerox Corporation Mobile screen methods and systems for collaborative troubleshooting of a device
SG192864A1 (en) * 2011-02-22 2013-09-30 Rheinmetall Defence Elect Gmbh Simulator for training a team, in particular for training a helicopter crew
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
WO2014076236A1 (en) * 2012-11-15 2014-05-22 Steen Svendstorp Iversen Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US10719123B2 (en) * 2014-07-15 2020-07-21 Nant Holdings Ip, Llc Multiparty object recognition
US10339382B2 (en) * 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
KR102281400B1 (ko) * 2017-03-23 2021-07-23 도시바 미쓰비시덴키 산교시스템 가부시키가이샤 철강 플랜트의 분석 지원 장치
US20190124251A1 (en) * 2017-10-23 2019-04-25 Sony Corporation Remotely controllable camera on eyeglass-type mount for the blind
JP7287045B2 (ja) 2019-03-26 2023-06-06 コベルコ建機株式会社 遠隔操作システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238475A (ja) * 1991-01-22 1992-08-26 Nippon Telegr & Teleph Corp <Ntt> ハンドセット形テレビ装置とそれを用いたテレビ電話装置
JPH0793508A (ja) * 1993-09-21 1995-04-07 Kubota Corp 作業遠隔指示装置
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JPH10148694A (ja) * 1996-11-20 1998-06-02 Toshiba Corp プラント内情報通信システム
JPH10257475A (ja) * 1997-03-13 1998-09-25 Susumu Tate 遠隔通信システム及び遠隔通信方法
JPH11136706A (ja) * 1997-09-01 1999-05-21 Mr System Kenkyusho:Kk 位置姿勢検出装置、位置姿勢検出方法、複合現実感提示装置、ゲーム装置、複合現実感提示方法および記憶媒体
JP2000056258A (ja) * 1998-08-10 2000-02-25 Atr Chino Eizo Tsushin Kenkyusho:Kk 反射光学系を用いたディスプレイ装置
JP2000231625A (ja) * 1999-02-12 2000-08-22 Sanyo Electric Co Ltd 指示情報伝達装置
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2000299852A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3882305A (en) * 1974-01-15 1975-05-06 Kearney & Trecker Corp Diagnostic communication system for computer controlled machine tools
US5877961A (en) * 1996-09-24 1999-03-02 Genicom Corporation Electronic support work station and method of operation
US6393380B1 (en) * 1998-02-13 2002-05-21 Sierra Concepts Corporation Interactive support system manufacturing equipment
JP3556829B2 (ja) 1998-03-23 2004-08-25 淳 高橋 眼鏡型モニター式拡大鏡
FI990715A (fi) * 1999-03-31 2000-10-01 Valmet Corp Tuotantolaitoksen huoltojärjestely
US6556950B1 (en) * 1999-09-30 2003-04-29 Rockwell Automation Technologies, Inc. Diagnostic method and apparatus for use with enterprise control

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238475A (ja) * 1991-01-22 1992-08-26 Nippon Telegr & Teleph Corp <Ntt> ハンドセット形テレビ装置とそれを用いたテレビ電話装置
JPH0793508A (ja) * 1993-09-21 1995-04-07 Kubota Corp 作業遠隔指示装置
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JPH10148694A (ja) * 1996-11-20 1998-06-02 Toshiba Corp プラント内情報通信システム
JPH10257475A (ja) * 1997-03-13 1998-09-25 Susumu Tate 遠隔通信システム及び遠隔通信方法
JPH11136706A (ja) * 1997-09-01 1999-05-21 Mr System Kenkyusho:Kk 位置姿勢検出装置、位置姿勢検出方法、複合現実感提示装置、ゲーム装置、複合現実感提示方法および記憶媒体
JP2000056258A (ja) * 1998-08-10 2000-02-25 Atr Chino Eizo Tsushin Kenkyusho:Kk 反射光学系を用いたディスプレイ装置
JP2000231625A (ja) * 1999-02-12 2000-08-22 Sanyo Electric Co Ltd 指示情報伝達装置
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2000299852A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093687A1 (ja) 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
AU2005225878B2 (en) * 2004-03-26 2009-09-10 Atsushi Takahashi 3D entity digital magnifying glass system having 3D visual instruction function
EP1739642A1 (en) * 2004-03-26 2007-01-03 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
EP1739642A4 (en) * 2004-03-26 2010-04-14 Atsushi Takahashi DIGITAL 3D ENTITY MAGNIFICATION GLASS SYSTEM WITH A VISUAL 3D INSTRUCTION FUNCTION
US7843470B2 (en) 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
EP1686554A2 (en) 2005-01-31 2006-08-02 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
CN100373304C (zh) * 2005-01-31 2008-03-05 佳能株式会社 系统、图像处理装置及信息处理方法
JP2006259926A (ja) * 2005-03-15 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> 作業指示システムとそのプログラム
US7532224B2 (en) 2005-04-08 2009-05-12 Canon Kabushiki Kaisha Information processing method and apparatus
JP2007034439A (ja) * 2005-07-22 2007-02-08 Advanced Telecommunication Research Institute International 触力覚検索システムおよび触力覚検索プログラム
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
JP2007156950A (ja) * 2005-12-07 2007-06-21 Toyota Motor Corp 車両用操作装置
JP2008210359A (ja) * 2007-01-30 2008-09-11 Toyota Motor Corp 操作装置
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP2015100138A (ja) * 2007-05-18 2015-05-28 ザ ユーエービー リサーチ ファンデーション 仮想インタラクティブプレゼンスのシステムおよび方法
JP2009200691A (ja) * 2008-02-20 2009-09-03 Konica Minolta Holdings Inc 頭部装着式映像表示装置
WO2010050301A1 (ja) * 2008-10-27 2010-05-06 コニカミノルタオプト株式会社 映像表示システム
WO2010082547A1 (ja) * 2009-01-16 2010-07-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010164814A (ja) * 2009-01-16 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
JP2014505627A (ja) * 2011-01-13 2014-03-06 ザ・ボーイング・カンパニー 拡張コラボレーション・システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
JPWO2015072195A1 (ja) * 2013-11-13 2017-03-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US10579320B2 (en) 2014-12-26 2020-03-03 Seiko Epson Corporation Display system, display device, information display method, and program
US10175923B2 (en) 2014-12-26 2019-01-08 Seiko Epson Corporation Display system, display device, information display method, and program
US11231897B2 (en) 2014-12-26 2022-01-25 Seiko Epson Corporation Display system, display device, information display method, and program
JP2016126365A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム
JP2016224890A (ja) * 2015-06-04 2016-12-28 富士通株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017056631A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理システム及び情報処理方法
US10628114B2 (en) 2015-09-30 2020-04-21 Sony Corporation Displaying images with integrated information
JPWO2017056631A1 (ja) * 2015-09-30 2018-07-19 ソニー株式会社 情報処理システム及び情報処理方法
JPWO2017158718A1 (ja) * 2016-03-15 2018-03-22 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末
WO2017158718A1 (ja) * 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末
JP2017200144A (ja) * 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 作業支援システム
JP2018207359A (ja) * 2017-06-07 2018-12-27 キヤノン株式会社 画像処理装置、撮像装置、作業支援システム、制御方法およびプログラム
JP2019093535A (ja) * 2017-11-28 2019-06-20 ファナック株式会社 教示操作盤およびロボット制御システム
US10766135B2 (en) 2017-11-28 2020-09-08 Fanuc Corporation Teach pendant and robot control system
JP2018174003A (ja) * 2018-08-16 2018-11-08 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP2021039567A (ja) * 2019-09-03 2021-03-11 東芝システムテクノロジー株式会社 作業支援システム及びプログラム
JP7398227B2 (ja) 2019-09-03 2023-12-14 東芝システムテクノロジー株式会社 作業支援システム及びプログラム
WO2023218740A1 (ja) * 2022-05-13 2023-11-16 株式会社Nttドコモ 表示制御システムおよびウェアラブル装置

Also Published As

Publication number Publication date
JP4288843B2 (ja) 2009-07-01
US6694194B2 (en) 2004-02-17
US20020049510A1 (en) 2002-04-25

Similar Documents

Publication Publication Date Title
JP4288843B2 (ja) 遠隔作業支援システム
KR101813834B1 (ko) 화상처리장치, 화상처리방법 및 화상처리프로그램과 촬영보조기재
US7142191B2 (en) Image information displaying device
JP4878083B2 (ja) 画像合成装置及び方法、プログラム
US7589747B2 (en) Mixed reality space image generation method and mixed reality system
WO2001086920A2 (en) Apparatus and method for the kinematic control of hand-held devices
CN103124945A (zh) 图像识别装置和操作判断方法以及程序
JP6969807B2 (ja) 作業支援システム
US20210264677A1 (en) Information processing apparatus, information processing method, and program
JP2014053794A (ja) 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
WO2017122274A1 (ja) 画像表示装置
CN109844600A (zh) 信息处理设备、信息处理方法和程序
JP2000181601A (ja) 情報表示システム
US20240077722A1 (en) Linked display system and head-mounted display
JP2001076168A (ja) 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法
US20200033936A1 (en) Remote work supporting system, remote work supporting method, and program
JPH05292543A (ja) 視覚装置
CN114979568A (zh) 一种基于增强现实技术的远程作业指导方法
JP6587553B2 (ja) 撮像装置及び表示方法
CN115002443A (zh) 图像采集的处理方法、装置、电子设备及存储介质
JPH06309067A (ja) 画像視認装置
JP7315422B2 (ja) 状況把握支援システム
JP2019215711A (ja) 情報提示装置及び情報提示システム
WO2022220208A1 (ja) データ処理装置、データ処理方法、プログラム及びデータ処理システム
JP2019079469A (ja) 作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090323

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees