JP2021039567A - 作業支援システム及びプログラム - Google Patents
作業支援システム及びプログラム Download PDFInfo
- Publication number
- JP2021039567A JP2021039567A JP2019160777A JP2019160777A JP2021039567A JP 2021039567 A JP2021039567 A JP 2021039567A JP 2019160777 A JP2019160777 A JP 2019160777A JP 2019160777 A JP2019160777 A JP 2019160777A JP 2021039567 A JP2021039567 A JP 2021039567A
- Authority
- JP
- Japan
- Prior art keywords
- fingers
- supporter
- hand
- unit
- work support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 70
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 230000005057 finger movement Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Abstract
Description
作業の支援者が遠隔地の作業者に指示を行うための作業支援装置と、前記作業者が装着する頭部装着型表示装置と、を有する作業支援システムであって、
前記作業支援装置は、支援者の手指を撮影するハンド位置撮影部と、撮影された前記支援者の手指の位置又は動き情報を演算するジェスチャ判定部と、前記手指の位置又は動き情報を前記頭部装着型表示装置へ送信するハンド位置情報送信部と、前記頭部装着型表示装置から送られてくる映像情報を受信する映像受信部と、受信した前記映像情報を表示する映像表示部と、を備え、
前記頭部装着型表示装置は、透過表示された現実空間の像に仮想映像を重畳して表示する透過型表示部と、前記作業支援装置から送信される前記支援者の手指の位置又は動き情報を受信するハンド位置情報受信部と、前記支援者の手指の位置又は動き情報に基づいて前記透過型表示部へ前記支援者の手指の仮想映像を表示するバーチャルハンド表示部と、前記透過型表示部に表示される現実空間の像及び仮想映像を映像情報として前記作業支援装置へ送信する映像送信部と、を備えたことを特徴とする。
前記頭部装着型表示装置は、描画の開始指令を受信すると、その後の手指の動きに従って前記透過型表示部への仮想映像の描画を行い、描画の終了指令を受信すると、前記仮想映像の描画を終了することを特徴とする。
これにより、より具体的な作業支援が可能になる。
前記作業支援装置は、工具の仮想映像を表示するための工具情報を記憶する工具情報記憶部と、前記工具情報を選択する工具情報選択部とを備え、前記ハンド位置情報送信部は、前記工具情報選択部によって選択された前記工具情報を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、前記工具情報を受信すると、前記バーチャルハンドによって表示される前記支援者の手指の仮想映像に重ねて、該工具情報に基づいて工具の仮想映像を表示するバーチャル工具表示部を備えたことを特徴とする。
前記作業支援装置において、支援者の手指の位置又は動き情報を取得して、前記頭部装着型表示装置へ送信する段階と、
支援者の手指の位置又は動き情報をもとに支援者の手指の仮想映像を透過型表示部へ表示する段階と、
前記透過型表示部に表示される作業者の手指の映像と、前記仮想映像との重なりを検出する段階と、
重なりを検出した場合は、最初に重なりを検出した時点の作業者の所定部位の座標と、当該時点の前記支援者の手指の位置又は動き情報とを対応づける段階と、
最初に重なりを検出したときに前記仮想映像を識別表示する段階と、
を含むことを特徴とする。
作業の支援者の手指の位置又は動き情報を受信して、透過表示される現実空間の像に前記支援者の手指の仮想映像を重畳して表示する透過型表示部を備える頭部装着型表示装置で動作するコンピュータ実行可能なプログラムであって、
作業者の手指を検出する自ハンド検出処理と、
前記自ハンド検出処理によって検出された前記作業者の手指と、前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定処理と、
前記ハンド重なり判定処理が重なり有りと判定したときの前記作業者の手指の位置を前記手指の仮想映像の基準位置として、その後受信する前記手指の位置又は動き情報に基づいて前記透過型表示部において前記仮想映像を移動させるバーチャルハンド表示処理と、
を実行することを特徴とする。
以下、各装置50,10の構成を詳述する。
作業支援装置50は、作業支援者の手指を撮影するためのハンド位置撮影部52、撮影された手指の位置又は動き情報を演算するジェスチャ判定部54、支援者の手指の位置情報をHMD10へ送信するハンド位置情報送信部55、作業に使用する工具情報の一覧を記憶する工具情報記憶部1(61)、工具情報記憶部1(61)から工具を選択する工具選択部56、HMD10から送られてくる映像情報を受信する映像受信部53、受信した映像情報を表示する映像表示部51、および映像情報を記録する映像記録部60を備える。
まず、HMD10と作業支援装置50とを通信接続した初期段階で実施されるキャリブレーション処理について説明する。この処理は、作業支援装置50側での作業支援者の手指の動きをHMD10側の座標系に置き換える処理である。この処理を行うことにより、HMD10の透過型表示部11に表示される現実映像の適切な位置に作業支援者の手指70を仮想表示させることができ、効果的な作業支援が可能となる。
(キャリブレーション処理の概要)
図2に示すように、作業支援者がハンド位置撮影部52の上方に手をかざすと、上述したモーションジェスチャトラッキング技術によって動作するジェスチャ判定部54により、支援者の手指の位置情報が取り込まれる。この位置情報は、ハンド位置情報送信部55によってHMD10へ送信される。HMD10のハンド位置情報受信部13は、この位置情報を受信すると、バーチャルハンド表示部14により透過型表示部11の予め定めた位置に表示する。バーチャルハンド表示部14は、また仮想表示する支援者の手指の位置座標をハンド重なり判定部17に渡す。
作業支援装置50側において、ハンド位置撮影部52は、支援者の手の稼動範囲のいずれの方向への動きも検出できるような位置に配置するのが好ましい。一例として、支援者は、自身の正面に映像表示部51を配置し、手を正面に向かって伸ばしたときの腕の中央付近の下方にハンド位置撮影部52を配置する(図2参照)。支援者は椅子にすわり、机の上にモーションジェスチャーを置いてもよいし、床等の上においてもよい。上記のごとくハンド位置撮影部52を配置して、手をその上方にかざして手の平を広げる。この手の平の位置がキャリブレーション時の位置(ニュートラルの位置)となる。
作業者は、図3に示すように透過型表示部11に仮想表示される支援者の手指に自身の手指を重ねる。
1)支援者の手指の位置を、作業者の位置を基準とした相対座標で表して、作業者の移動と共に支援者の手指も移動させる。さらに支援者が動かした移動量および移動方向へHMD10側の空間で手指を移動させる。
2)支援者の手指をHMD側の絶対座標(ワールド座標系)で表す。この場合、支援者の手指は、作業者の移動に伴って動かない。
3)作業者から見て奥行き(例えばZ軸方向)のみは、作業者のZ座標を基準とし、そこからのHMD側の移動量で表す。左右上下(X,Y方向)はキャリブレーション時の基準(絶対)座標を基準とする。
作業支援装置50において支援者は、工具を選択する。工具の選択は、パレットを表示させて一覧から選択させるようにしてもよい、工具選択部56が手指の動きあるいは形状を検知したときに、その動きに対応する工具の識別情報を工具情報記憶部1(61)から抽出してHMD10へ送信するようにしてもよい。
作業者が作業対象物に近づくと、これに伴い支援者の手指も近づく。そして、支援者は手を伸ばすと、作業対象方向へ仮想表示された手指が移動する。なお、作業者の手指と仮想表示された支援者の手指とが一定距離以上離れるとアラーム出力するようにしてもよい。
2 通信回線
10 頭部装着型表示装置(HMD)
11 透過型表示部
12 映像送信部
13 ハンド位置情報受信部
14 バーチャルハンド表示部
15 バーチャル工具表示部
16 自ハンド検出部
17 ハンド重なり判定部
20 工具情報記憶部2
30 仮想表示される支援者の手指
31 仮想表示される工具
40 現実空間における作業者の手指
50 作業支援装置
51 映像表示部
52 ハンド位置撮影部
53 映像受信部
54 ジェスチャ判定部
55 ハンド位置情報送信部
56 工具選択部
60 映像記録部
70 作業支援装置側での作業支援者の手指
Claims (8)
- 作業の支援者が作業者に対して指示を行うための作業支援装置と、前記作業者が装着する頭部装着型表示装置と、を有する作業支援システムであって、
前記作業支援装置は、
支援者の手指を撮影するハンド位置撮影部と、
撮影された前記支援者の手指の位置又は動き情報を演算するジェスチャ判定部と、
前記手指の位置又は動き情報を前記頭部装着型表示装置へ送信するハンド位置情報送信部と、
前記頭部装着型表示装置から送られてくる映像情報を受信する映像受信部と、
受信した前記映像情報を表示する映像表示部と、
を備え、
前記頭部装着型表示装置は、
透過表示された現実空間の像に仮想映像を重畳して表示する透過型表示部と、
前記作業支援装置から送信される前記支援者の手指の位置又は動き情報を受信するハンド位置情報受信部と、
前記支援者の手指の位置又は動き情報に基づいて前記透過型表示部へ前記支援者の手指の仮想映像を表示するバーチャルハンド表示部と、
前記透過型表示部に表示される現実空間の像及び仮想映像を映像情報として前記作業支援装置へ送信する映像送信部と、
を備えたことを特徴とする作業支援システム。 - 前記頭部装着型表示装置は、
作業者の手指を検出する自ハンド検出部と、
前記自ハンド検出部によって検出された前記作業者の手指と、前記バーチャルハンド表示部によって表示される前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定部と、
当該ハンド重なり判定部の判定の結果を出力する重なり判定表示部と、
を備えたことを特徴とする請求項1に記載の作業支援システム。 - 前記バーチャルハンド表示部は、前記ハンド重なり判定部が重なり有りと判定したときの前記作業者の手指の位置に基づいて前記手指の仮想映像の基準位置を設定し、その後ハンド位置情報受信部によって受信する前記手指の位置又は動き情報と前記基準位置に基づいて前記透過型表示部において前記仮想映像を移動させることを特徴とする請求項2に記載の作業支援システム。
- 前記作業支援装置は、受信した前記映像情報を記録する映像記録部を備えたことを特徴とする請求項1〜3のいずれか一項に記載の作業支援システム。
- 前記作業支援装置は、前記ジェスチャ判定部によって特定の手指の動きが検知されたときに、前記ハンド位置情報送信部は、描画の開始指令または終了指令を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、描画の開始指令を受信すると、その後の手指の動きに従って前記透過型表示部への仮想映像の描画を行い、描画の終了指令を受信すると、前記仮想映像の描画を終了することを特徴とする請求項1〜4のいずれか一項に記載の作業支援システム。 - 前記作業支援装置は、
工具の仮想映像を表示するための工具情報を記憶する工具情報記憶部と、
前記工具情報を選択する工具情報選択部と、
を備え、
前記ハンド位置情報送信部は、前記工具情報選択部によって選択された前記工具情報を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、
前記工具情報を受信すると、前記バーチャルハンドによって表示される前記支援者の手指の仮想映像に重ねて、該工具情報に基づいて工具の仮想映像を表示するバーチャル工具表示部を備えたことを特徴とする請求項1〜5のいずれか一項に記載の作業支援システム。 - 前記支援者の手指の仮想映像と前記工具の仮想映像とは、それぞれ対応する箇所が関連付けられており、前記バーチャル工具表示部は、前記工具の仮想映像を、前記支援者の手指の仮想映像と前記対応する箇所が重なるように前記工具の仮想映像を回転又は変形させて表示することを特徴とする請求項6に記載の作業支援システム。
- 作業の支援者の手指の位置又は動き情報を受信して、透過表示される現実空間の像に前記支援者の手指の仮想映像を重畳して表示する透過型表示部を備える頭部装着型表示装置で動作するコンピュータ実行可能なプログラムであって、
作業者の手指を検出する自ハンド検出処理と、
前記自ハンド検出処理によって検出された前記作業者の手指と、前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定処理と、
前記ハンド重なり判定処理が重なり有りと判定したときの前記作業者の手指の位置を前記手指の仮想映像の基準位置として、その後受信する前記手指の位置又は動き情報に基づいて前記透過型表示部において前記仮想映像を移動させるバーチャルハンド表示処理と、
を実行することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160777A JP7398227B2 (ja) | 2019-09-03 | 2019-09-03 | 作業支援システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160777A JP7398227B2 (ja) | 2019-09-03 | 2019-09-03 | 作業支援システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039567A true JP2021039567A (ja) | 2021-03-11 |
JP7398227B2 JP7398227B2 (ja) | 2023-12-14 |
Family
ID=74847166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019160777A Active JP7398227B2 (ja) | 2019-09-03 | 2019-09-03 | 作業支援システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7398227B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4216008A1 (en) | 2022-01-25 | 2023-07-26 | Arum Incorporated | Cutting control apparatus, cutting control method, and cutting-control nontransitory computer-readable recording medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2005063225A (ja) * | 2003-08-15 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム |
-
2019
- 2019-09-03 JP JP2019160777A patent/JP7398227B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2005063225A (ja) * | 2003-08-15 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム |
Non-Patent Citations (1)
Title |
---|
後藤 充裕,外4名: "作業者視点の連続撮影映像を活用した作業記録自動生成システムの提案", 情報処理学会 研究報告 マルチメディア通信と分散処理(DPS), vol. Vol.2015-DPS-165, No.2, JPN6023028727, 3 December 2015 (2015-12-03), JP, pages 1 - 6, ISSN: 0005103689 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4216008A1 (en) | 2022-01-25 | 2023-07-26 | Arum Incorporated | Cutting control apparatus, cutting control method, and cutting-control nontransitory computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP7398227B2 (ja) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5936155B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
US8139087B2 (en) | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program | |
JP6057396B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作処理方法 | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
JP5843340B2 (ja) | 3次元環境共有システム及び3次元環境共有方法 | |
JP5871345B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
US9256986B2 (en) | Automated guidance when taking a photograph, using virtual objects overlaid on an image | |
US10600253B2 (en) | Information processing apparatus, information processing method, and program | |
WO2014147858A1 (ja) | 3次元ロック解除装置、3次元ロック解除方法及びプログラム | |
JP6643170B2 (ja) | 作業支援システム及び方法 | |
JP6653526B2 (ja) | 測定システムおよびユーザインタフェース装置 | |
KR20110097639A (ko) | 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템 | |
JP2021081757A (ja) | 情報処理装置、情報処理方法、および、プログラム | |
JP2015125641A (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP2016110177A (ja) | 3次元入力装置及び入力システム | |
JP2009258884A (ja) | ユーザインタフェイス | |
JP7398227B2 (ja) | 作業支援システム及びプログラム | |
KR20110087407A (ko) | 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법 | |
JP5863984B2 (ja) | ユーザインタフェース装置及びユーザインタフェース方法 | |
US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
WO2019106862A1 (ja) | 操作案内システム | |
KR20190048810A (ko) | 증강현실용 컨텐츠 제공 장치 및 방법 | |
JP2019045997A (ja) | 情報処理装置及びその方法、プログラム | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7398227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |