JP2000231625A - 指示情報伝達装置 - Google Patents
指示情報伝達装置Info
- Publication number
- JP2000231625A JP2000231625A JP11034242A JP3424299A JP2000231625A JP 2000231625 A JP2000231625 A JP 2000231625A JP 11034242 A JP11034242 A JP 11034242A JP 3424299 A JP3424299 A JP 3424299A JP 2000231625 A JP2000231625 A JP 2000231625A
- Authority
- JP
- Japan
- Prior art keywords
- information
- work
- instruction
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 遠隔地の作業者に瞬時に適切な作業指示を与
えることができる装置を提供することを目的とする。 【解決手段】 遠隔地に在する作業者側のカメラ１１に
より作業対象物を撮像し、撮像された映像情報を作業指
示者側に送信し、表示部２１に表示する。作業指示者は
表示部２１に表示された映像情報に基づき、任意の位置
をポインティングしながら音声により作業指示を行う。
カメラ２２により作業指示者のポインティングした位置
を検出し、そのポインティング位置情報及び音声指示情
報を作業者側に送信する。作業者側では、受信したのポ
インティング位置情報に基づきマーカ映像を生成して、
カメラ１１にて撮像した映像情報と合成しディスプレイ
１３に表示し、同時に音声指示情報もディスプレイ１３
を介して作業者に出力する。
えることができる装置を提供することを目的とする。 【解決手段】 遠隔地に在する作業者側のカメラ１１に
より作業対象物を撮像し、撮像された映像情報を作業指
示者側に送信し、表示部２１に表示する。作業指示者は
表示部２１に表示された映像情報に基づき、任意の位置
をポインティングしながら音声により作業指示を行う。
カメラ２２により作業指示者のポインティングした位置
を検出し、そのポインティング位置情報及び音声指示情
報を作業者側に送信する。作業者側では、受信したのポ
インティング位置情報に基づきマーカ映像を生成して、
カメラ１１にて撮像した映像情報と合成しディスプレイ
１３に表示し、同時に音声指示情報もディスプレイ１３
を介して作業者に出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、遠隔地に在する作
業者に対して作業指示を行う作業指示伝達装置に関する
ものである。
業者に対して作業指示を行う作業指示伝達装置に関する
ものである。
【０００２】
【従来の技術】従来より、遠隔地に在する作業者に対し
て作業指示を行う場合、電話を用いた音声による作業指
示や、テレビ電話を用いた音声と画像情報による作業指
示を行ってきた。
て作業指示を行う場合、電話を用いた音声による作業指
示や、テレビ電話を用いた音声と画像情報による作業指
示を行ってきた。
【０００３】
【発明が解決しようとする課題】しかし、音声のみの作
業指示では、作業指示者の指示内容が遠隔地に在する作
業者に十分に伝わらないという問題点を有していた。
又、テレビ電話等で画像情報を付加する場合にも、遠隔
地にある作業対象に対する指示ができず、作業指示者の
指示内容が作業者に十分に伝わらないという問題点は解
消されていない。
業指示では、作業指示者の指示内容が遠隔地に在する作
業者に十分に伝わらないという問題点を有していた。
又、テレビ電話等で画像情報を付加する場合にも、遠隔
地にある作業対象に対する指示ができず、作業指示者の
指示内容が作業者に十分に伝わらないという問題点は解
消されていない。
【０００４】本発明は、前記問題点に鑑みてなされたも
のであり、遠隔地の作業者に瞬時に適切な作業指示を与
えることができる装置を提供することを目的とする。
のであり、遠隔地の作業者に瞬時に適切な作業指示を与
えることができる装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明を用いると、請求
項１は、作業対象を撮像する第１の撮像手段と、該第１
の撮像手段により撮像された映像情報を作業指示者側に
表示する第１の表示手段と、該第１の表示手段に表示さ
れた映像情報に基づき作業指示を行う、作業指示者の作
業指示動作を撮像する第２の撮像手段と、該第２の撮像
手段により撮像された作業指示動作に基づき作業指示者
のポインティング位置を検出してポインティング位置情
報を作業者側に出力する指示情報判断手段と、該指示情
報判断手段により得られたポインティング位置情報に基
づきマーカ映像を生成し、前記第１の撮像手段により撮
像された映像情報に合成する合成部と、該合成部により
合成された映像情報を表示する第２の表示手段と、を備
えたことを特徴とする。
項１は、作業対象を撮像する第１の撮像手段と、該第１
の撮像手段により撮像された映像情報を作業指示者側に
表示する第１の表示手段と、該第１の表示手段に表示さ
れた映像情報に基づき作業指示を行う、作業指示者の作
業指示動作を撮像する第２の撮像手段と、該第２の撮像
手段により撮像された作業指示動作に基づき作業指示者
のポインティング位置を検出してポインティング位置情
報を作業者側に出力する指示情報判断手段と、該指示情
報判断手段により得られたポインティング位置情報に基
づきマーカ映像を生成し、前記第１の撮像手段により撮
像された映像情報に合成する合成部と、該合成部により
合成された映像情報を表示する第２の表示手段と、を備
えたことを特徴とする。
【０００６】請求項２は、作業対象を撮像する第１の撮
像手段と、該第１の撮像手段により撮像された映像情報
を作業指示者側に表示する第１の表示手段と、該第１の
表示手段に表示された映像情報に基づき作業指示を行
う、作業指示者の作業指示動作を撮像する第２の撮像手
段と、前記第１の表示手段に表示された映像情報に基づ
き作業指示を行う、作業指示者の作業指示音声を入力す
る音声入力手段と、前記第２の撮像手段により撮像され
た作業指示動作に基づき作業指示者のポインティング位
置を検出し、前記音声入力手段から入力された作業指示
音声情報と前記ポインティング位置情報とを作業者側に
出力する指示情報判断手段と、該指示情報判断手段によ
り得られたポインティング位置情報に基づきマーカ映像
を生成し、前記第１の撮像手段により撮像された映像情
報に合成する合成部と、該合成部により合成された映像
情報を表示する第２の表示手段と、前記音声入力手段に
より得られた作業指示音声を出力する音声出力手段と、
を備えたことを特徴とする。
像手段と、該第１の撮像手段により撮像された映像情報
を作業指示者側に表示する第１の表示手段と、該第１の
表示手段に表示された映像情報に基づき作業指示を行
う、作業指示者の作業指示動作を撮像する第２の撮像手
段と、前記第１の表示手段に表示された映像情報に基づ
き作業指示を行う、作業指示者の作業指示音声を入力す
る音声入力手段と、前記第２の撮像手段により撮像され
た作業指示動作に基づき作業指示者のポインティング位
置を検出し、前記音声入力手段から入力された作業指示
音声情報と前記ポインティング位置情報とを作業者側に
出力する指示情報判断手段と、該指示情報判断手段によ
り得られたポインティング位置情報に基づきマーカ映像
を生成し、前記第１の撮像手段により撮像された映像情
報に合成する合成部と、該合成部により合成された映像
情報を表示する第２の表示手段と、前記音声入力手段に
より得られた作業指示音声を出力する音声出力手段と、
を備えたことを特徴とする。
【０００７】請求項３は、作業対象を撮像する第１の撮
像手段と、該第１の撮像手段により撮像された時刻情報
を付加した映像情報を作業指示者側に表示する第１の表
示手段と、該第１の表示手段に表示された映像情報に基
づき作業指示を行う、作業指示者の作業指示動作を撮像
する第２の撮像手段と、該第２の撮像手段により撮像さ
れた作業指示動作に基づき作業指示者のポインティング
位置を検出してポインティング位置情報及び前記時刻情
報を作業者側に出力する指示情報判断手段と、前記指示
情報判断手段により得られた前記時刻情報に基づき、前
記時刻情報の時刻から現在時刻までの頭部の移動量を抽
出し、前記指示情報判断手段により得られたポインティ
ング位置情報を補正するポインティング位置補正手段
と、該ポインティング位置補正手段により補正されたポ
インティング位置情報に基づきマーカ映像を生成し、前
記第１の撮像手段により撮像された映像情報に合成する
合成部と、該合成部により合成された映像情報を表示す
る第２の表示手段と、を備えたことを特徴とする。
像手段と、該第１の撮像手段により撮像された時刻情報
を付加した映像情報を作業指示者側に表示する第１の表
示手段と、該第１の表示手段に表示された映像情報に基
づき作業指示を行う、作業指示者の作業指示動作を撮像
する第２の撮像手段と、該第２の撮像手段により撮像さ
れた作業指示動作に基づき作業指示者のポインティング
位置を検出してポインティング位置情報及び前記時刻情
報を作業者側に出力する指示情報判断手段と、前記指示
情報判断手段により得られた前記時刻情報に基づき、前
記時刻情報の時刻から現在時刻までの頭部の移動量を抽
出し、前記指示情報判断手段により得られたポインティ
ング位置情報を補正するポインティング位置補正手段
と、該ポインティング位置補正手段により補正されたポ
インティング位置情報に基づきマーカ映像を生成し、前
記第１の撮像手段により撮像された映像情報に合成する
合成部と、該合成部により合成された映像情報を表示す
る第２の表示手段と、を備えたことを特徴とする。
【０００８】
【発明の実施の形態】本発明の指示情報伝達装置の一実
施の形態を図１乃至図４を参照しながら説明する。
施の形態を図１乃至図４を参照しながら説明する。
【０００９】図１は指示情報伝達装置のシステム概念図
である。図２は指示情報伝達装置の第１の実施の形態の
機能ブロック図である。図３は指示情報伝達装置の第２
の実施の形態の機能ブロック図である。図４は作業者側
に表示される映像情報の一例を示した模式図である。
である。図２は指示情報伝達装置の第１の実施の形態の
機能ブロック図である。図３は指示情報伝達装置の第２
の実施の形態の機能ブロック図である。図４は作業者側
に表示される映像情報の一例を示した模式図である。
【００１０】まず、第１の実施の形態について説明す
る。
る。
【００１１】図１は、遠隔地に在して作業を行う作業者
甲に対して、その作業に関する熟練した知識を有する作
業指示者乙が作業指示を行う場合についての指示情報伝
達装置のシステムの概念図であり、これを機能ブロック
化したものが図２となる。
甲に対して、その作業に関する熟練した知識を有する作
業指示者乙が作業指示を行う場合についての指示情報伝
達装置のシステムの概念図であり、これを機能ブロック
化したものが図２となる。
【００１２】図２に於いて、遠隔地に在する作業者甲側
には、人間の視野より広い広角撮像可能な小型ＣＣＤ等
により構成され作業対象及びその周りをリアルタイムに
撮像するカメラ１１、周囲の音声を集音するマイク１
２、ＬＣＤやスピーカ等により構成され後述する信号合
成部１４からの信号を映像表示及び音声出力するヘッド
マウント型のディスプレイ１３、カメラ１１により撮像
された映像と後述する送受信部１５を介して作業指示者
からの指示情報を合成してディスプレイ１３に供給する
信号合成部１４、有線回線又は無線回線により作業者甲
側及び作業指示者乙側間の信号の送受信を行う送受信部
１５が設けられている。
には、人間の視野より広い広角撮像可能な小型ＣＣＤ等
により構成され作業対象及びその周りをリアルタイムに
撮像するカメラ１１、周囲の音声を集音するマイク１
２、ＬＣＤやスピーカ等により構成され後述する信号合
成部１４からの信号を映像表示及び音声出力するヘッド
マウント型のディスプレイ１３、カメラ１１により撮像
された映像と後述する送受信部１５を介して作業指示者
からの指示情報を合成してディスプレイ１３に供給する
信号合成部１４、有線回線又は無線回線により作業者甲
側及び作業指示者乙側間の信号の送受信を行う送受信部
１５が設けられている。
【００１３】又、作業指示者乙側には、ディスプレイや
プロジェクタにより構成され遠隔地に在する作業者甲の
カメラ１１により撮像された映像及びマイク１２により
集音された音声を後述する送受信部２４を介して受信し
映像表示及び音声出力する表示部２１、作業指示者乙の
指示情報を入力するためのものであり作業指示者乙の作
業指示動作を撮像するカメラ２２、作業指示者乙の指示
音声を集音するマイク２３、作業指示入力用のカメラ及
びマイクにより入力された情報に基づき作業指示者乙の
指示を判断しその指示情報を後述する送受信部２５を介
して作業者甲側に送信する指示情報判断部２４、有線回
線又は無線回線により作業者甲側及び作業指示者乙側間
の信号の送受信を行う送受信部２５が設けられている。
尚、作業者側の送受信部１５及び作業指示者側の送受信
部２５との間は有線回線又は無線回線により接続されて
いるが、この回線は電話等の公衆回線や専用回線であっ
てもよいし特殊回線であってもよい。又、本実施の形態
ではカメラ１１及びマイク１２及びディスプレイ１３は
作業者甲の頭部に装着しているものとする。
プロジェクタにより構成され遠隔地に在する作業者甲の
カメラ１１により撮像された映像及びマイク１２により
集音された音声を後述する送受信部２４を介して受信し
映像表示及び音声出力する表示部２１、作業指示者乙の
指示情報を入力するためのものであり作業指示者乙の作
業指示動作を撮像するカメラ２２、作業指示者乙の指示
音声を集音するマイク２３、作業指示入力用のカメラ及
びマイクにより入力された情報に基づき作業指示者乙の
指示を判断しその指示情報を後述する送受信部２５を介
して作業者甲側に送信する指示情報判断部２４、有線回
線又は無線回線により作業者甲側及び作業指示者乙側間
の信号の送受信を行う送受信部２５が設けられている。
尚、作業者側の送受信部１５及び作業指示者側の送受信
部２５との間は有線回線又は無線回線により接続されて
いるが、この回線は電話等の公衆回線や専用回線であっ
てもよいし特殊回線であってもよい。又、本実施の形態
ではカメラ１１及びマイク１２及びディスプレイ１３は
作業者甲の頭部に装着しているものとする。
【００１４】以上の様な構成に基づいて説明する。
【００１５】まず、遠隔地に在する作業者甲は、作業対
象物方向を見ているものとすると、カメラ１１には作業
対象物が撮像される。又、この時の周囲の音声がマイク
１２により集音される。カメラ１１により撮像された映
像情報及び音声情報は送受信部１５を介して作業指示者
乙側に送信される。
象物方向を見ているものとすると、カメラ１１には作業
対象物が撮像される。又、この時の周囲の音声がマイク
１２により集音される。カメラ１１により撮像された映
像情報及び音声情報は送受信部１５を介して作業指示者
乙側に送信される。
【００１６】作業指示者乙側では、送受信部２５を介し
て受信した作業対象物の映像情報及び音声情報を表示部
２１に表示出力する。この時、作業者甲側からの映像情
報は視野より広い広角の映像情報が送らており、表示部
２１では、その全てを表示できる様な表示領域を有して
いる。又、作業者甲が装着しているヘッドマウント型の
ディスプレイ１３には作業者甲の視野と同程度の領域の
映像情報が表示されており、表示部２１ａには、作業者
甲が装着しているヘッドマウント型のディスプレイ１３
に表示されるものと同じ領域の映像が表示されており、
表示部２１ｂ及び表示部２１ｃには作業者甲の視野外の
映像情報が表示されている。作業指示者乙は、表示部２
１に表示された映像を見ながらジェスチャにて表示部２
１に出力されている映像の任意の場所をポインティング
指示しながら音声により作業指示を行う。例えば、作業
指示者乙は指で映像の任意の場所Ｐ点を指示し、音声に
より作業手順を説明する。
て受信した作業対象物の映像情報及び音声情報を表示部
２１に表示出力する。この時、作業者甲側からの映像情
報は視野より広い広角の映像情報が送らており、表示部
２１では、その全てを表示できる様な表示領域を有して
いる。又、作業者甲が装着しているヘッドマウント型の
ディスプレイ１３には作業者甲の視野と同程度の領域の
映像情報が表示されており、表示部２１ａには、作業者
甲が装着しているヘッドマウント型のディスプレイ１３
に表示されるものと同じ領域の映像が表示されており、
表示部２１ｂ及び表示部２１ｃには作業者甲の視野外の
映像情報が表示されている。作業指示者乙は、表示部２
１に表示された映像を見ながらジェスチャにて表示部２
１に出力されている映像の任意の場所をポインティング
指示しながら音声により作業指示を行う。例えば、作業
指示者乙は指で映像の任意の場所Ｐ点を指示し、音声に
より作業手順を説明する。
【００１７】作業指示者乙の作業指示動作は、カメラ２
２により撮像され、指示情報判断部２４にてジェスチャ
認識処理や方向検出処理により、作業指示者が指さした
位置Ｐ点を検出し、更に作業指示者の指示手順を説明す
る音声情報を検出し、Ｐ点の位置情報及び音声情報を送
受信部２５を介して遠隔地に在する作業者甲側に逐次送
信する。尚、ジェスチャ認識処理や指の方向検出処理
は、周知の技術を用いており詳細な説明は省略する。
２により撮像され、指示情報判断部２４にてジェスチャ
認識処理や方向検出処理により、作業指示者が指さした
位置Ｐ点を検出し、更に作業指示者の指示手順を説明す
る音声情報を検出し、Ｐ点の位置情報及び音声情報を送
受信部２５を介して遠隔地に在する作業者甲側に逐次送
信する。尚、ジェスチャ認識処理や指の方向検出処理
は、周知の技術を用いており詳細な説明は省略する。
【００１８】作業者甲側では、送受信部１５を介して受
信した、作業指示者乙が指したＰ点の位置情報及び音声
情報を信号合成部１４に供給する。信号合成部１４で
は、作業指示者乙が指したＰ点の位置情報に基づき、該
当位置にポインティングキャラクタ（マーカ）Ｍの画像
を生成し、カメラ１１により撮像され映像とポインティ
ングキャラクタ（マーカ）Ｍの画像とを合成して、ヘッ
ドマウント型のディスプレイ１３に表示させる。又、表
示と同時に、作業指示者からの音声情報もヘッドマウン
ト型のディスプレイ１３に供給され音声出力も行われ
る。図４に於いて、ヘッドマウント型のディスプレイ１
３に表示される映像の一例を示す。
信した、作業指示者乙が指したＰ点の位置情報及び音声
情報を信号合成部１４に供給する。信号合成部１４で
は、作業指示者乙が指したＰ点の位置情報に基づき、該
当位置にポインティングキャラクタ（マーカ）Ｍの画像
を生成し、カメラ１１により撮像され映像とポインティ
ングキャラクタ（マーカ）Ｍの画像とを合成して、ヘッ
ドマウント型のディスプレイ１３に表示させる。又、表
示と同時に、作業指示者からの音声情報もヘッドマウン
ト型のディスプレイ１３に供給され音声出力も行われ
る。図４に於いて、ヘッドマウント型のディスプレイ１
３に表示される映像の一例を示す。
【００１９】以上の様な処理により、遠隔地に在する作
業者甲は、作業指示者が指示する作業手順の音声指示情
報及び指示する位置（Ｐ点）を容易に認識でき、作業者
がその指示内容を瞬時に正確に理解できる。又、作業指
示者乙は、作業対象物以外の周りの状況も知ることがで
きるため、作業対象物の映像のみを見て作業指示する場
合に比べ、更に適切な作業指示が瞬時に行える。
業者甲は、作業指示者が指示する作業手順の音声指示情
報及び指示する位置（Ｐ点）を容易に認識でき、作業者
がその指示内容を瞬時に正確に理解できる。又、作業指
示者乙は、作業対象物以外の周りの状況も知ることがで
きるため、作業対象物の映像のみを見て作業指示する場
合に比べ、更に適切な作業指示が瞬時に行える。
【００２０】次に、第２の実施の形態について説明す
る。
る。
【００２１】図１は、遠隔地に在して作業を行う作業者
甲に対して、その作業に関する熟練した知識を有する作
業指示者乙が作業指示を行う場合についての指示情報伝
達装置のシステムの概念図であり、これを機能ブロック
化したものが図３となる。
甲に対して、その作業に関する熟練した知識を有する作
業指示者乙が作業指示を行う場合についての指示情報伝
達装置のシステムの概念図であり、これを機能ブロック
化したものが図３となる。
【００２２】図３に於いて、図２と同番号が付されてい
るものは第１の実施の形態と同様の処理を行うため、詳
細な説明は省略する。
るものは第１の実施の形態と同様の処理を行うため、詳
細な説明は省略する。
【００２３】遠隔地に在する作業者甲側には、カメラ１
１、マイク１２、ヘッドマウント型のディスプレイ１
３、送受信部１５の他に、作業者の頭部の方向（頭部の
向き）を検出する頭部方向検出部１６と、送受信部１５
を介して受信した作業指示者乙が指したＰ点の位置情報
を頭部方向検出部１６からの出力情報及び時間情報に基
づきＰ点の位置情報の補正を行うポインティング位置補
正部１７、カメラ１１により撮像された映像とポインテ
ィング位置補正部１７にて補正された位置情報に基づい
た指示情報を合成してディスプレイ１３に供給する信号
合成部１４が設けられている。尚、頭部方向検出部１６
では、図示しない時刻情報発生部から時刻情報を得て、
当該時刻に頭部がどの方向を向いたかを時刻情報に対応
付けて記憶し、過去数秒間分の情報を記憶しているもの
とする。
１、マイク１２、ヘッドマウント型のディスプレイ１
３、送受信部１５の他に、作業者の頭部の方向（頭部の
向き）を検出する頭部方向検出部１６と、送受信部１５
を介して受信した作業指示者乙が指したＰ点の位置情報
を頭部方向検出部１６からの出力情報及び時間情報に基
づきＰ点の位置情報の補正を行うポインティング位置補
正部１７、カメラ１１により撮像された映像とポインテ
ィング位置補正部１７にて補正された位置情報に基づい
た指示情報を合成してディスプレイ１３に供給する信号
合成部１４が設けられている。尚、頭部方向検出部１６
では、図示しない時刻情報発生部から時刻情報を得て、
当該時刻に頭部がどの方向を向いたかを時刻情報に対応
付けて記憶し、過去数秒間分の情報を記憶しているもの
とする。
【００２４】以上の様な構成に基づいて説明する。
【００２５】まず、遠隔地に在する作業者甲は、作業対
象物方向を見ているものとすると、カメラ１１には作業
対象物が撮像される。又、この時の周囲の音声がマイク
１２により集音される。カメラ１１により撮像された映
像情報及び音声情報は撮像した時刻情報と共に送受信部
１５を介して作業指示者乙側に送信される。尚、時刻情
報は図示しない時刻情報発生部により時刻情報を得てい
る。
象物方向を見ているものとすると、カメラ１１には作業
対象物が撮像される。又、この時の周囲の音声がマイク
１２により集音される。カメラ１１により撮像された映
像情報及び音声情報は撮像した時刻情報と共に送受信部
１５を介して作業指示者乙側に送信される。尚、時刻情
報は図示しない時刻情報発生部により時刻情報を得てい
る。
【００２６】作業指示者乙側では、送受信部２５を介し
て受信した作業対象物の映像情報及び音声情報を表示部
２１に表示出力する。この時、作業者甲側からの映像情
報は視野より広い広角の映像情報が送らており、表示部
２１では、その全てを表示できる様な表示領域を有して
いる。又、作業者甲が装着しているヘッドマウント型の
ディスプレイ１３には作業者甲の視野と同程度の領域の
映像情報が表示されており、表示部２１ａには、作業者
甲が装着しているヘッドマウント型のディスプレイ１３
に表示されるものと同じ領域の映像が表示されており、
表示部２１ｂ及び表示部２１ｃには作業者甲の視野外の
映像情報が表示されている。作業指示者乙は、表示部２
１に表示された映像を見ながらジェスチャにて表示部２
１に出力されている映像の任意の場所をポインティング
指示しながら音声により作業指示を行う。例えば、作業
指示者乙は指で映像の任意の場所Ｐ点を指示し、音声に
より作業手順を説明する。
て受信した作業対象物の映像情報及び音声情報を表示部
２１に表示出力する。この時、作業者甲側からの映像情
報は視野より広い広角の映像情報が送らており、表示部
２１では、その全てを表示できる様な表示領域を有して
いる。又、作業者甲が装着しているヘッドマウント型の
ディスプレイ１３には作業者甲の視野と同程度の領域の
映像情報が表示されており、表示部２１ａには、作業者
甲が装着しているヘッドマウント型のディスプレイ１３
に表示されるものと同じ領域の映像が表示されており、
表示部２１ｂ及び表示部２１ｃには作業者甲の視野外の
映像情報が表示されている。作業指示者乙は、表示部２
１に表示された映像を見ながらジェスチャにて表示部２
１に出力されている映像の任意の場所をポインティング
指示しながら音声により作業指示を行う。例えば、作業
指示者乙は指で映像の任意の場所Ｐ点を指示し、音声に
より作業手順を説明する。
【００２７】作業指示者乙の作業指示動作は、カメラ２
２により撮像され、指示情報判断部２４にてジェスチャ
認識処理や方向検出処理により、作業指示者が指さした
位置Ｐ点を検出し、更に作業指示者の指示手順を説明す
る音声情報を検出し、Ｐ点の位置情報及び音声情報及び
作業者甲側から送られてきた時刻情報を送受信部２５を
介して遠隔地に在する作業者甲側に逐次送信する。つま
り、作業者甲は遠隔地に在しているため、映像情報等を
送受信するとタイムラグが発生するため、作業指示者乙
が何時に撮像された映像情報にに対して作業指示を行っ
ているかを作業者甲側に送信するのである。尚、ジェス
チャ認識処理や指の方向検出処理は、周知の技術を用い
ており詳細な説明は省略する。
２により撮像され、指示情報判断部２４にてジェスチャ
認識処理や方向検出処理により、作業指示者が指さした
位置Ｐ点を検出し、更に作業指示者の指示手順を説明す
る音声情報を検出し、Ｐ点の位置情報及び音声情報及び
作業者甲側から送られてきた時刻情報を送受信部２５を
介して遠隔地に在する作業者甲側に逐次送信する。つま
り、作業者甲は遠隔地に在しているため、映像情報等を
送受信するとタイムラグが発生するため、作業指示者乙
が何時に撮像された映像情報にに対して作業指示を行っ
ているかを作業者甲側に送信するのである。尚、ジェス
チャ認識処理や指の方向検出処理は、周知の技術を用い
ており詳細な説明は省略する。
【００２８】作業者甲側では、送受信部１５を介して受
信した、作業指示者乙が指したＰ点の位置情報及び音声
情報及び時刻情報をポインティング位置補正部１７に供
給する。ポインティング位置補正部１７では、図示しな
い時刻発生部からの現在の時刻情報と受信した時刻情報
とを抽出し、作業指示がなされた映像が撮像された時の
頭部の方向と、現在カメラ１１で撮像されている頭部の
方向とを比較して、頭部の移動量を抽出し、この移動量
に基づいて作業指示者乙が指したＰ点の位置情報を現在
撮像されている映像に適合する位置情報に補正し、該位
置情報を信号合成部１４に供給する。信号合成部１４で
は、作業指示者乙が指したＰ点を補正した位置情報に基
づき、該当位置にポインティングキャラクタ（マーカ）
Ｍの画像を生成し、カメラ１１により撮像され映像とポ
インティングキャラクタ（マーカ）Ｍの画像とを合成し
て、ヘッドマウント型のディスプレイ１３に表示させ
る。又、表示と同時に、作業指示者からの音声情報もヘ
ッドマウント型のディスプレイ１３に供給され音声出力
も行われる。図４に於いて、ヘッドマウント型のディス
プレイ１３に表示される映像の一例を示す。
信した、作業指示者乙が指したＰ点の位置情報及び音声
情報及び時刻情報をポインティング位置補正部１７に供
給する。ポインティング位置補正部１７では、図示しな
い時刻発生部からの現在の時刻情報と受信した時刻情報
とを抽出し、作業指示がなされた映像が撮像された時の
頭部の方向と、現在カメラ１１で撮像されている頭部の
方向とを比較して、頭部の移動量を抽出し、この移動量
に基づいて作業指示者乙が指したＰ点の位置情報を現在
撮像されている映像に適合する位置情報に補正し、該位
置情報を信号合成部１４に供給する。信号合成部１４で
は、作業指示者乙が指したＰ点を補正した位置情報に基
づき、該当位置にポインティングキャラクタ（マーカ）
Ｍの画像を生成し、カメラ１１により撮像され映像とポ
インティングキャラクタ（マーカ）Ｍの画像とを合成し
て、ヘッドマウント型のディスプレイ１３に表示させ
る。又、表示と同時に、作業指示者からの音声情報もヘ
ッドマウント型のディスプレイ１３に供給され音声出力
も行われる。図４に於いて、ヘッドマウント型のディス
プレイ１３に表示される映像の一例を示す。
【００２９】以上の様な処理により、遠隔地間の情報伝
送によるタイムラグの間に作業者甲が頭部を移動させた
場合にでも、ポインティング位置を補正することにより
作業指示者の指示する位置がずれることなく作業者に伝
えられる。
送によるタイムラグの間に作業者甲が頭部を移動させた
場合にでも、ポインティング位置を補正することにより
作業指示者の指示する位置がずれることなく作業者に伝
えられる。
【００３０】本実施の形態では、ポインティング指示を
作業指示者乙のジェスチャに基づいて行っているが、マ
ウス等の外部ポインティング装置を用いても良い。又、
作業者甲のディスプレイ１３にはポインティングキャラ
クタ（マーカ）Ｍが表示されるが、作業対象物の映像に
合成して表示されるため、非常に見難い場合があるの
で、ポインティングキャラクタ（マーカ）Ｍを点滅表示
させる様にしても良い。又、ポインティングキャラクタ
（マーカ）Ｍの位置に基づいて、ディスプレイ１３の音
声出力部から位置を認識できる効果音を出力する様にし
ても良い。例えば、ディスプレイの右側にポインティン
グキャラクタＭが位置している場合には、ディスプレイ
１３の右側音声出力部から効果音を出力し、ディスプレ
イの左側にポインティングキャラクタ（マーカ）Ｍが位
置している場合には、ディスプレイ１３の左側音声出力
部から効果音を出力する様にすると、作業者がポインテ
ィング位置を更に認識し易くなる。
作業指示者乙のジェスチャに基づいて行っているが、マ
ウス等の外部ポインティング装置を用いても良い。又、
作業者甲のディスプレイ１３にはポインティングキャラ
クタ（マーカ）Ｍが表示されるが、作業対象物の映像に
合成して表示されるため、非常に見難い場合があるの
で、ポインティングキャラクタ（マーカ）Ｍを点滅表示
させる様にしても良い。又、ポインティングキャラクタ
（マーカ）Ｍの位置に基づいて、ディスプレイ１３の音
声出力部から位置を認識できる効果音を出力する様にし
ても良い。例えば、ディスプレイの右側にポインティン
グキャラクタＭが位置している場合には、ディスプレイ
１３の右側音声出力部から効果音を出力し、ディスプレ
イの左側にポインティングキャラクタ（マーカ）Ｍが位
置している場合には、ディスプレイ１３の左側音声出力
部から効果音を出力する様にすると、作業者がポインテ
ィング位置を更に認識し易くなる。
【００３１】
【発明の効果】本発明を用いると、遠隔地に在する作業
者甲は、作業指示者が指示する作業手順の音声指示情報
及び指示する位置（Ｐ点）を容易に認識でき、作業者が
その指示内容を瞬時に正確に理解できる。
者甲は、作業指示者が指示する作業手順の音声指示情報
及び指示する位置（Ｐ点）を容易に認識でき、作業者が
その指示内容を瞬時に正確に理解できる。
【００３２】又、作業指示者は、作業対象物の映像を見
ながら作業指示できるため適切な作業指示が瞬時に行え
る。
ながら作業指示できるため適切な作業指示が瞬時に行え
る。
【００３３】又、遠隔地間の情報伝送によるタイムラグ
の間に作業者甲が頭部を移動させた場合にでも、ポイン
ティング位置を補正することにより作業指示者の指示す
る位置がずれることなく作業者に伝えられる。
の間に作業者甲が頭部を移動させた場合にでも、ポイン
ティング位置を補正することにより作業指示者の指示す
る位置がずれることなく作業者に伝えられる。
【図１】本発明の指示情報伝達装置の一実施の形態を示
したシステム概念図である。
したシステム概念図である。
【図２】指示情報伝達装置の第１の実施の形態の機能ブ
ロック図である。
ロック図である。
【図３】指示情報伝達装置の第２の実施の形態の機能ブ
ロック図である。
ロック図である。
【図４】作業者側に表示される映像情報の一実施の形態
を示した模式図である。
を示した模式図である。
１１、２２ カメラ １２、２３ マイク １３ ディスプレイ １４ 信号合成部 １５、２５ 送受信部 １６ 頭部方向検出部 １７ ポインティング位置補正部 ２１ 表示部 ２４ 指示情報判断部
フロントページの続き Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CE08 DA07 DA16 DB02 DB09 DC02 5C054 AA02 DA01 DA09 FE14 FE16 FE19 HA03 5C064 AA06 AC04 AC13 AC20 AC22 AD08 AD18
Claims (3)
- 【請求項１】 作業対象を撮像する第１の撮像手段と、 該第１の撮像手段により撮像された映像情報を作業指示
者側に表示する第１の表示手段と、 該第１の表示手段に表示された映像情報に基づき作業指
示を行う、作業指示者の作業指示動作を撮像する第２の
撮像手段と、 該第２の撮像手段により撮像された作業指示動作に基づ
き作業指示者のポインティング位置を検出してポインテ
ィング位置情報を作業者側に出力する指示情報判断手段
と、 該指示情報判断手段により得られたポインティング位置
情報に基づきマーカ映像を生成し、前記第１の撮像手段
により撮像された映像情報に合成する合成部と、 該合成部により合成された映像情報を表示する第２の表
示手段と、 を備えたことを特徴とする指示情報伝達装置。 - 【請求項２】 作業対象を撮像する第１の撮像手段と、 該第１の撮像手段により撮像された映像情報を作業指示
者側に表示する第１の表示手段と、 該第１の表示手段に表示された映像情報に基づき作業指
示を行う、作業指示者の作業指示動作を撮像する第２の
撮像手段と、 前記第１の表示手段に表示された映像情報に基づき作業
指示を行う、作業指示者の作業指示音声を入力する音声
入力手段と、 前記第２の撮像手段により撮像された作業指示動作に基
づき作業指示者のポインティング位置を検出し、前記音
声入力手段から入力された作業指示音声情報と前記ポイ
ンティング位置情報とを作業者側に出力する指示情報判
断手段と、 該指示情報判断手段により得られたポインティング位置
情報に基づきマーカ映像を生成し、前記第１の撮像手段
により撮像された映像情報に合成する合成部と、 該合成部により合成された映像情報を表示する第２の表
示手段と、 前記音声入力手段により得られた作業指示音声を出力す
る音声出力手段と、 を備えたことを特徴とする指示情報伝達装置。 - 【請求項３】 作業対象を撮像する第１の撮像手段と、 該第１の撮像手段により撮像された時刻情報を付加した
映像情報を作業指示者側に表示する第１の表示手段と、 該第１の表示手段に表示された映像情報に基づき作業指
示を行う、作業指示者の作業指示動作を撮像する第２の
撮像手段と、 該第２の撮像手段により撮像された作業指示動作に基づ
き作業指示者のポインティング位置を検出してポインテ
ィング位置情報及び前記時刻情報を作業者側に出力する
指示情報判断手段と、 前記指示情報判断手段により得られた前記時刻情報に基
づき、前記時刻情報の時刻から現在時刻までの頭部の移
動量を抽出し、前記指示情報判断手段により得られたポ
インティング位置情報を補正するポインティング位置補
正手段と、 該ポインティング位置補正手段により補正されたポイン
ティング位置情報に基づきマーカ映像を生成し、前記第
１の撮像手段により撮像された映像情報に合成する合成
部と、 該合成部により合成された映像情報を表示する第２の表
示手段と、 を備えたことを特徴とする指示情報伝達装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11034242A JP2000231625A (ja) | 1999-02-12 | 1999-02-12 | 指示情報伝達装置 |
| US09/501,223 US6611242B1 (en) | 1999-02-12 | 2000-02-10 | Information transmission system to transmit work instruction information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11034242A JP2000231625A (ja) | 1999-02-12 | 1999-02-12 | 指示情報伝達装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000231625A true JP2000231625A (ja) | 2000-08-22 |
Family
ID=12408702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11034242A Withdrawn JP2000231625A (ja) | 1999-02-12 | 1999-02-12 | 指示情報伝達装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000231625A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073730A (ja) * | 2000-09-05 | 2002-03-12 | Jutaku Shizai Ryutsu Center:Kk | 建築物の施工状況確認方法 |
| JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
| JP2006259926A (ja) * | 2005-03-15 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 作業指示システムとそのプログラム |
| JP2007034238A (ja) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 現場作業支援システム |
| JP2012156820A (ja) * | 2011-01-27 | 2012-08-16 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及びその作動方法 |
| WO2012169157A1 (ja) * | 2011-06-07 | 2012-12-13 | パナソニック株式会社 | 被サポート装置、サポート装置、機器間ガイドシステム、記録媒体、及び集積回路 |
| JP2015115723A (ja) * | 2013-12-10 | 2015-06-22 | Kddi株式会社 | 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム |
| JP2017062650A (ja) * | 2015-09-25 | 2017-03-30 | セイコーエプソン株式会社 | 表示システム、表示装置、情報表示方法、及び、プログラム |
| WO2017056631A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理システム及び情報処理方法 |
| JP2018511359A (ja) * | 2015-02-20 | 2018-04-26 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
| JP2018201077A (ja) * | 2017-05-25 | 2018-12-20 | キヤノン株式会社 | 撮像装置およびその制御方法、画像処理装置およびその制御方法、作業支援システム、プログラム |
| JP2021047499A (ja) * | 2019-09-17 | 2021-03-25 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、および、情報処理システム |
| JP2021131764A (ja) * | 2020-02-20 | 2021-09-09 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
-
1999
- 1999-02-12 JP JP11034242A patent/JP2000231625A/ja not_active Withdrawn
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073730A (ja) * | 2000-09-05 | 2002-03-12 | Jutaku Shizai Ryutsu Center:Kk | 建築物の施工状況確認方法 |
| JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
| JP2006259926A (ja) * | 2005-03-15 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 作業指示システムとそのプログラム |
| JP2007034238A (ja) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 現場作業支援システム |
| JP2012156820A (ja) * | 2011-01-27 | 2012-08-16 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及びその作動方法 |
| WO2012169157A1 (ja) * | 2011-06-07 | 2012-12-13 | パナソニック株式会社 | 被サポート装置、サポート装置、機器間ガイドシステム、記録媒体、及び集積回路 |
| JP2015115723A (ja) * | 2013-12-10 | 2015-06-22 | Kddi株式会社 | 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム |
| JP2020049296A (ja) * | 2015-02-20 | 2020-04-02 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
| JP2021100690A (ja) * | 2015-02-20 | 2021-07-08 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
| JP2018511359A (ja) * | 2015-02-20 | 2018-04-26 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
| US10908681B2 (en) | 2015-02-20 | 2021-02-02 | Covidien Lp | Operating room and surgical site awareness |
| JP2017062650A (ja) * | 2015-09-25 | 2017-03-30 | セイコーエプソン株式会社 | 表示システム、表示装置、情報表示方法、及び、プログラム |
| JPWO2017056631A1 (ja) * | 2015-09-30 | 2018-07-19 | ソニー株式会社 | 情報処理システム及び情報処理方法 |
| US10628114B2 (en) | 2015-09-30 | 2020-04-21 | Sony Corporation | Displaying images with integrated information |
| WO2017056631A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理システム及び情報処理方法 |
| JP2018201077A (ja) * | 2017-05-25 | 2018-12-20 | キヤノン株式会社 | 撮像装置およびその制御方法、画像処理装置およびその制御方法、作業支援システム、プログラム |
| JP2021047499A (ja) * | 2019-09-17 | 2021-03-25 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、および、情報処理システム |
| JP7243541B2 (ja) | 2019-09-17 | 2023-03-22 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、および、情報処理システム |
| JP2021131764A (ja) * | 2020-02-20 | 2021-09-09 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
| JP7392512B2 (ja) | 2020-02-20 | 2023-12-06 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000299851A (ja) | 指示情報伝達装置 | |
| WO2019092956A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| KR101231518B1 (ko) | 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법 | |
| JP2000231625A (ja) | 指示情報伝達装置 | |
| JP2011023819A (ja) | 撮像装置、撮像方法及びプログラム | |
| US11818454B2 (en) | Controller and control method | |
| KR20090088325A (ko) | 화상 처리 장치, 화상 처리 방법 및 촬상 장치 | |
| JP2009071478A (ja) | 情報通信端末および情報通信システム | |
| CN112351251A (zh) | 图像处理系统和终端设备 | |
| JP2007158680A (ja) | 追尾撮像装置およびこれを利用した追尾撮像システム | |
| JP2016213674A (ja) | 表示制御システム、表示制御装置、表示制御方法、及びプログラム | |
| JP2003009108A (ja) | 画像通信システム、画像通信装置、および画像通信方法 | |
| JP2000299852A (ja) | 指示情報伝達装置 | |
| JPH11234640A (ja) | 通信制御システム | |
| WO2008066705A1 (en) | Image capture apparatus with indicator | |
| US20220167083A1 (en) | Signal processing apparatus, signal processing method, program, and directivity variable system | |
| JP2008182321A (ja) | 画像表示システム | |
| JP2005303683A (ja) | 画像送受信装置 | |
| JP2001103464A (ja) | 指示情報伝達装置 | |
| JP3449939B2 (ja) | 映像表示方法及びそのプログラムを記録した記録媒体 | |
| JP2008079917A (ja) | トレーニングシステム | |
| JP2011163776A (ja) | 音源モニタリング装置 | |
| JP2955451B2 (ja) | 作業遠隔指示装置 | |
| JP2010034699A (ja) | 放送送信装置および放送受信装置および放送送受信システム | |
| JP6987538B2 (ja) | 画像処理装置、作業支援システム、制御方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070727 |