JP2005323310A - 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム - Google Patents
視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム Download PDFInfo
- Publication number
- JP2005323310A JP2005323310A JP2004141632A JP2004141632A JP2005323310A JP 2005323310 A JP2005323310 A JP 2005323310A JP 2004141632 A JP2004141632 A JP 2004141632A JP 2004141632 A JP2004141632 A JP 2004141632A JP 2005323310 A JP2005323310 A JP 2005323310A
- Authority
- JP
- Japan
- Prior art keywords
- visual field
- image
- unit
- photographing
- movement amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】遠隔作業支援システムにおいて、現場作業者が特殊な道具を装備することなく作業支援者からの指示を受けることができ、これにより作業効率の向上及び信頼性の向上を図るとともに、現場作業者及び作業支援者の負担を大幅に軽減することができる視野共有装置を提供する。
【解決手段】作業支援者により拠点Bのカメラ24を任意の視野まで移動させる視野移動量情報がキーボード17またはマウス18により入力されると、この視野移動量情報を視野移動量入力装置16からネットワークNW経由で視野移動量入力部27に供給し、拠点Bではカメラ姿勢制御部26により視野移動量情報に基づいてカメラ24の撮影視野を移動し、この移動に伴い視野表示部28により視野移動後のカメラ24の撮影範囲に所定の図形を投影するようにした。
【選択図】 図1
【解決手段】作業支援者により拠点Bのカメラ24を任意の視野まで移動させる視野移動量情報がキーボード17またはマウス18により入力されると、この視野移動量情報を視野移動量入力装置16からネットワークNW経由で視野移動量入力部27に供給し、拠点Bではカメラ姿勢制御部26により視野移動量情報に基づいてカメラ24の撮影視野を移動し、この移動に伴い視野表示部28により視野移動後のカメラ24の撮影範囲に所定の図形を投影するようにした。
【選択図】 図1
Description
この発明は、遠隔地から画像通信を利用して現場の作業員をサポートする遠隔作業支援システムにおいて、遠隔地の支援者の視野を現場作業員に共有させる視野共有装置、この視野共有装置に使用される視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラムに関するものである。
従来、現場作業員だけでの作業遂行が困難な場合、遠隔地にいる熟練者や上司(以降作業支援者と呼ぶこととする)から電話で指示を受けながら作業を行っていた。しかし電話による作業支援では、現場作業者は現場の状況を逐一言葉で説明する必要があった。逆に作業支援者は、現場の状況を把握するために現場作業者の説明を注意深く聞く必要があった。一方、作業支援者が指示を行う場合も指示内容を詳細に言葉で説明する必要があり、現場作業者は作業支援者からの指示を注意深く聞く必要があった。これら音声のみによる遠隔作業支援の負担を軽減するためにはテレビ電話等の音声画像通信を利用することが効果的である。
遠隔作業支援コミュニケーション装置(例えば、特許文献1)、コミュニケーション端末及びこれを用いた遠隔作業支援コミュニケーション装置(例えば、特許文献2)では、音声によるコミュニケーションに加え、作業支援者側から姿勢制御可能な現場カメラの画像を作業支援者側に送信することにより、作業支援者が現場の状況を把握することを容易にしている。さらに、作業支援者側から制御可能なレーザポインタを装備し、現場への指示に関連する場所を直接レーザポインタで指し示すことを可能としたことにより、作業指示の負担を軽減している。
空間走査撮像表示装置(例えば、特許文献3)では、可動型ビデオカメラとその撮像位置センサと、画像情報表示器とその表示部分の位置検出器とを用いて、全体を大きなサイズの画像メモリを介して結合し、一体的に動作するように構成することにより、二人の遠隔の人間同士が従来のテレビ会議を利用して共同作業を行う時のヒューマンインタフェース上の問題(固定カメラでは対象物の撮影範囲が制限されること、他者が何を見ているか把握できないこと、共有情報を表示する画面サイズが小さいこと)を解決している。本装置はオフィスなどの共同作業環境を前提とした装置であるが、現場作業における遠隔作業支援装置としても利用可能である。
また、音声画像通信を利用した遠隔作業支援において、現場を一度に広範囲に見るために現場に設置したカメラのレンズを広角のレンズにすることも効果的である。
特開2000−125024号公報
特開2001−45451号公報
特開平5−316500号公報。
しかしながら、従来の技術ではそれぞれ以下のような問題があった。
遠隔作業支援コミュニケーション装置では、作業支援者がレーザポインタで指し示す場所を現場作業員が実空間上で認識することが可能であるが、作業支援者が現場のどの範囲を見ているか、あるいはどの範囲が見えているかを認識することができない。従って、作業支援者からの指示を受ける場合、作業支援者が見ていると思われる範囲を現場カメラの位置姿勢から推測し、さらにその範囲でレーザポインタの表示位置を探す必要がある。また、現場の機器に関して現場作業者から作業支援者に質問したい場合、作業支援者から対象物が見えているかを確認する必要がある。さらに、作業支援者からの指示が必要でない場合にも、カメラがあるだけで監視されていると思い、現場作業者がストレスを感じる場合がある。
作業支援者が見ている現場カメラの画像をモニタ上に表示することで、作業支援者が現場のどの範囲を見ているかを現場作業員が把握することは可能である。しかし、プラグの差し替え等の実空間に存在する対象物を直接操作する作業において、視線を作業対象物とモニタ間で交互に切り替えることは作業効率を低下させる原因となる。
レーザポインタの軌跡を残すことが出来ないため、作業支援者からは位置の指定以外は音声で説明する必要がある。
空間走査撮像表示装置では、作業支援者が見ている範囲をマーク等により現場作業者に知らせることが可能である。しかし、現場作業者がそれを認識するためにはモニタを見る必要がある。前述したように、視線を作業対象物とモニタ間で交互に切り替えることは作業効率を低下させる原因となる。
作業支援者側で見ている画像は、現場側の低解像度カメラを移動させ、様々な視点から撮影した画像を合成した画像であり、広範囲の画像を実現している。しかし、リアルタイムに変化する現場の状況を動画として反映している画像はその一部のみである。現場のカメラを動かすことで動画として反映させたい部分を指定することは可能であるが、静止画として表示されている範囲に現場の計器類等が写っていた場合、そのメータが示す値が現在の値とは異なるものだったとしても、現在の値と思い込み、その値に基づいて指示を行う危険性がある。
そこで、この発明の目的は、遠隔作業支援システムにおいて、現場作業者が特殊な道具を装備することなく作業支援者からの指示を受けることができ、これにより作業効率の向上及び信頼性の向上を図るとともに、現場作業者及び作業支援者の負担を大幅に軽減することができる視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラムを提供することにある。
この発明は、上記目的を達成するために、以下のように構成される。
被写体を撮影する撮影部で得られる撮像視野内の画像信号を直接または伝送路を介して提示部に入力し、該提示部に撮像視野内の画像信号を提示させる視野共有装置であって、提示側にて、入力に応じて撮影部を任意の視野まで移動させるために必要な視野移動量情報を発生する視野移動量発生手段と、この視野移動量発生手段で発生された視野移動量情報を直接または伝送路を介して入力し、該視野移動量情報に基づいて撮影部の撮影視野を移動させる撮影制御手段と、視野移動量情報に基づいて視野移動後の撮影部の撮影範囲を求め、この撮影範囲内の撮影対象に所定の図形を投影する投影手段とを備えるようにしたものである。
被写体を撮影する撮影部で得られる撮像視野内の画像信号を直接または伝送路を介して提示部に入力し、該提示部に撮像視野内の画像信号を提示させる視野共有装置であって、提示側にて、入力に応じて撮影部を任意の視野まで移動させるために必要な視野移動量情報を発生する視野移動量発生手段と、この視野移動量発生手段で発生された視野移動量情報を直接または伝送路を介して入力し、該視野移動量情報に基づいて撮影部の撮影視野を移動させる撮影制御手段と、視野移動量情報に基づいて視野移動後の撮影部の撮影範囲を求め、この撮影範囲内の撮影対象に所定の図形を投影する投影手段とを備えるようにしたものである。
この構成によれば、作業支援者により撮影部を任意の視野まで移動させる視野移動量情報が入力されると、この視野移動量情報が伝送路経由でまたは直接に現場作業側に通知され、現場作業側では視野移動量情報に基づいて撮影部の撮影視野が移動され、この移動に伴って撮影部の撮影視野内に入る撮影対象に所定の図形が投影されることになる。
従って、現場作業者は撮影部やモニタを見たり、ヘッドマウントディスプレイ等の特殊な道具を装備することなく、投影される図形から作業支援者が見ている箇所を把握することができ、また作業支援者が着目している箇所が変更されるごとに、現場作業者はその変更箇所を常にタイムリーに把握することができる。一方作業支援者にとっては、音声による説明が少なくなる分、作業指示に必要な労力を大幅に低減することが可能になるとともに、撮影部を駆動させて現場作業側の見たい箇所を見ることができる。
投影手段は、撮影部の撮影対象に対し所定の図形を投影する投影機と、視野移動量情報に基づいて視野移動後の撮影部の撮影範囲を求める撮影範囲演算手段と、この撮影範囲演算手段で求められた撮影範囲に所定の図形を投影させるべく投影機の姿勢を求め、この姿勢に基づいて投影機の投影位置を移動させる投影位置制御手段とを備えたことを特徴とする。
この構成によれば、既に設けられている撮影部をそのまま利用できるとともに、投影手段を図形を投影する既知の投影機と、撮影範囲演算機能及び投影位置制御機能を有するマイクロコンピュータを用いるだけで構成することができ、これにより投影手段の回路構成を簡素化できるとともに、システム全体の低コスト化を図ることができる。また、撮影部及び投影機それぞれ姿勢を精度良く調整することができる。
投影手段は、入力される画像情報を撮影部の撮影対象に投影するプロジェクタと、視野移動量情報に基づいて視野移動後の撮影部の撮影範囲を求める撮影範囲演算手段と、この撮影範囲演算手段で求められた撮影範囲に基づいて、投影させるべく所定の図形を配置した画像情報を生成し、この画像情報をプロジェクタに入力する画像生成手段とを備えたことを特徴とする。
この構成によれば、プロジェクタにより撮影部の撮影範囲に画像情報が投影されるので、撮影対象が如何なるタイプのものであっても現場作業者は画像情報を見て作業支援者による指示を常に確実に把握することができる。
提示側は、入力に応じてプロジェクタで投影すべき指示点位置情報を発生する指示点発生手段をさらに備え、画像生成手段は、指示点発生手段で発生された指示点位置情報を直接または伝送路を介して入力し、プロジェクタで投影される画像内の指示点位置で表される位置に第2の図形を配置する画像情報を生成することを特徴とする。
この構成によれば、プロジェクタにより撮影部の撮影範囲に指示位置を表す第2の図形を含む画像情報が投影されるので、現場作業者は第2の図形を見ることにより作業支援者から詳細な指示を受けることができる。
画像生成手段は、所定の図形を配置した画像内に第2の図形の移動による軌跡を表す第3の図形を配置した画像情報を生成することを特徴とする。
この構成によれば、プロジェクタにより撮影部の撮影範囲に第2の図形の移動による軌跡を表す第3の図形を配置した画像情報が投影されるので、現場作業者に対する作業支援者の指示が容易になるとともに、動きを伴う詳細な指示を現場作業者に送ることができる。
この構成によれば、プロジェクタにより撮影部の撮影範囲に第2の図形の移動による軌跡を表す第3の図形を配置した画像情報が投影されるので、現場作業者に対する作業支援者の指示が容易になるとともに、動きを伴う詳細な指示を現場作業者に送ることができる。
投影手段は、撮影部に一体的に設けられることを特徴とする。
この構成によれば、投影機が撮影部に一体的に設けられているので、撮影部の姿勢と投影機の姿勢とのばらつきや制御誤差の影響を低減して、信頼性の高い制御を実現できる。
この構成によれば、投影機が撮影部に一体的に設けられているので、撮影部の姿勢と投影機の姿勢とのばらつきや制御誤差の影響を低減して、信頼性の高い制御を実現できる。
視野共有装置に対し、撮影部の視野移動量情報を入力する視野移動量入力装置であって、操作者の頭部の動きを検出する頭部動作検出手段と、この頭部動作検出手段により検出された頭部動作情報に基づいて視野移動量情報を算出する算出手段とを備えるようにしたものである。
この構成によれば、操作者は自身の頭を動かすだけで撮影部の撮影視野を移動させることができるので、操作における負担を大幅に軽減できる。
この構成によれば、操作者は自身の頭を動かすだけで撮影部の撮影視野を移動させることができるので、操作における負担を大幅に軽減できる。
視野共有装置の視野移動中の撮影部から得られる画像情報を表示する画像表示装置であって、画像情報を格納するメモリと、メモリ上の画像情報を、視野共有装置で求められる撮影部の撮影範囲に関連付けて管理する画像管理手段と、メモリ上の画像情報を選択的に読み出し、視野共有装置からリアルタイムで得られる画像情報と合わせて表示する制御手段とを備えるようにしたものである。
この構成によれば、連続して撮影された複数の画像情報それぞれをメモリに記録して撮影範囲別に管理し、メモリ上の撮影範囲別の各画像情報をリアルタイムで得られる画像情報とともに表示させるようにしているので、視野が狭いタイプの撮影部を使用しても、広範囲の視野を確保することができる。
画像管理手段は、撮影部から得られる画像情報に時刻情報が付加されているときに、時刻情報に関連付けてメモリ上の画像情報を管理することを特徴とする。
この構成によれば、時刻情報を利用して連続して撮影された複数の画像情報それぞれをメモリに記録して管理するようにしているので、機器のメータなどリアルタイムな画像が必要な場合に間違って古い画像を信じてしまうような危険を軽減できる。
この構成によれば、時刻情報を利用して連続して撮影された複数の画像情報それぞれをメモリに記録して管理するようにしているので、機器のメータなどリアルタイムな画像が必要な場合に間違って古い画像を信じてしまうような危険を軽減できる。
以上詳述したようにこの発明によれば、遠隔作業支援システムにおいて、現場作業者が特殊な道具を装備することなく作業支援者からの指示を受けることができ、これにより作業効率の向上及び信頼性の向上を図るとともに、現場作業者及び作業支援者の負担を大幅に軽減することができる視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラムを提供することができる。
以下、この発明の実施形態について図面を参照して詳細に説明する。
(第1の実施形態)
図1は、この発明の第1の実施形態である視野共有装置の構成を示すブロック図である。
(第1の実施形態)
図1は、この発明の第1の実施形態である視野共有装置の構成を示すブロック図である。
まず、音声画像通信技術を利用する部分について説明する。拠点Aは作業支援側で、モニタ11と、マイク12と、スピーカ13と、カメラ14と、音声画像通信部15とを備えている。これらモニタ11、マイク12、スピーカ13及びカメラ14は、音声画像通信部15を介して専用線等のネットワークNWに接続され、このネットワークNWからさらに現場作業側となる拠点Bに接続される。
拠点Bも、拠点Aと同様に、モニタ21と、マイク22と、スピーカ23と、カメラ24と、音声画像通信部25とを備えている。これらモニタ21、マイク22、スピーカ23及びカメラ24は、音声画像通信部25を介してネットワークNWに接続される。
拠点Aにいる作業支援者は、拠点Bのカメラ24により得られる画像信号をモニタ11上で見ながら、マイク12を使って指示を行う。マイク12から出力された音声信号は音声画像通信部15にて音声符号化された後、ネットワークNWを介して拠点Bの音声画像通信部25に供給されてここで音声復号され、これにより再生された音声信号はスピーカ23から拡声出力される。
一方、カメラ14から出力された画像信号は、音声画像通信部15に入力され、ここで画像符号化処理が施されたのちネットワークNWを介して音声画像通信部25に供給され、ここで画像復号処理される。これにより再生された画像信号はモニタ21に供給され表示される。
逆に、拠点Bにいる現場作業員は、マイク22を使って現場の状況を説明する。マイク22から出力された音声信号は音声画像通信部25にて音声符号化された後、ネットワークNWを介して拠点Aの音声画像通信部15に供給されてここで音声復号され、これにより再生された音声信号はスピーカ13から拡声出力される。一般的な音声画像通信システムでは、各拠点にカメラとモニタがあるが、本実施形態の場合、拠点Aのカメラ、および拠点Bのモニタはあってもなくても良い。
次に、本発明の部分を説明する。
カメラ24は、カメラ姿勢制御部26によって上下方向及び左右方向に回動自在に支持される。カメラ姿勢制御部26は、雲台や回転ステージ等といった上下、左右の2つの支軸を持つ視野移動手段を備え、それぞれの支軸の回転は視野移動量入力部27に供給される視野移動量情報によって制御される。また、カメラ姿勢制御部26には、視野表示部28が接続される。
カメラ24は、カメラ姿勢制御部26によって上下方向及び左右方向に回動自在に支持される。カメラ姿勢制御部26は、雲台や回転ステージ等といった上下、左右の2つの支軸を持つ視野移動手段を備え、それぞれの支軸の回転は視野移動量入力部27に供給される視野移動量情報によって制御される。また、カメラ姿勢制御部26には、視野表示部28が接続される。
視野表示部28は、カメラ24が現在撮影している範囲を、例えば、レーザポインタや懐中電灯のような光源、あるいはプロジェクタ等を具備した撮影範囲投影手段を使って撮影対象に投影することにより実空間上に表示する。
上記視野移動量入力部27は、ネットワークNWに接続されており、このネットワークNWからさらに拠点Aの視野移動量入力装置16に接続される。この視野移動量入力装置16には、キーボード17及びマウス18が接続されている。
作業支援者は、モニタ11を見ながら拠点Bの別の場所を見たいと判断した時、キーボード17、あるいはマウス18からカメラ24の視野移動量を視野移動量入力装置16に入力する。視野移動量入力装置16は入力されたカメラ24の視野移動量をネットワークNWを介して拠点Bの視野移動量入力部27に送信する。カメラ姿勢制御部26は、視野移動量入力部27が受信した視野移動量を基に、例えば、雲台や回転ステージ等のカメラ視野移動手段を制御し、カメラ24の視野を移動させる。
この時、視野表示部28は、カメラ24の視野移動量を基にカメラ移動後の撮影範囲を算出し、算出した撮影範囲に基づき撮影範囲投影手段を制御することにより、当該撮影対象に所定の図形をカメラ24の実際の撮影範囲に一致して投影させる。撮影範囲の算出に用いる視野移動量は、視野移動量入力部が入力したものでもよいし、カメラ視野移動手段から取得したものでもよい。
次に、上記構成における処理動作について説明する。図2は、視野表示部28の処理手順を示すフローチャートである。
まず、視野表示部28は、カメラ24の電源がオンであるか否かを確認し(ステップST2a)、オンである場合に(YES)、カメラ24の姿勢に基づいてカメラ24の撮影範囲を求め(ステップST2b)、算出した撮影範囲に光を投射させる(ステップST2c)。
まず、視野表示部28は、カメラ24の電源がオンであるか否かを確認し(ステップST2a)、オンである場合に(YES)、カメラ24の姿勢に基づいてカメラ24の撮影範囲を求め(ステップST2b)、算出した撮影範囲に光を投射させる(ステップST2c)。
続いて、カメラ24の電源がオフに設定された場合(ステップST2d)に、視野表示部28は光の投射を終了するが(ステップST2e)、カメラ24の電源がオンであり、カメラ24の移動量の入力があった場合(ステップST2f)、その入力された移動量により制御されるべきカメラ24の姿勢を求め(ステップST2g)、上記ステップST2bの処理に移行する。
以上のように上記第1の実施形態では、作業支援者により拠点Bのカメラ24を任意の視野まで移動させる視野移動量情報がキーボード17またはマウス18により入力されると、この視野移動量情報を視野移動量入力装置16からネットワークNW経由で視野移動量入力部27に供給し、拠点Bではカメラ姿勢制御部26により視野移動量情報に基づいてカメラ24の撮影視野を移動し、この移動に伴い視野表示部28により視野移動後のカメラ24の撮影範囲に所定の図形を投影するようにしている。
従って、現場作業者は作業中にカメラ24やモニタ21を見たり、ヘッドマウントディスプレイ等の特殊な道具を装備することなく、撮影対象に投影される図形から作業支援者が見ている箇所を把握することができ、また作業支援者が着目している箇所が変更されるごとに、現場作業者はその変更箇所を常にタイムリーに把握することができる。一方作業支援者にとっては、音声による説明が少なくなる分、作業指示に必要な労力を大幅に低減することが可能になるとともに、拠点Bのカメラ24を遠隔制御で駆動させて現場作業側の見たい箇所を見ることができる。
(第2の実施形態)
図3は、撮影範囲投影手段が、投影機としてのレーザポインタと2軸回転ステージである投影位置移動手段とからなる第2の実施形態を示す図である。なお、図3において、上記図1と同一部分には同一符号を付して詳細な説明を省略する。
図3は、撮影範囲投影手段が、投影機としてのレーザポインタと2軸回転ステージである投影位置移動手段とからなる第2の実施形態を示す図である。なお、図3において、上記図1と同一部分には同一符号を付して詳細な説明を省略する。
この第2の実施形態において、レーザポインタ31は、支持機構32によって上下方向(チルト)及び左右方向(パン)に回動自在に支持される。支持機構32は、チルト、パンの2つの支軸を備え、それぞれの支軸の回転は投影機姿勢制御部33によって制御される。
投影機姿勢制御部33は、撮影範囲算出部34によって求められるカメラ24の撮影範囲に基づいてレーザポインタ31の姿勢を制御する。撮影範囲算出部34は、カメラ姿勢制御部26から得られたカメラ24の回転量を基にカメラ移動後の撮影範囲を算出する。撮影範囲の算出に用いるカメラ24の回転量は、視野移動量入力部27が入力したものでもよいし、カメラ視野移動手段から取得したものでもよい。これにより、レーザポインタ31は、視野移動後のカメラ24の撮影範囲に図形を投影することができる。
以下に、撮影範囲算出部34と投影機姿勢制御部33とが受け取ったカメラ回転量を基に、カメラの実際の撮影範囲を投影するためのレーザポインタ31の姿勢を算出する方法を説明する。
まず、カメラの撮影範囲の具体的な算出手順は以下の通りである。
カメラ24の撮影範囲を把握するためには、カメラ24の位置姿勢に加え、対象物の形状、すなわちカメラ24から見た対象物までの奥行き情報も必要となる。しかし、対象物(空間)が複雑な形状をしている場合には、その形状(奥行き情報)を把握することは困難である。このため、対象とする空間を比較的簡単な形状にモデル化することが実用的である。
図4は、対象の空間を机や壁などのような平面形状にモデル化した例である。図5は、カメラの撮影範囲を計算する、撮影対象とカメラ24との位置関係を示すモデル図である。撮影対象がxy平面上にあり、xy平面上からz軸上に距離Lだけ離れた点Vからカメラで撮影するとする。レンズの歪を無視すれば、カメラをxy平面に垂直にして撮影した場合、カメラの撮影範囲の4つの頂点a0,b0,c0,d0の各座標(xa0,ya0),(xb0,yb0),(xc0,yc0),(xd0,yd0)は、
xa0=Ltan(−β)
ya0=Ltanα
xb0=Ltanβ
yb0=Ltanα
xc0=Ltan(−β)
yc0=Ltan(−α)
xd0=Ltanβ
yd0=Ltan(−α)
である。一方、カメラ24がy軸に対してθだけ回転した場合の各座標(xaθ,yaθ),(xbθ,ybθ),(xcθ,ycθ),(xdθ,ydθ)は、
xaθ=Ltan(θ−β)
yaθ=Ltanαcos(−β)/cos(θ−β)
xbθ=Ltan(θ+β)
ybθ=Ltanαcosβ/cos(θ+β)
xcθ=Ltan(θ−β)
ycθ=Ltan(−α)cos(−β)/cos(θ−β)
xdθ=Ltan(θ+β)
ydθ=Ltan(−α)cosβ/cos(θ+β)
である。
xa0=Ltan(−β)
ya0=Ltanα
xb0=Ltanβ
yb0=Ltanα
xc0=Ltan(−β)
yc0=Ltan(−α)
xd0=Ltanβ
yd0=Ltan(−α)
である。一方、カメラ24がy軸に対してθだけ回転した場合の各座標(xaθ,yaθ),(xbθ,ybθ),(xcθ,ycθ),(xdθ,ydθ)は、
xaθ=Ltan(θ−β)
yaθ=Ltanαcos(−β)/cos(θ−β)
xbθ=Ltan(θ+β)
ybθ=Ltanαcosβ/cos(θ+β)
xcθ=Ltan(θ−β)
ycθ=Ltan(−α)cos(−β)/cos(θ−β)
xdθ=Ltan(θ+β)
ydθ=Ltan(−α)cosβ/cos(θ+β)
である。
なお、カメラ視野がチルト方向に回転した場合、例えばカメラ24がx軸に対してψだけ回転した場合の点Vから見たカメラ24の撮影範囲の4つの頂点の座標(xaψ,yaψ),(xbψ,ybψ),(xcψ,ycψ),(xdψ,ydψ)は、
xaψ=Ltan(−β)cosα/cos(ψ+α)
yaψ=Ltan(ψ+α)
xbψ=Ltanβcosα/cos(ψ+α)
ybψ=Ltan(ψ+α)
xcψ=Ltan(−β)cos(−α)/cos(ψ−α)
ycψ=Ltan(ψ−α)
xdψ=Ltanβcos(−α)/cos(ψ−α)
ydψ=Ltan(ψ−α)
である。
xaψ=Ltan(−β)cosα/cos(ψ+α)
yaψ=Ltan(ψ+α)
xbψ=Ltanβcosα/cos(ψ+α)
ybψ=Ltan(ψ+α)
xcψ=Ltan(−β)cos(−α)/cos(ψ−α)
ycψ=Ltan(ψ−α)
xdψ=Ltanβcos(−α)/cos(ψ−α)
ydψ=Ltan(ψ−α)
である。
さらに、カメラ24がパン・チルト両方向に回転する場合の点Vから見たカメラ24の撮影範囲の4つの頂点の座標(xaθψ,yaθψ),(xbθψ,ybθψ),(xcθψ,ycθψ),(xdθψ,ydθψ)は、
xaθψ=Ltan(θ−β)cosα/cos(ψ+α)
yaθψ=Ltan(ψ+α)cos(−β)/cos(θ−β)
xbθψ=Ltan(θ+β)cosα/cos(ψ+α)
ybθψ=Ltan(ψ+α)cosβ/cos(θ+β)
xcθψ=Ltan(θ−β)cos(−α)/cos(ψ−α)
ycθψ=Ltan(ψ−α)cos(−β)/cos(θ−β)
xdθψ=Ltan(θ+β)cos(−α)/cos(ψ−α)
ydθψ=Ltan(ψ−α)cosβ/cos(θ+β)
である。
xaθψ=Ltan(θ−β)cosα/cos(ψ+α)
yaθψ=Ltan(ψ+α)cos(−β)/cos(θ−β)
xbθψ=Ltan(θ+β)cosα/cos(ψ+α)
ybθψ=Ltan(ψ+α)cosβ/cos(θ+β)
xcθψ=Ltan(θ−β)cos(−α)/cos(ψ−α)
ycθψ=Ltan(ψ−α)cos(−β)/cos(θ−β)
xdθψ=Ltan(θ+β)cos(−α)/cos(ψ−α)
ydθψ=Ltan(ψ−α)cosβ/cos(θ+β)
である。
そこで、撮影範囲算出部34は、図6に示す処理手順を実行する。
まず、撮影範囲算出部34は、カメラ24のY軸方向の視野角α、X軸方向の視野角β、対象物までの距離Lを取得し(ステップST6a)、続いてカメラ24の姿勢(θ,ψ)を取得する(ステップST6b)。そして、点Vからみたカメラ視野の4つの頂点の座標を算出する(ステップST6c)。
まず、撮影範囲算出部34は、カメラ24のY軸方向の視野角α、X軸方向の視野角β、対象物までの距離Lを取得し(ステップST6a)、続いてカメラ24の姿勢(θ,ψ)を取得する(ステップST6b)。そして、点Vからみたカメラ視野の4つの頂点の座標を算出する(ステップST6c)。
次に、レーザポインタ31の姿勢の具体的な算出手順は以下の通りである。
図7は、レーザポインタ31の姿勢を計算する、撮影対象とカメラ24とレーザポインタ31との位置関係を示すモデル図である。レーザポインタ31は、カメラ24からx軸の負の方向に距離Wだけ離れた点Rからレーザを照射することとする。
カメラ24から見た座標すなわち点Vを原点としたときの座標を(XV,YV)、レーザポインタ31から見た座標すなわち点Rを原点とした時の座標を(XR,YR)とすると、点Rを原点とした時の座標値は
XR=XV+W
YR=YV
であるから、点(XV,YV)にレーザを照射するためには、レーザポインタ31のパン角度θRと、チルト角度φRを
θR=tan-1((XV+W)/L))
φR=tan-1((YVcosθR)/L)
とすればよい。
XR=XV+W
YR=YV
であるから、点(XV,YV)にレーザを照射するためには、レーザポインタ31のパン角度θRと、チルト角度φRを
θR=tan-1((XV+W)/L))
φR=tan-1((YVcosθR)/L)
とすればよい。
上記の式により、撮影範囲算出部34と投影機姿勢制御部33は、受け取ったカメラ回転量θからカメラ24の撮影範囲の4つの頂点の座標値を求め、その4点を照射するためのレーザポインタ31の姿勢θR,φRを求める。投影機姿勢制御部33は、4つの頂点を順番に高速に照射することにより、現場作業員には残像としてカメラ24の撮影範囲の四角形を認識することができる。
また、撮影範囲算出部34は、図8に示す処理手順を実行する。
まず、撮影範囲算出部34は、レーザポインタ31とカメラ24との間の距離Wを取得し(ステップST8a)、続いてレーザを頂点aに照射するためのレーザの角度を算出し(ステップST8b)、レーザを頂点bに照射するためのレーザの角度を算出し(ステップST8c)、レーザを頂点cに照射するためのレーザの角度を算出し(ステップST8d)、レーザを頂点dに照射するためのレーザの角度を算出する(ステップST8e)。
まず、撮影範囲算出部34は、レーザポインタ31とカメラ24との間の距離Wを取得し(ステップST8a)、続いてレーザを頂点aに照射するためのレーザの角度を算出し(ステップST8b)、レーザを頂点bに照射するためのレーザの角度を算出し(ステップST8c)、レーザを頂点cに照射するためのレーザの角度を算出し(ステップST8d)、レーザを頂点dに照射するためのレーザの角度を算出する(ステップST8e)。
そして、撮影範囲算出部34は、投影機姿勢制御部33に対し点aをレーザで照射させるように指示し(ステップST8f)、続いて点bをレーザで照射させるように指示し(ステップST8g)、点cをレーザで照射させるように指示し(ステップST8h)、点dをレーザで照射させるように指示する(ステップST8i)。以後、終了割り込みがあるか否かの判断を行ない(ステップST8j)、割り込みがなければ上記ステップST8f乃至ステップST8iの処理を繰り返し実行し、割り込みがある場合に処理を終了する。
以上のように上記第2の実施形態では、既に設けられているカメラ24をそのまま利用できるとともに、投影手段を図形を投影する既知のレーザポインタ31を用いて構成するようにしているので、回路構成を簡素化できるとともに、システム全体の低コスト化を図ることができる。
(第3の実施形態)
図9は、カメラ視野移動手段が、カメラと撮影範囲投影手段とを一体化して移動させる第3の実施形態を示す図である。この例では、撮影範囲投影手段の例としてプロジェクタ41を用いる。また、カメラ視野移動手段は、回転ステージと回転ステージ制御部とからなる。なお、図9において、上記図1と同一部分には同一符号を付して詳細な説明を省略する。
図9は、カメラ視野移動手段が、カメラと撮影範囲投影手段とを一体化して移動させる第3の実施形態を示す図である。この例では、撮影範囲投影手段の例としてプロジェクタ41を用いる。また、カメラ視野移動手段は、回転ステージと回転ステージ制御部とからなる。なお、図9において、上記図1と同一部分には同一符号を付して詳細な説明を省略する。
カメラ24及びプロジェクタ41は、回転ステージ42によって左右方向(パン)に回動自在に支持される。回転ステージ42は、パンの支軸を備え、その支軸の回転はカメラ姿勢制御部26によって制御される。
図10は、カメラ視野移動手段が、カメラ24とプロジェクタ41とを一体化して移動させる例において側面から見たカメラ24とプロジェクタ41の位置姿勢関係を示す図である。図11は、カメラ視野移動手段が、カメラ24とプロジェクタ41とを一体化して移動させる例において上面から見たカメラとプロジェクタの位置姿勢関係を示す図である。固定具43は、カメラ24の焦点と、プロジェクタ41の焦点と、回転ステージ42の回転軸が一直線上にのるように、カメラ24とプロジェクタ41と回転ステージ42を固定するものである。また、カメラ24のズーム機能とプロジェクタ41の台形歪補正機能を用いて、カメラ24の撮影範囲とプロジェクタ41の投影範囲が一致するように調整する。なお、本実施形態では、カメラ焦点とプロジェクタ焦点との間に上下方向の距離が存在するため、対象物との距離によってはカメラ撮影範囲とプロジェクタ投影範囲に上下方向のずれが生じる。
図12は、カメラ24とプロジェクタ41の光軸を一致させる例を示す図である。すなわち、プロジェクタ41から出射された光は、ハーフミラー44で集光され、所定方向に向けて照射される。その反射光は、ハーフミラー44を介してカメラ24に入射される。このような位置関係で固定することにより上下方向のずれをなくすことが可能である。投影する内容は、作業に応じたものにすればよい。例えば撮影範囲の全領域を白色光にすれば、現場作業員から一番認識しやすい。撮影範囲の枠のみを白色光にし、内部に何らかの情報を投影することも効果的である。
拠点Aにいる作業支援者はカメラ24の回転量を視野移動量入力装置16に入力する。視野移動量入力装置16は入力されたカメラの回転量を視野移動量入力部27に送信する。カメラ姿勢制御部26は、視野移動量入力部27が受信したカメラ回転量をもとに回転ステージ42を制御する。回転ステージ42は、カメラ24とプロジェクタ41を同時に移動させるため、別途、プロジェクタ41の位置姿勢を制御する必要がない。
(第4の実施形態)
図13は、表示画像生成部と表示制御部を用いた第4の実施形態を示す図である。なお、図13において、上記図9と同一部分には同一符号を付して詳細な説明を省略する。
本実施形態では、撮影範囲投影手段の例としてプロジェクタ41を用いる。また、カメラ視野移動手段は、回転ステージ51とカメラ姿勢制御部26とからなる。プロジェクタ41は、カメラ24の撮影範囲に対して投影可能範囲が充分大きくなるように配置することとする。
図13は、表示画像生成部と表示制御部を用いた第4の実施形態を示す図である。なお、図13において、上記図9と同一部分には同一符号を付して詳細な説明を省略する。
本実施形態では、撮影範囲投影手段の例としてプロジェクタ41を用いる。また、カメラ視野移動手段は、回転ステージ51とカメラ姿勢制御部26とからなる。プロジェクタ41は、カメラ24の撮影範囲に対して投影可能範囲が充分大きくなるように配置することとする。
また、本実施形態において、拠点Aには画面切替入力送信部52が設けられており、拠点Bには撮影範囲算出部53と、表示画像生成部54と、表示制御部55とが設けられている。
拠点Bにおいて、カメラ24は、回転ステージ51によって上下方向及び左右方向に回動自在に支持される。回転ステージ51は、上下、左右の2つの支軸を持つ視野移動手段を備え、それぞれの支軸の回転はカメラ姿勢制御部26によって制御される。
撮影範囲算出部53は、カメラ姿勢制御部26から取得したカメラ回転量を受け取り、前述の第2の実施形態と同様にカメラ24の撮影範囲を算出する。表示画像生成部54は、撮影範囲算出部53にて算出した撮影範囲に基づきカメラ24の実際の撮影範囲に一致して投影される図形、つまり撮影範囲を示す所定の図形を配置した画像を生成する。撮影範囲を示す所定の図形は、カメラ24の撮影範囲の4つの頂点をもとに、撮影範囲の全領域を示す図形や、枠のみを示す図形や、4つの頂点を示す4つの図形など、撮影範囲を認識することができる図形である。生成した画像の画像情報は、表示制御部55を介してプロジェクタ41に送られ、当該撮影対象に投影される。
表示制御部55は、拠点Aの画面切替入力送信部52から画面切り替えのためのトリガが入力されると、そのトリガ信号に応じてプロジェクタ41で投影される画像等を切り替える。また、撮影範囲を非表示にするトリガが入力された場合は、撮影範囲を非表示にする。これにより、拠点Bの環境に応じた視野表示が可能となる。また、拠点Aの作業支援者が、作業支援を一旦終了し、別な作業をしている時には撮影範囲の表示を消すことができる。これにより、拠点Bの現場作業員は、常に監視されているというストレスから解放される。なお、本実施形態は、第3の実施形態で説明したような、カメラ視野移動手段がカメラと撮影範囲投影手段とを一体化して移動させる場合でも同様に実現可能である。
また、上記撮影範囲算出部53、表示画像生成部54及び表示制御部55は、マイクロコンピュータPC1に内蔵される。図14は、マイクロコンピュータPC1の処理手順を示すフローチャートである。
マイクロコンピュータPC1は、カメラ24の撮影範囲のa,b,c,dを頂点とする図形Zを生成し(ステップST14a)、この図形Zをプロジェクタ41に供給して画像表示させる(ステップST14b)。そして、撮影視野の移動があるか否かの判断を行ない(ステップST14c)、ここで移動がある場合に(YES)、図形Zの再生成を行なって(ステップST14d)、上記ステップST14bの処理に移行する。
一方、撮影視野の移動がなければ(NO)、マイクロコンピュータPC1は終了割り込みがあるか否かの判断を行ない(ステップST14e)、割り込みがあれば(YES)処理を終了し、割り込みがなければ(NO)画面切り替えトリガが入力されたか否かの判断を行なう(ステップST14f)。
ここで、画面切り替えトリガが入力され1番目の図形が指定された場合(ステップST14g)、マイクロコンピュータPC1は図15(a)に示す図形Z1を生成し(ステップST14h)、2番目の図形が指定された場合(ステップST14i)、図15(b)に示す図形Z2を生成し(ステップST14j)、3番目の図形が指定された場合(ステップST14k)、図15(c)に示す図形Z3を生成し(ステップST14l)、n番目の図形が指定された場合(ステップST14m)、図形Znを生成し(ステップST14n)、図形の非表示が指定された場合(ステップST14o)、図15(d)に示すように図形を非表示にする画像を生成する(ステップST14p)。
以上のように上記第4の実施形態では、プロジェクタ41によりカメラ24の撮影範囲に図形表示または図形非表示を表す画像情報が投影されるので、撮影対象が如何なるタイプのものであっても、また如何なる作業環境であっても現場作業者は画像情報を見て作業支援者による指示を常に確実に把握することができ、また図形を非表示にすることで現場作業者にとって作業支援者に常に監視されているというストレスも解消できる。
(第5の実施形態)
図16は、視野移動量入力装置に頭部動作検出手段を接続した第5の実施形態を示す図である。なお、拠点B側は、前述の第4の実施形態と同じとしているが、第1の実施形態から第3の実施形態における拠点Bの構成においても同様の実施が可能であることは言うまでもない。
図16は、視野移動量入力装置に頭部動作検出手段を接続した第5の実施形態を示す図である。なお、拠点B側は、前述の第4の実施形態と同じとしているが、第1の実施形態から第3の実施形態における拠点Bの構成においても同様の実施が可能であることは言うまでもない。
拠点Aにおいて、作業支援者の頭には加速度センサ等の回転運動を検出できるセンサ61が装着される。センサ61は、作業支援者の上下方向及び左右方向への頭の傾きを検出するもので、その検出出力は視野移動量入力装置62に供給される。
視野移動量入力装置62は、図17に示す処理手順を実行する。
まず、視野移動量入力装置62は、初期設定を行なうとともに(ステップST17a)、t=0における頭部回転角度Hθ(0)を取得し(ステップST17b)、予め設定された時間間隔であるΔt秒が経過するか否かを監視し(ステップST17c)、このΔt秒内で電源がオフされた場合には処理を終了する(ステップST17d)。
まず、視野移動量入力装置62は、初期設定を行なうとともに(ステップST17a)、t=0における頭部回転角度Hθ(0)を取得し(ステップST17b)、予め設定された時間間隔であるΔt秒が経過するか否かを監視し(ステップST17c)、このΔt秒内で電源がオフされた場合には処理を終了する(ステップST17d)。
そして、Δt秒が経過した場合、視野移動量入力装置62は現在の頭部回転角度からカメラ回転角度Cθを算出し(ステップST17e)、このカメラ回転角度Cθを視野移動量情報として拠点Bの視野移動量入力部27に送信する(ステップST17f)。
そして、カメラ姿勢制御部26は、視野移動量入力部27が受信した回転量に基づき回転ステージ51を制御する。
以上のように上記第5の実施形態では、拠点Aにおいて、作業支援者は頭にセンサ61を装着し、自身の頭を動かすだけで拠点Bのカメラ24の撮影視野を移動させることができるので、操作上における負担を大幅に軽減できる。
なお、この第5の実施形態においては、拠点A側のモニタとして、ヘッドマウントディスプレイを用いるとより効果的である。
(第6の実施形態)
図18は、画像メモリと画像合成部と画像表示部を用いた第6の実施形態を示す図である。図18において、上記図13と同一部分には同一符号を付して詳細な説明を省略する。
図18は、画像メモリと画像合成部と画像表示部を用いた第6の実施形態を示す図である。図18において、上記図13と同一部分には同一符号を付して詳細な説明を省略する。
この第6の実施形態では、拠点Aに画像合成部71、画像メモリ72、画像表示部73及びモニタ74を備えるようにしている。
拠点Bのカメラ24から得られる画像信号は、ネットワークNW及び音声画像通信部15を介して画像合成部71に供給される。同時に、カメラ姿勢制御部26からカメラ24の姿勢情報が画像合成部71に供給される。
画像合成部71は、時刻t0における拠点Bのカメラ画像V(t0)の位置を、カメラ姿勢制御部26から受信した時刻t0におけるカメラの姿勢θ(t0)から求め、位置に対応した画像信号を画像メモリ72上に保存する。時刻t1=t0+Δtにおいても同様に、拠点Bのカメラ画像V(t1)の位置をカメラ姿勢θ(t1)から求め、画像メモリ72上に保存する。
画像表示部73は、時刻tnにおいて、それまでの保存された時刻t0からtn−1までの静止画像の合成画像を画像メモリ72から読み出し、モニタ74に表示すると共に、現在の拠点Bで撮影しているリアルタイムの動画像を重ねて表示する。
図19は、拠点A側のモニタ74に表示した例を示す図である。左右の矢印ボタンは、一定のカメラ回転量を視野移動量入力装置16に入力するためのものである。例えば右矢印ボタンを押すとΔθの回転量が送信され、左矢印ボタンを押すと、−Δθの回転量が送信される。まず、時刻t0においては、まだカメラの回転はなく、リアルタイムの動画像が表示されている。ここで左矢印ボタンを押し、時刻t1になると、カメラがΔθだけ回転した場所からの画像がリアルタイムの動画像として表示されている。このとき、時刻t0の時の画像は静止画として、回転前の場所に表示されている。以下同様にして、Δtの間隔で左矢印ボタンを3回、右矢印ボタンを1回押したところまでの例を示している。
なお、上記画像合成部71、画像メモリ72及び画像表示部73は、マイクロコンピュータPC2に内蔵される。図20は、マイクロコンピュータPC2の処理手順を示すフローチャートである。
まず、マイクロコンピュータPC2は、初期設定処理を実行し(ステップST20a)、音声画像通信部15から供給される画像データをカメラ姿勢に対応付けて画像メモリ72に格納し(ステップST20b)、モニタ74の所定領域に画像メモリ72の記憶内容を表示させる(ステップST20c)。
続いて、マイクロコンピュータPC2は、終了割り込みがあるか否かを監視し(ステップST20d)、割り込みがある場合に処理を終了し、割り込みがなければモニタ74に図21(a)に示すように動画像を表示する(ステップST20e)。
そして、マイクロコンピュータPC2は、視野移動量の入力があるか否かの判断を行ない(ステップST20f)、視野移動量の入力がある場合に、Δθの移動量を求め(ステップST20g及びステップST20h)、以後上記ステップST20bの処理に移行する。
図22は、上記ステップST20bの詳細な処理を示すフローチャートである。
すなわち、マイクロコンピュータPC2は、初期設定を行ない(ステップST22a及びステップST22b)、モニタ74中の決められた表示領域(M×N)を超えない範囲で、音声画像通信部15から供給される画像データをカメラ姿勢に対応付けて画像メモリ72に格納する(ステップST22c乃至ステップST22g)。
すなわち、マイクロコンピュータPC2は、初期設定を行ない(ステップST22a及びステップST22b)、モニタ74中の決められた表示領域(M×N)を超えない範囲で、音声画像通信部15から供給される画像データをカメラ姿勢に対応付けて画像メモリ72に格納する(ステップST22c乃至ステップST22g)。
以上のように上記第6の実施形態では、拠点Bのカメラ24により連続して撮影された複数の画像データそれぞれを画像合成部71にて画像メモリ72に記録してカメラ姿勢別に管理し、画像表示部73により画像メモリ72上の画像データを順に読み出してリアルタイムで得られる画像データとともにモニタ74に表示させるようにしている。
これにより、拠点Aの作業支援者は、拠点Bのカメラ24の視野が狭くても、広角の視野を確保することができる。
また、上記第6の実施形態において、要求に応じて画像メモリ72上の任意のカメラ姿勢の画像情報を選択的に読み出してモニタ74に表示させるようにしてもよい。
(第7の実施形態)
図23は、この発明の第7の実施形態の構成を示すブロック図である。なお、図23において、上記図18と同一部分には同一符号を付して詳細な説明を省略する。
図23は、この発明の第7の実施形態の構成を示すブロック図である。なお、図23において、上記図18と同一部分には同一符号を付して詳細な説明を省略する。
すなわち、拠点Bの音声画像通信部25には、現在時刻を計時するタイマ81が設けられている。そして、拠点AのマイクロコンピュータPC2には、タイマ81による撮影時刻が付加された画像データが供給されることになる。
図24は、第7の実施形態におけるマイクロコンピュータPC2の処理手順を示すフローチャートである。
すなわち、マイクロコンピュータPC2は、初期設定を行ない(ステップST24a及びステップST24b)、モニタ74中の決められた表示領域(M×N)を超えない範囲で、音声画像通信部15から供給される画像データをカメラ姿勢及び画像データに付加される時刻に対応付けて画像メモリ72に格納する(ステップST24c乃至ステップST24g)。
また、上記マイクロコンピュータPC2は、画像取得時刻からの経過時間に応じて異なる画像処理を行う。図25は、マイクロコンピュータPC2の画像処理手順を示すフローチャートである。
マイクロコンピュータPC2では、表示してから一定時間更新がない箇所の表示を消してゆく処理を行う。まずマイクロコンピュータPC2は、初期設定処理を実行し(ステップST25a及びステップST25b)、例えば、表示初期値の明度をa0とし、画像メモリ上に保存した過去画像のうち、メモリ上に保存されてから時間tw1以上更新がない位置の明度をa1(a0>a1)に落とし(ステップST25c乃至ステップST25g)、さらにtw2以上更新がなければ明度をa2(a1>a2)に落とし、以下同様に明度を落としていき、n回目の明度、つまりtw1+tw2+…+twn時間後の明度anの値が0あるいは閾値Aより小さくなるまで繰り返す(ステップST25c乃至ステップST25k)。
図26では、V(t1)の画像は明度が半分になり、V(t0)の画像は明度が0になっている。これにより、静止画として表示している箇所の画像が古くなると消えてしまうため、新ためてカメラを動かして最新のものに更新する操作を行うようになる。
従って、上記第7の実施形態であれば、画像データに付加される時刻情報を利用して連続して撮影された複数の画像データそれぞれを画像メモリ72に格納して時間別に管理するようにしているので、カメラ24の広角の視野を確保しながらも、機器のメータなどリアルタイムな画像が必要な場合に間違って古い画像を信じてしまうような危険が軽減できる。
(第8の実施形態)
図27は、拠点Aのモニタ上で指示した指示点位置を拠点Bの実空間上に図形で表示する第8の実施形態を示す図である。図27において、上記図13と同一部分には同一符号を付して詳細な説明を省略する。
図27は、拠点Aのモニタ上で指示した指示点位置を拠点Bの実空間上に図形で表示する第8の実施形態を示す図である。図27において、上記図13と同一部分には同一符号を付して詳細な説明を省略する。
第8の実施形態において、拠点Aには、指示点位置入力装置91が設けられる。キーボード17またはマウス18により入力された指示点位置情報は、指示点位置入力装置91からネットワークNW経由で拠点Bの表示画像生成部92に送信される。表示画像生成部92は、プロジェクタ41により投影されるカメラ24の視野画像内に図形(例えばカーソル画像)を重畳する。図28は、拠点Aのモニタ11上で指示点位置を指定する様子と、拠点Bで投影される様子を示す図である。
また、上記撮影範囲算出部53、表示制御部55及び表示画像生成部92は、マイクロコンピュータPC3に内蔵される。図29は、マイクロコンピュータPC3の処理手順を示すフローチャートである。
まず、マイクロコンピュータPC3は、拠点Aから指示点位置情報を受信したか否かを監視し(ステップST29a)、指示点位置情報を受信した場合に(YES)、図28(a)に示すような指示点位置にカーソルを重畳した画像情報を生成し(ステップST29b及びステップST29c)、この生成した画像情報をプロジェクタ41に供給してカメラ24の撮影範囲に投影させる(ステップ29d)。このとき、カーソルが動いているときはカーソルを非表示にしている。
そして、マイクロコンピュータPC3は、終了割り込みがあるか否かを監視し(ステップST29e)、割り込みがなければ(NO)、上記ステップST29a乃至上記ステップST29dの処理を繰り返し実行する。割り込みがあった場合(YES)、マイクロコンピュータPC3は処理を終了する。また、上記ステップST29aにおいて、指示点位置情報が受信されなければ、マイクロコンピュータPC3は、上記ステップST29dの処理に移行する。
以上のように上記第8の実施形態であれば、プロジェクタ41によりカメラ24の撮影範囲に指示位置を表すカーソルを含む画像情報が投影されるので、拠点Aの現場作業者はカーソルを見ることにより作業支援者から詳細な指示を受けることができる。また、拠点Aの作業支援者は、現場作業者に対し言葉だけでなく直接位置を指示することが可能となる。
(第9の実施形態)
図30は、図形の軌跡を表示する第9の実施形態を示す図である。本実施形態は、上記マイクロコンピュータPC3に関するものであり、図形の例としてカーソル図形を用いる。すなわち、表示画像生成部92は、過去に表示したカーソル表示を残したまま現在のカーソル位置を表示する画像を生成する。
図30は、図形の軌跡を表示する第9の実施形態を示す図である。本実施形態は、上記マイクロコンピュータPC3に関するものであり、図形の例としてカーソル図形を用いる。すなわち、表示画像生成部92は、過去に表示したカーソル表示を残したまま現在のカーソル位置を表示する画像を生成する。
また、上記マイクロコンピュータPC3は、図31に示す処理手順を実行する。
まず、マイクロコンピュータPC3は、拠点Aから指示点位置情報を受信したか否かを監視し(ステップST31a)、指示点位置情報を受信した場合に(YES)、図30(a)に示すように指示点位置までのカーソルの軌跡を重畳した画像情報を生成し(ステップST31b)、この生成した画像情報をプロジェクタ41に供給してカメラ24の撮影範囲に投影させる(ステップ31c)。
まず、マイクロコンピュータPC3は、拠点Aから指示点位置情報を受信したか否かを監視し(ステップST31a)、指示点位置情報を受信した場合に(YES)、図30(a)に示すように指示点位置までのカーソルの軌跡を重畳した画像情報を生成し(ステップST31b)、この生成した画像情報をプロジェクタ41に供給してカメラ24の撮影範囲に投影させる(ステップ31c)。
そして、マイクロコンピュータPC3は、終了割り込みがあるか否かを監視し(ステップST31d)、割り込みがなければ(NO)、上記ステップST31a乃至上記ステップST31cの処理を繰り返し実行する。割り込みがあった場合(YES)、マイクロコンピュータPC3は処理を終了する。また、上記ステップST31aにおいて、指示点位置情報が受信されなければ、マイクロコンピュータPC3は、上記ステップST31cの処理に移行する。
このように上記第9の実施形態であれば、カーソルの現在位置による位置の指示だけでなく、文字や簡単な図形を拠点Bの実空間上に表示させることが可能になるため、拠点Aの作業支援者の指示が容易になる。なお、表示した図形をそのまま残すのではなく、その中心位置の点を順次つなぐことによって軌跡を表示しても良い。
(その他の実施形態)
なお、この発明は上記各実施形態の構成に限定されるものではない。例えば拠点A及び拠点Bの各部は、コンピュータとプログラムによっても実現でき、このプログラムを記録媒体に記録して使用することも可能であり、プログラムをネットワークを通して提供することも可能である。特に、各部の処理がプログラムにより実現できるので、構成が簡単になり、システム全体の小型化に寄与することができる。
なお、この発明は上記各実施形態の構成に限定されるものではない。例えば拠点A及び拠点Bの各部は、コンピュータとプログラムによっても実現でき、このプログラムを記録媒体に記録して使用することも可能であり、プログラムをネットワークを通して提供することも可能である。特に、各部の処理がプログラムにより実現できるので、構成が簡単になり、システム全体の小型化に寄与することができる。
また、上記各実施形態では、拠点Aから拠点Bに対しネットワークNW経由で視野移動量情報を送信する例について説明した。しかしこれに限ることなく、拠点Aと拠点Bとの間が離れていない場合に、視野移動量情報を直接拠点Bに送信するようにしてもよい。
その他、視野共有装置の構成、カメラや投影手段の種類、カメラ制御手順及び投影制御手順等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
11…モニタ、12…マイク、13…スピーカ、14…カメラ、15…音声画像通信部、16…視野移動量入力装置、17…キーボード、18…マウス、21…モニタ、22…マイク、23…スピーカ、24…カメラ、25…音声画像通信部、26…カメラ姿勢制御部、27…視野移動量入力部、28…視野表示部、31…レーザポインタ、32…支持機構、33…投影機姿勢制御部、34…撮影範囲算出部、41…プロジェクタ、42…回転ステージ、43…固定具、44…ハーフミラー、51…回転ステージ、52…画面切替入力送信部、53…撮影範囲算出部、54…表示画像生成部、55…表示制御部、61…センサ、62…視野移動量入力装置、71…画像合成部、72…画像メモリ、73…画像表示部、74…モニタ、81…タイマ、91…指示点位置入力装置、92…表示画像生成部、PC1,PC2,PC3…マイクロコンピュータ、NW…ネットワーク。
Claims (15)
- 被写体を撮影する撮影部で得られる撮像視野内の画像信号を直接または伝送路を介して提示部に入力し、該提示部に撮像視野内の画像信号を提示させる視野共有装置であって、
提示側にて、入力に応じて前記撮影部を任意の視野まで移動させるために必要な視野移動量情報を発生する視野移動量発生手段と、
この視野移動量発生手段で発生された視野移動量情報を直接または伝送路を介して入力し、該視野移動量情報に基づいて前記撮影部の撮影視野を移動させる撮影制御手段と、
前記視野移動量情報に基づいて視野移動後の前記撮影部の撮影範囲を求め、この撮影範囲内の撮影対象に所定の図形を投影する投影手段とを具備したことを特徴とする視野共有装置。 - 前記投影手段は、
前記撮影部の撮影対象に対し所定の図形を投影する投影機と、
前記視野移動量情報に基づいて視野移動後の前記撮影部の撮影範囲を求める撮影範囲演算手段と、
この撮影範囲演算手段で求められた撮影範囲に所定の図形を投影させるべく前記投影機の姿勢を求め、この姿勢に基づいて前記投影機の投影位置を移動させる投影位置制御手段とを備えたことを特徴とする請求項1記載の視野共有装置。 - 前記投影手段は、
入力される画像情報を前記撮影部の撮影対象に投影するプロジェクタと、
前記視野移動量情報に基づいて視野移動後の前記撮影部の撮影範囲を求める撮影範囲演算手段と、
この撮影範囲演算手段で求められた撮影範囲に基づいて、投影させるべく所定の図形を配置した画像情報を生成し、この画像情報を前記プロジェクタに入力する画像生成手段とを備えたことを特徴とする請求項1記載の視野共有装置。 - 前記提示側は、入力に応じて前記プロジェクタで投影すべき指示点位置情報を発生する指示点発生手段をさらに備え、
前記画像生成手段は、前記指示点発生手段で発生された指示点位置情報を直接または伝送路を介して入力し、前記プロジェクタで投影される画像内の前記指示点位置で表される位置に前記第2の図形を配置する画像情報を生成することを特徴とする請求項3記載の視野共有装置。 - 前記画像生成手段は、前記所定の図形を配置した画像内に前記第2の図形の移動による軌跡を表す第3の図形を配置した画像情報を生成することを特徴とする請求項4記載の視野共有装置。
- 前記投影手段は、前記撮影部に一体的に設けられることを特徴とする請求項1記載の視野共有装置。
- 前記請求項1記載の視野共有装置に対し、撮影部の視野移動量情報を入力する視野移動量入力装置であって、
操作者の頭部の動きを検出する頭部動作検出手段と、
この頭部動作検出手段により検出された頭部動作情報に基づいて前記視野移動量情報を算出する算出手段とを具備したことを特徴とする視野移動量入力装置。 - 前記請求項1記載の視野共有装置の視野移動中の撮影部から得られる画像情報を表示する画像表示装置であって、
前記画像情報を格納するメモリと、
前記メモリ上の画像情報を、前記視野共有装置で求められる前記撮影部の撮影範囲に関連付けて管理する画像管理手段と、
前記メモリ上の画像情報を選択的に読み出し、前記視野共有装置からリアルタイムで得られる画像情報と合わせて表示する制御手段とを具備したことを特徴とする画像表示装置。 - 前記画像管理手段は、撮影部から得られる画像情報に時刻情報が付加されているときに、前記時刻情報に関連付けて前記メモリ上の画像情報を管理することを特徴とする請求項8記載の画像表示装置。
- 被写体を撮影する撮影部で得られる撮像視野内の画像信号を直接または伝送路を介して提示部に入力し、該提示部に撮像視野内の画像信号を提示させる視野共有装置で使用される撮影範囲投影方法であって、
提示側にて、入力に応じて前記撮影部を任意の視野まで移動させるために必要な視野移動量情報を発生し、
前記視野移動量情報が直接または伝送路を介して到来した場合に、該視野移動量情報に基づいて前記撮影部の撮影視野を移動し、
前記視野移動量情報に基づいて視野移動後の前記撮影部の撮影範囲を求め、この撮影範囲内の撮影対象に所定の図形を投影するようにしたことを特徴とする撮影範囲投影方法。 - 撮影部に対し、撮影部の撮影視野を移動させるために必要な視野移動量情報を直接または伝送路を介して送信する視野移動量入力装置で使用される制御方法であって、
操作者の頭部の動きを検出し、
この頭部動作情報に基づいて前記視野移動量情報を算出するようにしたことを特徴とする視野移動量入力装置の制御方法。 - 視野移動中の撮影部から得られる画像情報を表示する画像表示装置で使用される制御方法であって、
前記画像情報をメモリに記録し、
前記メモリ上の画像情報を、前記撮影部の撮影範囲別に管理し、
前記メモリ上の画像情報を選択的に読み出し、前記撮影部からリアルタイムで得られる画像情報と合わせて表示するようにしたことを特徴とする画像表示装置の制御方法。 - 被写体を撮影する撮影部で得られる撮像視野内の画像信号を直接または伝送路を介して提示部に入力し、該提示部に撮像視野内の画像信号を提示させる視野共有装置で使用されるプログラムであって、
提示側にて、入力に応じて前記撮影部を任意の視野まで移動させるために必要な視野移動量情報を発生するステップと、
前記視野移動量情報が直接または伝送路を介して到来した場合に、該視野移動量情報に基づいて前記撮影部の撮影視野を移動するステップと、
前記視野移動量情報に基づいて視野移動後の前記撮影部の撮影範囲を求め、この撮影範囲内の撮影対象に所定の図形を投影するステップとを具備したことを特徴とする視野共有装置のプログラム。 - 撮影部に対し、撮影部の撮影視野を移動させるために必要な視野移動量情報を直接または伝送路を介して送信する視野移動量入力装置で使用されるプログラムであって、
操作者の頭部の動きを検出するステップと、
この頭部動作情報に基づいて前記視野移動量情報を算出するステップとを具備したことを特徴とする視野移動量入力装置のプログラム。 - 視野移動中の撮影部から得られる画像情報を表示する画像表示装置で使用されるプログラムであって、
前記画像情報をメモリに記録するステップと、
前記メモリ上の画像情報を、前記撮影部の撮影範囲別に管理するステップと、
前記メモリ上の画像情報を選択的に読み出し、前記撮影部からリアルタイムで得られる画像情報と合わせて表示するステップとを具備したことを特徴とする画像表示装置のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004141632A JP2005323310A (ja) | 2004-05-11 | 2004-05-11 | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004141632A JP2005323310A (ja) | 2004-05-11 | 2004-05-11 | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005323310A true JP2005323310A (ja) | 2005-11-17 |
Family
ID=35470220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004141632A Pending JP2005323310A (ja) | 2004-05-11 | 2004-05-11 | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005323310A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007293717A (ja) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 位置データ変換装置及び位置データ変換方法 |
JP2008015425A (ja) * | 2006-07-10 | 2008-01-24 | Casio Comput Co Ltd | 投影装置、ポインタ表示処理方法およびプログラム |
WO2008038364A1 (fr) * | 2006-09-28 | 2008-04-03 | Aos Technologies, Inc. | programme d'aide au travail |
JP2019075740A (ja) * | 2017-10-18 | 2019-05-16 | キヤノン株式会社 | 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム |
US10362210B2 (en) | 2017-02-07 | 2019-07-23 | Fujitsu Limited | Transmission control device and transmission control method for transmitting image |
JP2020026319A (ja) * | 2018-08-09 | 2020-02-20 | 三菱電機ビルテクノサービス株式会社 | 遠隔立会システム及び遠隔立会方法 |
WO2022220208A1 (ja) * | 2021-04-14 | 2022-10-20 | Telexistence株式会社 | データ処理装置、データ処理方法、プログラム及びデータ処理システム |
WO2023188951A1 (ja) * | 2022-03-28 | 2023-10-05 | 株式会社サンタ・プレゼンツ | 遠隔指示システム |
WO2023203853A1 (ja) * | 2022-04-20 | 2023-10-26 | 株式会社サンタ・プレゼンツ | 遠隔体験システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05284492A (ja) * | 1992-04-02 | 1993-10-29 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
JPH1065953A (ja) * | 1996-08-14 | 1998-03-06 | Fuji Electric Co Ltd | 遠隔制御画像入力装置 |
JPH1066057A (ja) * | 1996-08-19 | 1998-03-06 | Sony Corp | 遠隔監視装置 |
JPH10173975A (ja) * | 1996-12-06 | 1998-06-26 | N T T Ido Tsushinmo Kk | 撮像システム |
JP2003191810A (ja) * | 2001-12-26 | 2003-07-09 | Denso Corp | 車両周辺監視システム及び車両移動状態検出装置 |
JP2003209832A (ja) * | 2002-01-11 | 2003-07-25 | National Institute Of Advanced Industrial & Technology | 遠隔環境ガイド装置 |
-
2004
- 2004-05-11 JP JP2004141632A patent/JP2005323310A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05284492A (ja) * | 1992-04-02 | 1993-10-29 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
JPH1065953A (ja) * | 1996-08-14 | 1998-03-06 | Fuji Electric Co Ltd | 遠隔制御画像入力装置 |
JPH1066057A (ja) * | 1996-08-19 | 1998-03-06 | Sony Corp | 遠隔監視装置 |
JPH10173975A (ja) * | 1996-12-06 | 1998-06-26 | N T T Ido Tsushinmo Kk | 撮像システム |
JP2003191810A (ja) * | 2001-12-26 | 2003-07-09 | Denso Corp | 車両周辺監視システム及び車両移動状態検出装置 |
JP2003209832A (ja) * | 2002-01-11 | 2003-07-25 | National Institute Of Advanced Industrial & Technology | 遠隔環境ガイド装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007293717A (ja) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 位置データ変換装置及び位置データ変換方法 |
JP4594272B2 (ja) * | 2006-04-26 | 2010-12-08 | 日本電信電話株式会社 | 位置データ変換装置及び位置データ変換方法 |
JP2008015425A (ja) * | 2006-07-10 | 2008-01-24 | Casio Comput Co Ltd | 投影装置、ポインタ表示処理方法およびプログラム |
WO2008038364A1 (fr) * | 2006-09-28 | 2008-04-03 | Aos Technologies, Inc. | programme d'aide au travail |
JP4801738B2 (ja) * | 2006-09-28 | 2011-10-26 | Aosテクノロジーズ株式会社 | 作業支援プログラム |
US10362210B2 (en) | 2017-02-07 | 2019-07-23 | Fujitsu Limited | Transmission control device and transmission control method for transmitting image |
JP2019075740A (ja) * | 2017-10-18 | 2019-05-16 | キヤノン株式会社 | 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム |
JP7104504B2 (ja) | 2017-10-18 | 2022-07-21 | キヤノン株式会社 | 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム |
JP2020026319A (ja) * | 2018-08-09 | 2020-02-20 | 三菱電機ビルテクノサービス株式会社 | 遠隔立会システム及び遠隔立会方法 |
JP7034863B2 (ja) | 2018-08-09 | 2022-03-14 | 三菱電機ビルテクノサービス株式会社 | 遠隔立会システム及び遠隔立会方法 |
WO2022220208A1 (ja) * | 2021-04-14 | 2022-10-20 | Telexistence株式会社 | データ処理装置、データ処理方法、プログラム及びデータ処理システム |
WO2023188951A1 (ja) * | 2022-03-28 | 2023-10-05 | 株式会社サンタ・プレゼンツ | 遠隔指示システム |
WO2023203853A1 (ja) * | 2022-04-20 | 2023-10-26 | 株式会社サンタ・プレゼンツ | 遠隔体験システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9030532B2 (en) | Stereoscopic image display | |
CN111447340A (zh) | 混合现实虚拟预演拍摄系统 | |
JP2016062486A (ja) | 画像生成装置および画像生成方法 | |
KR20040031619A (ko) | 표시 장치, 화상 처리 장치 및 화상 처리 방법, 촬상장치, 및 프로그램 | |
JP2001008232A (ja) | 全方位映像出力方法と装置 | |
WO2004084542A1 (ja) | パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム | |
JP2006262030A (ja) | 画角調整装置、カメラシステムおよび画角調整方法 | |
KR20140100525A (ko) | 비디오 영화를 촬영하기 위한 시스템 | |
JP2009010728A (ja) | カメラ設置支援装置 | |
JP3526897B2 (ja) | 画像表示装置 | |
JP2001133854A (ja) | カメラシステム及び表示装置 | |
TW201809934A (zh) | 遠距作業支援裝置、指示用終端以及現場用終端 | |
JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
JP2005323310A (ja) | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム | |
JP2022106801A (ja) | 多層ビューイングシステムおよび方法 | |
JP2005038321A (ja) | ヘッドマウントディスプレイ装置 | |
JP2006352495A (ja) | 遠隔指示システム | |
JP2005277670A (ja) | 全方位映像作成装置、地図連動全方位映像記録・表示装置及び地図連動全方位映像利用装置 | |
JP2009212582A (ja) | バーチャルスタジオ用フィードバックシステム | |
JP2004146890A (ja) | 監視カメラ装置及び監視カメラシステム装置 | |
JP2007047436A (ja) | 遠隔指示システム | |
JP2003348385A (ja) | 書画カメラ装置およびこれを用いたプレゼンテーション方法 | |
JP2017062650A (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
JP2005268972A (ja) | 映像表示システム、及び映像表示方法 | |
JP3918053B2 (ja) | 小型携帯端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090811 |