JP2018201077A - 撮像装置およびその制御方法、画像処理装置およびその制御方法、作業支援システム、プログラム - Google Patents

Abstract

【課題】遠隔地の作業者に対して指示者が作業指示を行う際に円滑な意思疎通を図ること。【解決手段】遠隔作業支援システムは、作業者に装着されるカメラ端末１００と、指示者が使用する作業指示端末１２０を備え、カメラ端末１００と作業指示端末１２０とが通信を行う。カメラ端末１００は撮影した撮影画像および該撮影画像に関連付けられた撮影タイムスタンプを作業指示端末１２０に送信する。動き量検出部１１２は、カメラ端末１００の動き量を検出する。通信部１０９は、指示者が作業指示端末１２０で指定した指示位置の座標および指示位置に関連付けられた撮影タイムスタンプを受信する。指示位置算出部１１３は、受信された撮影タイムスタンプと指示位置に基づいてカメラ端末１００の動き量を積算して、最新の指示位置を算出する。指示位置照射部１１４は、算出された最新の指示位置を作業者に通知するために指示位置へ光を照射する。【選択図】 図１

Description

本発明は、作業者と指示者とのコミュニケーションを支援する技術に関する。

遠隔作業支援装置は、作業の熟練者である指示者が、遠隔地に居る作業に不慣れな作業者に作業指示を出すための装置である。指示者と作業者との双方向のコミュニケーションを、音声だけでなく画像情報を使って行うために、作業者は広角撮影可能な撮像装置を装備し、撮像された映像が指示者の使用する装置に送信される。指示者は受信した撮影映像を見て作業状況を把握することができる。また、指示者から作業者への音声による指示だけでは、説明が煩雑であるという課題の解決策として、作業者が表示装置を装備して指示者からの視覚的な指示を受信することも考えられる。この場合、作業者が実際に作業を行う実空間と、表示装置の画面に表示される指示を見比べて作業を行う必要があるので、作業者に負担がかかる。

そこで、作業者の負担を軽減しつつ、作業者と指示者とが視野と視点を共有し、円滑なコミュニケーションを図るための方法が特許文献１に開示されている。指令センタに居る熟練者が遠隔作業地に居る非熟練者に作業を行わせるにあたって、指令センタに設置されたクライアント装置から遠隔作業地に設置されたサーバ装置へ指令が送られる。指示者は作業者が装備する撮像装置に付随するレーザポインタを制御することで、作業を行う実空間上の指示位置へ光を照射することができる。

特開２００３−３７８４０号公報

特許文献１の装置は、通信タイムラグによるレーザポインタの操作性の低下を改善するために、パターンマッチング処理によりレーザポインタの照射点を発見して追跡する。カメラの焦点距離とレーザポインタの方向制御により通信タイムラグの補正が行われる。このシステムでは、遠隔作業地の作業者側のサーバ装置が据え置き型であり、作業対象の装置が動くことを想定していない。

作業者に装着された撮像端末装置が、作業者の周辺環境を撮影した映像を指示者の使用する装置に送信する遠隔作業支援システムの場合、作業者が移動することが前提となる。例えば、作業者が動いたときに追尾対象である被写体の画像の形状変化やフレームアウト等が発生した場合、パターンマッチング処理ではレーザポインタの照射位置を見失う可能性がある。
本発明は、遠隔地の作業者に対して指示者が作業指示を行う際に円滑な意思疎通を図ることを目的とする。

本発明の一実施形態の装置は、撮像手段により取得される画像を処理する撮像装置であって、前記画像および前記画像に関連付けられた撮影時刻の情報を送信する送信手段と、画像内の指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を受信する受信手段と、前記撮像装置の動き量を検出する検出手段と、前記受信手段が前記指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を受信した場合、当該撮影時刻での指示位置を起点として前記検出手段により検出される動き量を積算して最新の指示位置を算出する算出手段と、前記算出手段により算出された指示位置を通知する出力手段と、を備える。

本発明によれば、遠隔地の作業者に対して指示者が作業指示を行う際に円滑な意思疎通を図ることができる。

本発明の実施形態に係る作業支援システムの構成図である。 本実施形態におけるジャイロセンサ軸と作業者との位置関係図である。 本実施形態に係る撮影タイムスタンプと動き量との対応関係図である。 本実施形態における作業指示端末の表示例を示す図である。 本実施形態に係る撮影画像データの例を示す図である。 本実施形態における作業空間の撮影処理のフローチャートである。 本実施形態における撮影画像データの表示処理のフローチャートである。 本実施形態における作業指示情報の入力処理のフローチャートである。 本実施形態における作業指示位置への照射処理のフローチャートである。

以下、本発明の実施形態に関して、図面を参照して詳細に説明する。図１を参照して、本実施形態に係る遠隔作業支援装置のシステム構成を説明する。遠隔作業支援システムは、撮像端末装置および当該装置と通信する装置から構成され、作業者の体の一部（頭、胸、耳等）に装着された撮像端末装置が、作業者の周辺環境を撮影した映像を指示者の使用する装置に送信する。図１の左側には作業者側のカメラ端末１００を示し、図１の右側には指示者側の作業指示端末１２０を示す。これらの端末はインターネット１１５を通して相互に通信可能である。

まず、作業者が使用するカメラ端末１００の構成を説明する。
撮像部１０１は、レンズ、シャッター、絞り等の光学部材と、撮像素子を備える。撮像部１０１は、システム制御部１０３の指令にしたがって撮影動作を行い、撮影画像データを取得して作業メモリ１０５へ格納する。

システム制御部１０３はカメラ端末１００全体を制御する制御中枢部であり、ＣＰＵ（中央演算処理装置）を備える。システム制御部１０３は、撮像フレームレートに合わせて撮像タイミングを示すデータを発行し、当該データを撮影された画像情報と関連付けて作業メモリ１０５へ格納する。例えば撮影時刻情報であるタイムスタンプのデータが使用される。作業メモリ１０５は、ＤＲＡＭ（Dynamic Random Access Memory）等が用いられ、撮像部１０１から取得される撮像後の画像データや各種データを一時的に記憶する。作業メモリ１０５は、所定枚数の画像データの格納に十分な記憶容量を有する。バス１０２は、撮像部１０１、システム制御部１０３、および以下に説明する各構成部を接続し、データや制御信号の送受を行う伝送部である。

不揮発性メモリ１０６は電気的に消去および記憶可能なメモリであり、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記憶される。システム制御部１０３のＣＰＵは不揮発性メモリ１０６に記憶されたプログラムを実行することで、作業空間の撮影処理、作業指示位置への照射処理を実現する。

マイク１０７は作業者の声を集音し、音声をデジタル信号へ変換する。またスピーカ１０８は、受信した指示者の音声データをアナログ変換して音声を出力する。マイク１０７およびスピーカ１０８は、作業者が指示者との対話に用いる入出力デバイスである。

画像処理部１０４はシステム制御部１０３の指令により、撮像部１０１や、作業メモリ１０５から取得した撮影後の画像データに対して、現像処理、縮小等のリサイズ処理、シャープネス処理、色変換処理、圧縮処理といった画像処理を行う。

通信部１０９は、外部装置との間で制御コマンドやデータの送受信を行うための通信インターフェース部であり、送信部および受信部を有する。カメラ端末１００は、インターネット等のコンピュータネットワークや、無線ＬＡＮ（Local Area Network）、ＢｌｕｅＴｏｏｔｈ（登録商標）等の規格に基づく無線接続により、外部装置を中継して作業指示端末１２０と通信可能である。本実施形態の通信部１０９は少なくとも、ネットワークを介して接続される指示者側の作業指示端末１２０との間で以下の送受信を行えるものとする。
・撮影画像データおよび当該撮影画像データに関連付けられている撮影タイムスタンプの送信。
・撮影画像内の作業指示位置（例えば、指示者が作業者に対して注意を喚起させたい位置）の情報の受信。
・撮影画像データに関連付けられている撮影タイムスタンプの受信。
・作業指示位置の指定の解除指示、表示する撮影画像データのポーズ指示およびポーズ解除指示、遠隔作業支援システムの開始および終了指示等の指示情報の受信。
・音声データの送受信。

記録媒体１１１は、電源遮断時でも保持する必要がある情報等を記録する媒体であり、半導体メモリや磁気ディスク等から構成される。記録媒体Ｉ／Ｆ部１１０は記録媒体１１１とのインターフェース部であり、データの読み書きを行う。

動き量検出部１１２は、例えば角速度センサであるジャイロセンサ、加速度センサ等を備え、カメラ端末１００の動き量を検出する。カメラ端末１００は作業者の体に装着して使用される撮像端末装置であるため、作業者とともに移動する。動き量検出部１１２は、カメラ端末１００の動き量、つまり単位時間当たり、どれくらいの変化量であるかを検出する。例えば、カメラ端末１００の撮像部１０１は作業者が装着するヘルメット等に取り付けられ、作業者の前方の作業空間を撮像する。具体例については図２を用いて後述する。

動き量検出部１１２により検出された動き量のデータは、作業メモリ１０５に記憶された後で処理される。システム制御部１０３は撮像時に発行した撮影タイムスタンプと同じタイミングで、動き量検出部１１２が検出した動き量のデータを撮影画像データと関連付けて、一定期間分の検出データを作業メモリ１０５へ格納する。

指示位置算出部１１３は、撮影後の画像データの座標位置に基づいて、撮影画像データの撮影タイムスタンプに関連付けられた動き量を起点として、最新の動き量に到達するまで動き量を積算し、最新の作業指示位置を算出する。

指示位置照射部１１４は、レーザポインタやプロジェクタ等の光学装置（光照射装置）を備える。指示位置照射部１１４は、システム制御部１０３の指令にしたがい、指示位置算出部１１３が算出した最新の作業指示位置へ、光学装置の向きを制御して可視光を照射する。例えば、指示者が作業指示端末１２０上で行った操作指示にしたがって、指示位置照射部１１４はレーザポインタにより作業指示位置へ光を照射する。指示位置照射部１１４が照射する指示位置の算出に使用するパラメータ等、照射制御に必要な情報は作業メモリ１０５に記憶されているものとする。

本実施形態のカメラ端末１００は表示装置を備えておらず、作業者が作業中に表示画面を見る必要がないので作業者に負担がかからない。なお、遠隔作業支援システムの仕様によってはカメラ端末１００が表示装置を備える構成も可能である。

次に指示者側の作業指示端末１２０の構成を説明する。作業指示端末１２０内のバス１２２、作業メモリ１２５、不揮発性メモリ１２６、記録媒体Ｉ／Ｆ部１４０、記録媒体１４１は、カメラ端末１００内にそれぞれ対応する各部（１０２、１０５、１０６、１１０、１１１）と同様の機能を有する。よってそれらの詳細な説明を割愛する。

システム制御部１２３は、作業指示端末１２０全体を制御する。システム制御部１２３はＣＰＵを備え、ＣＰＵは不揮発性メモリ１２６に記憶されたプログラムを実行することで、後述する撮影画像データの表示処理、作業指示情報の入力処理を実現する。

マイク１２７は指示者の声を集音し、デジタル信号へ変換する。スピーカ１２８は受信した作業者の音声データをアナログ変換して音声を出力する。マイク１２７およびスピーカ１２８は、指示者が作業者との対話に用いる入出力デバイスである。

操作部１４２は、指示者が行う操作指示を作業指示端末１２０の制御情報に変換し、システム制御部１０３へ通知する。操作部１４２は、キーボード、ポインティングデバイス、タッチパネル等のユーザインターフェース用デバイスを備える。本実施形態において指示者は操作部１４２を操作し、少なくとも以下の指示を行えるものとする。
・遠隔支援システムの開始および終了の指示。
・受信した撮影画像データ中の、作業指示位置の指定、および指示位置指定の解除の指示。
・表示する撮影映像のポーズ指示、およびポーズ解除の指示。

通信部１３９はインターネット等のネットワークを介して作業者側のカメラ端末１００と通信可能であり、送信部および受信部を有する。通信部１３９は少なくとも、カメラ端末１００との間で以下の送受信を行えるものとする。
・カメラ端末１００からの撮影画像データ、および撮影画像データに関連付けられている撮影タイムスタンプの受信。
・撮影画像内の作業指示位置の指定や、撮影画像データに関連付けられている撮影タイムスタンプ、作業指示位置の指定解除指示の送信。
・表示する撮影画像データのポーズ指示、ポーズ解除指示、遠隔作業支援システムの開始および終了指示の送信。
・音声データの送受信。

画像処理部１２４はシステム制御部１２３の指令により、通信部１３９から受信した撮影画像データを処理する。画像処理はデータの圧縮解除処理等を含み、処理された画像データは作業メモリ１２５や記録媒体１４１へ保存される。

表示部１４３はディスプレイ等の表示デバイスを備え、システム制御部１２３の指令にしたがって、作業メモリ１２５から取得した撮影画像データ等を画面に表示する。本実施形態において表示部１４３は、指示者が作業者の作業空間を把握するためにリアルタイム映像を表示する目的で使用される。
なお、図１に示す構成は一例であり、以下に説明する動作が可能であれば、本発明に係る遠隔作業支援システムの構成は図１に示す構成に限定されない。

図２は、カメラ端末１００のジャイロセンサ軸と作業者との位置関係を説明する模式図である。作業者の頭部には、撮像部１０１が撮像面を前方の向きにして固定される。撮像面に設定される２軸の一方をＸ軸とし、Ｘ軸に直交する軸をＹ軸と定義する。撮像部１０１の光軸はＸ軸およびＹ軸に直交する軸である。Pitch方向はＸ軸を中心軸とする回動方向であり、Yaw方向はＹ軸を中心軸とする回動方向である。Roll方向は光軸を中心軸とする回動方向である。動き量検出部１１２は、ジャイロセンサにより、撮像面に対してPitch軸、Yaw軸、Roll軸、Ｘ軸、Ｙ軸の５軸について単位時間当たりの変化量を計測する。

作業者は、例えばヘルメットを被り、ヘルメットにはカメラ端末１００が撮像部１０１の撮像面を前方に向いて設置される。ジャイロセンサに係る５軸と撮像面との関係において、作業者のとる姿勢に応じてジャイロセンサの検出出力が変化する。図２では図示を省略するが、カメラ端末１００に搭載された指示位置照射部１１４の初期位置は光軸中心で設置される構成とする。本実施形態では、指示位置照射部１１４が備えるレーザポインタと、その指示光の照射方向を変更可能な駆動制御部が設けられている。指示者は遠隔操作によって、所望の作業指示位置を作業者に指示することが可能である。レーザポインタの照射方向制御については公知であるため、詳細な説明を割愛する。

図３（Ａ）は、カメラ端末１００の動き量検出部１１２による検出例を示す。横軸は時間軸であり、縦軸はゼロを基準に上側がプラス方向の動き量を示し、下側がマイナス方向の動き量を示す。図３（Ａ）は、ジャイロセンサの検出情報として、上から順にＸ成分、Ｙ成分、Roll成分、Pitch成分、Yaw成分をそれぞれ例示し、Yaw成分の時間変化が検出された例である。この場合、作業者は顔を右方に向けたあとに左方に動かした場合の動き量が検出される。各成分は、それぞれに対応する軸についてシステム制御部１０３が発行する撮像フレームレートに相当する周期と同じ周期で検出される。動き量検出部１１２は、５軸で検出される動き量を取得することができる。動き量は撮影タイムスタンプと関連付けられることで、動き量の履歴情報が記憶部に保持される。

次に図４を参照して、作業指示端末１２０の操作に関して説明する。表示部１４３の画面には、以下の操作オブジェクトやウィンドウが表示される。
・指示者が遠隔作業支援システムの開始/終了を指示するためのボタン９０１。
・指示者が表示映像のポーズ/ポーズ解除を指示するためのボタン９０２。
・撮影画像データを表示する表示ウィンドウ９０３。
・指示者が作業指示位置を指定するためのポインタ９０４。

例えば、指示者はポインティングデバイス等を有する操作部１４２を操作し、遠隔作業支援システム開始/終了のボタン９０１を押下する。これにより、作業指示端末１２０に対して遠隔作業支援システムの開始の指示や終了の指示が行われる。また、指示者は操作部１４２を操作し、表示映像のポーズ/ポーズ解除のボタン９０２を押下することにより、表示中の撮影画像のポーズ表示の指示やポーズ表示の解除が行われる。指示者は、表示ウィンドウ９０３に表示される画像内での作業指示位置を指定することができる。つまり、指示者は表示ウィンドウ９０３内のポインタ９０４の移動操作を行い、作業者に注目して欲しい作業指示位置を指定することができる。

続いて図３（Ｂ）および図３（Ｃ）、図５を参照して、カメラ端末１００の動き量、撮影タイムスタンプ、撮影画像情報の関係を説明する。図３（Ｂ）および図３（Ｃ）において横軸は時間軸を示し、数字は撮影タイムスタンプを示している。図３（Ｂ）に示す数字０から１９は、作業者の使用するカメラ端末１００でシステム制御部１０３が撮像フレームレートに対応する周期で発行した撮影タイムスタンプを示す。また図３（Ｃ）に示す数字０、５〜１５は、指示者の使用する作業指示端末１２０で表示部１４３が表示中の撮影画像データの撮影タイムスタンプを示す。

指示者は操作部１４２を操作し、撮影画像の表示をポーズ（一時的停止）する指示が可能である。ポーズ指示により、表示映像が一時的に停止し、ポーズ中には図３（Ｃ）の数字０が連続している。つまり、同じ撮影タイムスタンプが連続している期間は、指示者が表示画面上で撮影画像のポーズ指示を行っている期間を示している。なお、撮像画像の表示のポーズを指示するか否かは指示者の自由であり、表示映像を一時的に停止せずとも、容易に作業指示位置を指定できるのであれば、必ずしもポーズを指示する必要はない。

図３（Ｂ）から図３（Ｃ）へ向かう破線の矢印２００は通信タイムラグを表している。作業者のカメラ端末１００で撮像された画像は、通信タイムラグに相当する時間だけ遅れて、作業指示端末１２０の表示部１４３に表示されることとなる。図３（Ｃ）では、指示者が撮影タイムスタンプ０の表示中に表示映像のポーズ指示を行い、タイムスタンプ４つ分に対応する時間の経過後に、作業指示位置を指示する操作を行う例を示す。作業指示位置を指示する操作が行われ、ポーズ指示が解除されて撮影タイムスタンプの進行が開始する。

図３（Ｃ）から図３（Ｂ）へ向かう実線の矢印２０１は、指示者の作業指示位置の指示情報が通信タイムラグ分の時間だけ遅れてカメラ端末１００により受信されたことを示している。図３（Ｂ）では、撮影タイムスタンプ１０のタイミングで作業指示位置が受信された例を示す。つまり撮影タイムスタンプ７から１０までの時間が通信タイムラグに相当する遅延時間である。

図５は撮影画像データの例を示す模式図である。時間軸の向きを上から下とする。この例では、作業者が顔を右方に向けたあとに左方に動かした場合に撮像された画像データを示す。画像３００、３０１、３０２、３０３、３０４はそれぞれ、図３（Ｂ）で示した撮影タイムスタンプ０、６、１０、１２、１４で撮影された各時刻での撮影画像データを示す。例えば撮影タイムスタンプ０のデータが関連付けられている画像３００は、その画像データがカメラ端末１００から作業指示端末１２０へ送信され、表示部１４３の画面内の表示ウィンドウ９０３（図４）に表示される。

指示者は作業指示端末１２０により、例えば「プリンタのインクカートリッジを回収してください」という指示を出して、撮影画面内の作業指示位置を指定する。図３（Ｂ）の撮影タイムスタンプ１０のタイミングでカメラ端末１００は作業指示位置を受信する。図５に示す画像部分３０５は、図３（Ｂ）の撮影タイムスタンプ１２に対応するタイミングで作業指示位置の計算が完了し、レーザポインタにより作業指示位置へ光が照射されているときの画像例である。作業者はレーザ光の照射位置から、インクカートリッジを容易に見つけることができる。

カメラ端末１００と作業指示端末１２０との通信タイムラグは、データの伝送時間、送信側でのデータの圧縮、受信側のデータの解凍（圧縮解除）等の処理により発生し、常に一定時間とは限らない。よって上記の通信タイムラグはあくまでも一例である。また本実施形態では、カメラ端末１００のシステム制御部１０３が発行する撮像フレームレートと、作業指示端末１２０のシステム制御部１２３が発行する表示フレームレートに関して、同じ周期にした例を示している。遠隔作業支援システムの仕様によっては、カメラ端末１００と作業指示端末１２０とを同期させる必要はない。

次に図６から図９を参照して、カメラ端末１００と作業指示端末１２０がそれぞれ実行する処理に関して説明する。なお、カメラ端末１００のシステム制御部１０３は作業空間の撮影処理を実行し、作業指示位置の照射処理はシステム制御部１０３が発行する撮像フレームレートに同期して撮影処理と並列に実行されるものとする。また、作業指示端末１２０のシステム制御部１２３は表示フレームレートに同期して撮影画像情報の表示処理を実行する。作業指示情報の入力処理は、指示者による操作部１４２の操作が検知されることにより実行される。

図６のフローチャートを参照して、カメラ端末１００が行う作業空間の撮影処理について説明する。
Ｓ４００：作業支援システムの開始判定。
システム制御部１０３は、通信部１０９が遠隔作業支援システムの開始情報を受信したかどうかを判定する。Ｓ４００にて開始情報が受信されない場合（ＮＯ）、システム制御部１０３は通信部１０９が開始情報を受信するまで待機する。一方、開始情報が受信されたと判定された場合（ＹＥＳ）、Ｓ４０１の処理に進む。

Ｓ４０１：作業空間の撮影。
システム制御部１０３は通信部１０９が遠隔作業支援システムの開始情報を受信すると、所定のフレームレートを発行して信号を生成し、遠隔作業支援システムを開始させる。撮像部１０１はシステム制御部１０３の指令にしたがって作業空間を撮影し、システム制御部１０３は撮影タイムスタンプを発行する。次にＳ４０２の処理に進む。

Ｓ４０２：ジャイロ情報の検出。
動き量検出部１１２は、システム制御部１０３の指令により、ジャイロセンサで動き量を検出する。次にＳ４０３の処理に進む。

Ｓ４０３：動き量と撮影タイムスタンプとの関連付けおよび保存。
システム制御部１０３は、Ｓ４０２で検出された動き量を、撮影タイムスタンプと関連付けた上で、作業メモリ１０５へ出力して記憶させる処理を行う。画像処理部１０４は、システム制御部１０３の指令により、現像および適切なサイズへのリサイズ、圧縮処理を行い、撮影画像データを生成して撮影タイムスタンプとともに作業メモリ１０５へ出力する。撮影画像データおよび撮影タイムスタンプは作業メモリ１０５に格納される。次にＳ４０４の処理に進む。

Ｓ４０４：撮影画像データ、撮影タイムスタンプ、音声データの送信。
システム制御部１０３の指令にしがってマイク１０７が集音し、撮影時に作業者が話している声はデジタル音声信号へ変換される。通信部１０９は、システム制御部１０３の指令により、Ｓ４０３での撮影画像データ、撮影タイムスタンプとともに音声データを作業指示端末１２０へ送信する。次にＳ４０５の処理に進む。

Ｓ４０５：指示者の音声の出力。
通信部１０９はシステム制御部１０３の指令により、指示者が話す音声のデータを作業指示端末１２０から受信する。スピーカ１０８はシステム制御部１０３の指令にしたがい、受信済みの音声データに対応する音声を出力する。次にＳ４０６の処理に進む。

Ｓ４０６：撮像タイミングの判定。
システム制御部１０３は、撮像タイミングが到来したかどうかを判定する。システム制御部１０３が生成する所定の撮像フレームレートでのタイミングでない場合（ＮＯ）、次の撮像タイミングが到来するまで待機状態となる。一方、システム制御部１０３が生成する所定の撮像フレームレートでの撮像タイミングが到来したことが判定された場合（ＹＥＳ）、Ｓ４０７の処理に進む。

Ｓ４０７：作業支援システムの終了判定。
システム制御部１０３は、通信部１０９が遠隔作業支援システムの終了情報を受信したかどうかを判定する。終了情報が受信されたと判定された場合（ＹＥＳ）、処理を終了する。通信部１０９が終了情報を受信していない場合（ＮＯ）、システム制御部１０３はＳ４０１に戻って処理を続行する。

次に図７のフローチャートを参照して、作業指示端末１２０が行う撮影画像データの表示処理について説明する。
Ｓ５００：遠隔作業支援システムの開始判定。
システム制御部１２３は、遠隔作業支援システムの開始について判定する。指示者が操作部１４２を操作し、遠隔作業支援システムの開始を指示するまでの間、待機状態となる（ＮＯの場合）。指示者が操作部１４２を操作し、遠隔作業支援システムの開始を指示したことが検出された場合（ＹＥＳ）、システム制御部１２３は所定の表示フレームレートを発行して信号を生成し、遠隔作業支援処理を開始させる。次にＳ５０１の処理に進む。

Ｓ５０１：撮影画像データ、撮影タイムスタンプ、音声データの受信。
通信部１３９はシステム制御部１２３の指令により、各種データを受信する。つまり、カメラ端末１００から送信される、撮影画像データ、撮影タイムスタンプ、音声データを通信部１３９が受信し、作業メモリ１２５へ出力して記憶させる処理が実行される。

Ｓ５０２：ポーズ指示中についての判定。
システム制御部１２３は指示者による撮影映像のポーズ指示中であるかどうかを判定する。ポーズ指示中でないと判定された場合（ＮＯ）、Ｓ５０３の処理に進む。一方、ポーズ指示中であると判定された場合（ＹＥＳ）にはＳ５０４の処理へ移行する。

Ｓ５０３：撮影画像データの圧縮解除。
画像処理部１２４はシステム制御部１２３の指令に従い、受信済みの撮影画像データの解凍（圧縮解除）処理を行う。処理後のデータは作業メモリ１２５に記憶される。次にＳ５０４の処理に進む。

Ｓ５０４：表示更新タイミングの判定。
システム制御部１２３は、表示更新タイミングが到来したか否かを判定する。システム制御部１２３が生成する所定の表示フレームレートのタイミングでないと判定された場合（ＮＯ）、次の表示更新タイミングまで待機状態となる。一方、システム制御部１２３が生成する所定の表示フレームレートのタイミングが到来したと判定された場合（ＹＥＳ）、Ｓ５０５の処理に進む。

Ｓ５０５：表示更新。
システム制御部１２３は生成した所定の表示フレームレートのタイミングで、作業メモリ１２５に記憶されている最新の撮影画像データを表示部１４３に表示させる更新処理を実行する。次にＳ５０６の処理に進む。

Ｓ５０６：作業者の音声の出力。
スピーカ１２８はシステム制御部１２３の指令にしたがい、受信した作業者の音声データに対応する音声を出力する。次にＳ５０７の処理に進む。

Ｓ５０７：指示者の音声データの送信。
システム制御部１２３の指令により、マイク１２７は指示者が話している声を集音し、デジタル音声信号へ変換する。通信部１３９は取得された音声データを、カメラ端末１００に送信する。次にＳ５０８の処理に進む。

Ｓ５０８：作業支援システムの終了判定。
システム制御部１２３は、指示者が操作部１４２を操作して遠隔作業支援システムの終了を指示したと判定した場合（ＹＥＳ）、処理を終了する。指示者が遠隔作業支援システムの終了を指示していない場合（ＮＯ）、システム制御部１２３はＳ５０１に戻って処理を続行する。

図８のフローチャートを参照して、作業指示位置の入力処理に関して説明する。
Ｓ６００：指示者の操作。
指示者は表示部１４３の画面に表示される撮影画像データを見て操作部１４２を操作する。指示者は、表示中の映像データのポーズ指示や、作業者に注目して欲しい作業指示位置の入力を行うことができる。指示者は表示部１４３に表示される撮影画像データや会話から、作業者に作業指示位置が伝わったことを確認できた場合に、操作部１４２を操作して作業指示位置の指定解除の操作を行う。例えば、作業指示位置については指示者がマウス等のポインティングデバイスを使用して、撮影映像が表示されている表示部１４３の画面上をクリックする操作により入力することができる。

Ｓ６０１：作業指示位置の指定についての判定。
システム制御部１２３は、指示者が作業指示位置の指定操作を行ったかどうかを判定する。作業指示位置の指定操作が行われ、作業指示位置が入力されたことが判定された場合（ＹＥＳ）、システム制御部１２３は操作部１４２から座標位置を取得してＳ６０２の処理に進む。一方、作業指示位置の指定操作が行われない場合（ＮＯ）にはＳ６０３の処理へ移行する。

Ｓ６０２：撮影タイムスタンプ、作業指示位置の送信。
通信部１３９はシステム制御部１２３の指令により、作業指示位置として撮影画像上の座標位置を取得するとともに、撮影画像データに関連付けられている撮影タイムスタンプと併せて、カメラ端末１００へ送信する。次にＳ６０５の処理に進む。

Ｓ６０３：作業指示位置の指定解除の判定。
システム制御部１２３は、指示者が作業指示位置の指定解除の操作を行ったかどうかを判定する。指定解除の操作が行われたことが判定された場合（ＹＥＳ）、Ｓ６０４の処理に進む。指定解除の操作が行われない場合（ＮＯ）にはＳ６０５の処理へ移行する。

Ｓ６０４：指定解除の情報の送信。
通信部１３９はシステム制御部１２３の指令により、作業指示位置の指定解除の情報をカメラ端末１００へ送信する。次にＳ６０５の処理に進む。

Ｓ６０５：作業支援システムの終了判定。
システム制御部１２３は、指示者が操作部１４２を操作して遠隔作業支援システムの終了を指示したと判定した場合（ＹＥＳ）、処理を終了する。指示者が遠隔作業支援システムの終了を指示していない場合（ＮＯ）、システム制御部１２３はＳ６００に戻って処理を続行する。

図９のフローチャートを参照して、作業指示位置への照射処理に関して説明する。
Ｓ７００：作業指示位置の指定解除情報の受信判定。
システム制御部１０３は、通信部１０９が作業指示位置の指定解除情報を受信したか否かを判定する。通信部１０９が作業指示位置の指定解除情報を受信したと判定された場合（ＹＥＳ）、Ｓ７０１に処理を進める。通信部１０９が作業指示位置の指定解除情報を受信していないと判定された場合（ＮＯ）、Ｓ７０２の処理へ移行する。

Ｓ７０１：レーザポインタの照射終了。
指示位置照射部１１４はシステム制御部１０３の指令にしたがって、レーザポインタの照射を停止し、Ｓ７０８の処理に進む。

Ｓ７０２：作業指示位置の指定情報の受信判定。
システム制御部１０３は、通信部１０９が作業指示位置の指定情報を受信したか否かを判定する。通信部１０９が作業指示位置の指定情報を受信したと判定された場合（ＹＥＳ）、Ｓ７０３に処理を進める。通信部１０９が作業指示位置の指定情報を受信していないと判定された場合（ＮＯ）、Ｓ７０４の処理へ移行する。

Ｓ７０３：作業指示位置の座標計算。
指示位置算出部１１３はシステム制御部１０３の指令により、作業指示位置の座標計算を行う。指示位置算出部１１３は作業メモリ１０５に保存されている動き量の履歴情報から、受信した撮影タイムスタンプに関連付けられている動き量を起点として、最新の撮影タイムスタンプでの動き量に追いつくまで指示座標を積算する。図３で示す具体例で説明すると、指示者が操作部１４２で作業指示位置を指示した後にカメラ端末１００が受信した撮影タイムスタンプは０である。この場合、指示位置算出部１１３は撮影タイムスタンプ１に関連付けられている動き量を用いて指示座標を起点として撮影タイムスタンプ１の指示座標を計算し、計算した座標に撮影タイムスタンプ２の動き量を積算する。以降、指示位置算出部１１３はこの計算を、動き量検出部１１２が最も新しく検出した動き量に追いつくまで積算を繰り返す。計算処理の後、Ｓ７０７の処理に進む。

Ｓ７０４：作業指示位置の指定継続の判定。
システム制御部１０３は、作業指示位置の指定が継続中であるかどうかを判定する。現在も作業指示位置の指定が継続中であると判定された場合（ＹＥＳ）、Ｓ７０５の処理に進む。作業指示位置の指定が継続中でないと判定された場合（ＮＯ）、Ｓ７０８の処理へ移行する。

Ｓ７０５：最新の動き量検出結果に係る判定。
システム制御部１０３は、最新の動き量が検出されたか否かを判定する。動き量検出部１１２が最新の動き量を検出したことが判定された場合（ＹＥＳ）、Ｓ７０６の処理に進む。動き量検出部１１２が最新の動き量を検出していない場合（ＮＯ）、Ｓ７０８の処理へ移行する。

Ｓ７０６：最新の作業指示位置の座標計算。
指示位置算出部１１３は前回の積算結果を元に指示座標を積算して再計算を行い、最新の指示座標を算出する。次にＳ７０７の処理に進む。
Ｓ７０７：レーザポインタの照射。
指示位置照射部１１４はシステム制御部１０３の指令にしたがって、指示位置算出部１１３が算出した座標の指示位置に向けて、レーザポインタの光を照射する。次にＳ７０８の処理に進む。

Ｓ７０８：作業支援システムの終了判定。
システム制御部１０３は、通信部１０９が遠隔作業支援システムの終了情報を受信したかどうかを判定する。通信部１０９が終了情報を受信したと判定された場合（ＹＥＳ）、処理を終了する。通信部１０９が終了情報を受信してないと判定された場合（ＮＯ）、システム制御部１０３は、Ｓ７００へ戻って処理を続行する。

作業者の動きや通信タイムラグ、あるいは指示者による映像のポーズ指示等によって、指示者が作業指示位置を指定する時点の表示映像と、作業者に装着されたカメラ端末でリアルタイムに撮影される映像とでは視点が異なる場合がある。本実施形態では、作業者の動きや通信遅延等に対して作業指示位置のズレを補正することができる。すなわち指示者が指示した時点での作業指示位置と、作業者の現在の視野内での位置とのズレを補正するために指示座標の計算が行われるので、指示者が指示した作業指示位置へ光を適切に照射することができる。それにより、作業者が動いてしまった場合でも、指示者が意図する指示位置を作業者に通知できる。本実施形態によれば、遠隔地の作業者に対して指示者が作業指示を行う遠隔作業支援システムにおいて、作業者と指示者が視点を共有し、音声での円滑な意思疎通を図ることができる。

本実施形態では動き量検出部１１２が角速度センサにより動き量を検出する例を説明した。これに限らず、加速度センサにより検出される加速度、距離情報等、あるいはその他のセンサによる検出情報を併用し、複数の組み合わせにより計測精度を向上させることができる。例えば、撮像素子により撮影時刻の異なる画像データを取得して、撮影画像の動きベクトルを検出し、角速度センサの出力と動きベクトルを組み合わせることで動き量の検出精度を高めることができる。

また本実施形態では、作業者に指示位置を通知するために、レーザポインタ等を用いて指示位置へ光を照射する例を説明したが、作業者に対して作業指示位置を通知するための手段について限定はない。例えば、作業者が眼鏡型の表示装置やヘッドマウントディスプレイ等を装備する作業支援システムにおいて、実空間を透過して見ることができる表示装置の画面上にてアイコン等で指示位置を表示する形態がある。また本実施形態では、ユーザが任意のタイミングで映像表示のポーズ指示およびポーズ解除を行うことができるシステム例を説明した。これに限らず、作業支援装置は予め設定された時間間隔で映像表示のポーズ処理とポーズ解除を行い、定期的に角速度センサの誤差をリセットするタイミング信号を生成してもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ端末
１０１ 撮像部
１０３ システム制御部
１１２ 動き量検出部
１１３ 指示位置算出部
１１４ 指示位置照射部
１２０ 作業指示端末
１２３ システム制御部
１４２ 操作部
１４３ 表示部

Claims (11)

1. 撮像手段により取得される画像を処理する撮像装置であって、
   前記画像および前記画像に関連付けられた撮影時刻の情報を送信する送信手段と、
   画像内の指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を受信する受信手段と、
   前記撮像装置の動き量を検出する検出手段と、
   前記受信手段が前記指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を受信した場合、当該撮影時刻での指示位置を起点として前記検出手段により検出される動き量を積算して最新の指示位置を算出する算出手段と、
   前記算出手段により算出された指示位置を通知する出力手段と、
   を備えることを特徴とする撮像装置。
2. 前記検出手段は、角速度センサ、加速度センサ、および撮影画像の動きベクトルのうちの１つ以上により前記動き量を検出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記出力手段は、前記指示位置へ光を照射する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記検出手段により検出された動き量を前記撮影時刻と関連付けて記憶する記憶手段を備える
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記算出手段は、前記指示位置の指定が継続しており、かつ前記検出手段による前記動き量の変化が検出された場合、前回に算出した指示位置および前記検出手段が新たに検出した動き量から最新の指示位置を算出する
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 撮像装置から画像情報を受信して処理する画像処理装置であって、
   前記撮像装置により撮影された画像および当該画像に関連付けられた撮影時刻の情報を前記撮像装置から受信する受信手段と、
   前記受信手段が受信した画像を表示する表示手段と、
   撮影された画像内の指示位置を指定する指定手段と、
   前記指定手段により指定された指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を前記撮像装置へ送信する送信手段と、を備える
   ことを特徴とする画像処理装置。
7. 前記送信手段は、前記表示手段による画像の表示を一時的に停止させる指示および当該指示を解除する指示の信号を前記撮像装置へ送信する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 撮像手段を有する第１の装置、および前記第１の装置と通信する第２の装置を備える作業支援システムであって、
   前記第１の装置は、
   前記第１の装置の動き量を検出する検出手段と、
   前記第２の装置から画像内の指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を取得した場合、当該撮影時刻での指示位置を起点として前記検出手段により検出される動き量を積算して最新の指示位置を算出する算出手段と、
   前記算出手段により算出された指示位置を通知する出力手段と、を備え、
   前記第２の装置は、
   前記撮像手段により撮影された画像および当該画像に関連付けられた撮影時刻の情報を前記第１の装置から受信した場合、前記撮影された画像を表示する表示手段と、
   撮影された画像内の指示位置を指定する指定手段と、
   前記指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を前記第１の装置へ送信する送信手段と、を備える
   ことを特徴とする作業支援システム。
9. 撮像手段により取得される画像を処理する撮像装置にて実行される制御方法であって、
   前記画像および前記画像に関連付けられた撮影時刻の情報を送信し、画像内の指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を受信する工程と、
   検出手段が前記撮像装置の動き量を検出する検出工程と、
   前記指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報が受信された場合、当該撮影時刻での指示位置を起点として前記動き量を積算して最新の指示位置を算出する算出工程と、
   算出された指示位置を通知する出力工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 撮像装置から画像情報を受信して処理する画像処理装置にて実行される制御方法であって、
    前記撮像装置により撮影された画像および当該画像に関連付けられた撮影時刻の情報を前記撮像装置から受信する工程と、
    受信された画像を表示手段が表示する工程と、
    撮影された画像内の指示位置を指定手段によって指定する工程と、
    前記指定手段により指定された指示位置の座標および当該指示位置に関連付けられた撮影時刻の情報を送信する工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
11. 請求項９または請求項１０に記載の各工程を撮像装置または画像処理装置のコンピュータに実行させるプログラム。
    
    
    

Images