JP2018207420A - 遠隔作業支援システム - Google Patents

Abstract

【課題】作業者側に表示デバイスがなくても、支援者との音声コミュニケーションで作業対象物を正確に一致させることができる遠隔作業支援システムを提供する。【解決手段】遠隔作業支援システムは、作業者が装備するカメラ端末と、支援者が操作しカメラ端末と通信する作業支援端末とを備える。カメラ端末が撮影したライブビュー画像を作業支援端末との間で送受信する画像送受信手段と、作業支援端末が受信した画像を表示する表示手段と、作業支援端末が支援者によって指定された作業対象物の位置情報を取得するオブジェクト位置取得手段と、作業対象物を認識するオブジェクト認識手段と、作業者が作業対象物を指定するための被写体を認識する指定被写体認識手段と、カメラ端末が認識した作業対象物および指定被写体を追尾する追尾手段と、を有する。作業対象物と指定被写体の距離が所定範囲内になると作業者に通知する。【選択図】図１

Description

本発明は、遠隔作業支援システムに関し、特にカメラで撮影した映像を表示するシステムに関する。

従来より、プリンタの修理や工事などの現場で作業する経験の浅い作業者に対して、遠隔地にいる支援者が公衆回線を利用したネットワークを経由してリモートサポートする遠隔作業支援システムが知られている。

特許文献１には、次のような遠隔作業支援システムが開示されている。作業者は撮影機能と表示機能を有するカメラ端末を持ちながら、作業状況を撮影したライブビュー画像を支援者が持つ作業支援端末に送信し、作業支援端末で表示されるライブビュー画像を支援者が確認する。そして、作業支援端末は支援者がライブビュー画像内の所定位置に指示した指示データを受付け、指示データと指示位置を関連づけたデータをカメラ端末へ送信する。作業者の持つカメラ端末が受信した指示データを表示することで、作業者は支援者の指示内容を確認できる。

特開２０１１−３４３１５号公報

しかしながら、特許文献１に記載の発明では、作業者側のカメラ端末に支援者からの指示内容を表示する表示機能が必要となる。さらに作業支援端末には支援者の指示内容を処理する機能が必要となり、遠隔作業支援システムを構築するコストが高くなる。また、作業者はカメラ端末を持ちながら支援者から送信される指示データを確認しなければならないため、カメラ端末が作業の妨げとなってしまう。

そこで、本発明は、作業者側に表示デバイスがなくても、支援者と音声でのコミュニケーションで作業対象物を正確に一致させることができる遠隔作業支援システムを提供することを目的とする。

上記の目的を達成するために、本発明に係る遠隔作業支援システムは、
作業者が装備しかつ通信可能なカメラ端末と、
支援者が操作し前記カメラ端末と通信を介し接続される作業支援端末を備えた遠隔作業支援システムであって、
前記カメラ端末が撮影したライブビュー画像を前記作業支援端末に送信する画像送信手段と、
前記作業支援端末が前記ライブビュー画像を受信する画像受信手段と、
前記作業支援端末が前記受信した画像を表示する表示手段と、
前記作業支援端末が支援者によって指定された作業対象物の位置情報を取得するオブジェクト位置取得手段と、
前記作業支援端末が前記作業対象物の位置情報を送信するオブジェクト位置送信手段と、
前記カメラ端末が前記作業対象物の位置情報を受信し位置情報の周辺を解析することにより作業対象物を認識するオブジェクト認識手段と、
前記カメラ端末が前記ライブビュー画像を解析し作業者が作業対象物を指定するための被写体を認識する指定被写体認識手段と、
前記カメラ端末が認識した前記作業対象物および前記指定被写体を追尾する追尾手段と、を有し、
前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると作業者に通知することを特徴とする。

本発明に係る遠隔作業支援システムによれば、作業者側に表示デバイスがなくても、支援者と音声でのコミュニケーションで作業対象物を正確に一致させることができる。

第一の実施例における遠隔作業支援システムの構成を示すブロック図である。 第一の実施例における支援者が指定した作業対象物と作業者が指定する作業対象物を一致させる際のライブビュー画像と距離画像について説明する図である。 第一の実施例における支援者が指定した作業対象物を作業者に通知する際のカメラ端末１００の動作のフローチャートである。 第一の実施例における支援者が指定した作業対象物を作業者に通知する際の作業支援端末１２０の動作のフローチャートである。 第二の実施例における遠隔作業支援システムの構成を示すブロック図である。 第二の実施例における支援者が指定した複数の作業対象物と作業者が指定する作業対象物を順番に一致させる際のライブビュー画像と距離画像について説明する図である。 第二の実施例における支援者が指定した複数の作業対象物を作業者に順番に通知する際のカメラ端末１００の動作のフローチャートである。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

本発明の第一の実施例において、支援者と音声でのコミュニケーションで作業対象物を正確に一致させることができる遠隔作業支援システムの構成について図１を用いて説明する。

カメラ端末１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、システム制御部１０４、メモリ部１０５、マイク・スピーカー部１０６、画像処理部１０７、作業対象物認識部１０８、指定被写体認識部１０９、追尾部１１０、距離画像生成部１１１、距離算出部１１２、通知制御部１１３、通知部１１４、通信部１１５、バス１１６によって構成される。

システム制御部１０４は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御してカメラ端末１００の機能を実現する。

メモリ部１０５は、揮発性メモリであり、各ブロックからの要求に基づき、一時的に画像データや距離情報などを保存するためのバッファメモリである。

光学系１０１は、レンズ、シャッター、絞りを有し、システム制御部１０４の指示に基づき、合焦距離、絞りの開口量、およびシャッターの開閉を制御することができる。

撮像素子１０２は、システム制御部１０４の制御に基づき、光学系１０１を通過した光束を光電変換して被写体像のアナログ信号を生成する。また、撮像素子１０２は、測距機能を有する素子を備える。例えば、特開２００７−０６５３３０公報のように、光学系１０１のレンズの瞳上の異なる領域を通過した光束が、測距機能を有する画素を配置した撮像素子１０２に露光される。露光された光像の像ズレ量を取得し、後述する距離画像生成部１１１によってデフォーカス量を算出できるよう構成する。

Ａ／Ｄ変換部１０３は、システム制御部１０４の制御に基づき、撮像素子１０２から出力されたアナログ信号に対してＡ／Ｄ変換を行うことによりデジタル信号（以下、ＲＡＷデータと呼ぶ）を生成して、メモリ部１０５に格納する。

マイク・スピーカー部１０６は、一般に普及しているマイクデバイスとスピーカーデバイスからなる音響入出力部である。作業者が話した内容や周囲の音声を収音する機能と、作業支援端末１２０のマイク・スピーカー部１２３で収音した音声を放音する機能を備えている。

画像処理部１０７は、システム制御部１０４の制御に基づき、メモリ部１０５に格納されたＲＡＷデータに対して、ノイズ除去、ガンマ補正処理、ホワイトバランス調整処理などを施すことにより画像データを生成する。さらに、必要に応じて符号化処理や復号処理を行い、得られた画像データをメモリ部１０５に格納する。

画像データは、システム制御部１０４の制御に基づき、所定のフレームレートで更新される。そして、画像データは、後述するネットワーク１３０を介して作業支援端末１２０に送信され、ライブビュー画像として表示部１２６に表示される。

作業対象物認識部１０８は、システム制御部１０４の制御に基づき、メモリ部１０５に格納された画像データに対し、通信部１１５で受信した位置情報の座標（以下、指定座標）をもとに支援者が指定した作業対象物の認識処理を行う。具体的には、作業対象物認識部１０８は、指定座標の周辺の領域を切り出し、認識した作業対象物を作業対象物テンプレート画像としてメモリ部１０５に格納する。そして、作業対象物認識部１０８は、後述する追尾処理のため、作業対象物テンプレート画像の解析により算出した特徴量や被写体位置を示す情報（以下、作業対象物追尾情報）を追尾部１１０に供給する。

指定被写体認識部１０９は、システム制御部１０４の制御に基づき、メモリ部１０５に格納された画像データに対し、後述する指定被写体テンプレート画像を用いて、例えば、作業者の指などの作業対象物を指定する被写体（以下、指定被写体）の認識処理を行う。前記指定被写体テンプレート画像は、あらかじめカメラ端末１００等で撮影した指定被写体の画像データである。認識処理は、指定被写体認識部１０９は、指定被写体テンプレート画像に基づいて、画像データ内の被写体を解析するマッチング処理を実施する。マッチング処理は、指定被写体テンプレート画像の特徴量と解析により、特定した画像データ内の被写体の特徴量を比較して、類似度を算出する。そして、指定被写体認識部１０９は、後述する追尾処理のため、指定被写体の類似度や被写体位置を示す情報（以下、指定被写体追尾情報）を追尾部１１０に供給する。

追尾部１１０は、システム制御部１０４の制御に基づき、作業対象物認識部１０８と指定被写体認識部１０９からそれぞれ作業対象物追尾情報と指定被写体追尾情報を取得し、画像データ内に存在する作業対象物と指定被写体の追尾処理を行う。例えば、特開２０１０−７４３１５のように、画像フレーム間の追尾のための情報によって特定される被写体領域における相関度を算出する。その後に、前フレームの被写体領域と追従関係にある被写体領域を現在のフレームより検出し、その動きベクトルを算出する。そして、動きベクトル量分だけ被写体領域を移動した座標を算出し、作業対象物と指定被写体の位置情報を更新する。追尾部１１０は、前記作業対象物と指定被写体の更新した位置情報を距離算出部１１２に供給する。

距離画像生成部１１１は、システム制御部１０４の制御に基づき、撮像素子１０２で得られた像ズレ量から被写体領域毎のデフォーカス量を算出し、領域毎の距離画像を生成して、メモリ部１０５に格納する。

距離算出部１１２は、システム制御部１０４の制御に基づき、追尾部１１０で得られた作業対象物と指定被写体の位置情報と、距離画像生成部１１１が生成した領域毎の距離画像から、奥行き方向にある作業対象物の距離と指定被写体の距離を算出する。作業対象物と指定被写体の位置情報と、算出した作業対象物の距離と指定被写体の距離を用いて、作業対象物と指定被写体間の三次元の距離情報（以下、評価距離）を算出する。

なお、評価距離は、距離画像から算出せずに、作業対象物と指定被写体の位置情報のみを用いて平面上の距離を算出してもよい。

通知部１１４は、作業者に通知音を出力するスピーカーである。本実施例では、スピーカーを用いるが、振動モーター、発光ダイオードなどの通知デバイスで構成してもよい。

通知制御部１１３は、システム制御部１０４の制御に基づき、距離算出部１１２で得られた評価距離をもとに通知部１１４の制御を行う。本実施例では、通知制御部１１３は、評価距離に応じて、通知部１１４の音量を制御するものとする。たとえば、評価距離が近くなるにつれて、通知部１１４が発する音量を大きくする。

通信部１１５は、システム制御部１０４の制御に基づき、後述するネットワーク１３０を介して、作業支援端末１２０とデータの送受信を行う。

バス１１６は、各モジュールを接続するバスである。

作業支援端末１２０は、システム制御部１２１と、メモリ部１２２と、マイク・スピーカー部１２３と、作業対象物位置取得部１２４と、通信部１２５と、表示部１２６と、操作部１２７と、バス１２８によって構成される。

システム制御部１２１は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御して作業支援端末１２０の機能を実現する。

メモリ部１２２は、揮発性メモリであり、各ブロックからの要求に基づき、一時的に画像データなどを保存するためのバッファメモリである。

マイク・スピーカー部１２３は、一般に普及しているマイクデバイスとスピーカーデバイスからなる音響入出力部である。支援者が話した内容や周囲の音声を収音する機能と、カメラ端末１００のマイク・スピーカー部１０６で収音した音声を放音する機能を備えている。

操作部１２７は、支援者からの操作指示を受け付けるキーボード、マウス等の入力機器デバイスである。

作業対象物位置取得部１２４は、システム制御部１２１の制御に基づき、操作部１２７から指定された座標を指定座標として取得し、メモリ部１２２に格納する。

通信部１２５は、システム制御部１２１の制御に基づき、後述するネットワーク１３０を介して、カメラ端末１００と音声・指定座標・画像データの送受信を行う。

表示部１２６は、ディスプレイと表示コントローラーを有し、システム制御部１２１の制御に基づき、メモリ部１２２に格納された画像データの内容を読み出して、ディスプレイに表示する。

バス１２８は、各モジュールを接続するバスである。

ネットワーク１３０は、複数の端末を接続して、相互に通信できるようにする広域通信網（ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。

なお、図１に示して説明した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

次に、図２を用いて第一の実施例における支援者が指定した作業対象物と作業者が指定する作業対象物を一致させる際のライブビュー画像と距離画像について説明する。

図２（ａ）は、作業支援端末１２０の表示部１２６に表示されるカメラ端末１００で撮影されたライブビュー画像２００である。支援者は、ライブビュー画像２００を観察しながら作業者とマイク・スピーカー部１２３を通じてコミュニケーションする。

図２（ｂ）は、支援者が指定座標２１１を指定した際のライブビュー画像２１０である。作業支援端末１２０は、支援者が作業対象として指定した指定座標２１１の指定座標を取得し、カメラ端末１００へ送信する。

図２（ｃ）は、距離画像生成部１１１によって生成される距離画像２２０である。距離画像２２０は、カメラ端末１００からの距離で色分けがされており、カメラ端末１００からの距離が近いと色が濃くなり、遠いと色が薄くなる。距離算出部１１２は、距離画像２２０に基づいて、指定座標２２１と指定被写体２２２間の評価距離２２３を算出する。

図２（ｄ）は、距離算出部１１２が算出した評価距離２２３と通知部１１４が通知する音量の対応関係を示す図である。評価距離２２３が近くなるにつれ、通知部１１４が通知する音量が大きくなる。図２（ｄ）の状態では、通知部１１４が通知する音量は小さい。

図２（ｅ）は、支援者が作業対象として指定した指定座標２１１を作業者が探し当てた様子を示す。ライブビュー画像２３０の状態では、指定被写体２３２と指定座標２１１間の評価距離２２３が０になっている。

図２（ｆ）は、距離算出部１１２が算出した評価距離２２３と通知部１１４が通知する音量の対応関係を示す図である。評価距離２２３が０になったため、通知部１１４からの通知を停止する。

次に、図３および、図４を用いて第一の実施例における支援者が指定した作業対象物を作業者に通知する際のフローチャートについて説明する。

図３のフローチャートは、カメラ端末１００が指定被写体を登録して、作業対象物と指定被写体を一致させるまでのフローである。

ステップＳ３０１において、作業者が、作業対象物を指定するための指定被写体として作業者の指をあらかじめカメラ端末１００で撮影し、指定被写体テンプレート画像として記憶させる。

ステップＳ３０２において、システム制御部１０４が、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０７を制御し、所定のフレームレートで撮影して画像データを生成し、メモリ部１０５に格納する。

ステップＳ３０３において、距離画像生成部１１１は、撮像素子１０２で得られた像ズレ量から被写体領域毎のデフォーカス量を算出し、領域毎の距離画像を生成する。生成した領域毎の距離画像をメモリ部１０５に格納する。

ステップＳ３０４において、通信部１１５は、メモリ部１０５に格納された画像データを作業支援端末１２０に送信する。

ステップＳ３０５において、作業支援端末１２０は、カメラ端末１００から送信された画像データをもとに処理を行う。詳細は後述する。

ステップＳ３０６において、通信部１１５は、作業支援端末１２０から指定座標を受信したか判定する。指定座標を受信した場合は、ステップＳ３０７へ進み、指定座標を受信していない場合は、ステップＳ３０９へ進む。

ステップＳ３０７において、通信部１１５は、作業支援端末１２０から受信した指定座標を取得する。取得した指定座標をメモリ部１０５に格納する。

ステップＳ３０８において、作業対象物認識部１０８は、メモリ部１０５に格納されている指定座標と画像データをもとに、作業対象物の認識処理を行い、作業対象物追尾情報を算出する。算出した作業対象物追尾情報をメモリ部１０５に格納する。

ステップＳ３０９において、システム制御部１０４は、作業対象物が過去に１回でも認識されたか判定する。作業対象物が１回でも認識されていた場合は、ステップＳ３１０へ進み、作業対象物が認識されていない場合は、ステップＳ３０２へ進む。

ステップＳ３１０において、指定被写体認識部１０９は、ステップＳ３０１で取得した指定被写体テンプレート画像を基に、ステップＳ３０２で生成した画像データに対してマッチング処理を行い、指定被写体追尾情報を生成する。生成した指定被写体追尾情報をメモリ部１０５に格納する。

ステップＳ３１１において、追尾部１１０は、メモリ部１０５に格納されている指定被写体追尾情報と作業対象物追尾情報をもとに、指定被写体と作業対象物の追尾処理を行う。追尾部１１０は、追尾処理結果をもとに、メモリ部１０５に格納されている指定被写体と作業対象物の位置情報を更新する。

ステップＳ３１２において、距離算出部１１２は、ステップＳ３１１において更新された指定被写体と作業対象物の位置情報をもとに、領域毎の距離画像から指定被写体と作業対象物の位置に相当する距離情報を取得する。取得された作業対象物の距離と指定被写体の距離から評価距離を算出する。

ステップＳ３１３において、通知制御部１１３は、距離算出部１１２が算出した評価距離が所定の範囲内であれば、通知部１１４を制御するとしてステップＳ３１４へ進む。所定の範囲内でなければ、ステップＳ３０２へ進む。評価距離が所定の範囲内の場合、通知制御部１１３は評価距離に応じて通知部１１４を制御する。たとえば、評価距離が近くなるにつれて、通知部１１４が発する音量を大きし、遠くなると通知部１１４が発する音量を小さくする。

ステップＳ３１４において、通知部１１４は、通知制御部１１３の制御をもとに作業者に通知をする。

ステップＳ３１５において、システム制御部１０４は、距離算出部１１２が算出した評価距離をもとに、作業対象物と指定被写体が一致したか判定する。作業対象物と指定被写体が一致した場合は、フローを終了する。作業対象物と指定被写体が一致していない場合はステップＳ３０２へ進む。

次に、図４を用いて図３のステップＳ３０４における作業支援端末１２０の処理に関するフローチャートについて説明する。

ステップＳ４０１において、通信部１２５は、ネットワーク１３０を介して、通信部１１５から送信された画像データを受信する。得られた画像データをメモリ部１２２に格納する。

ステップＳ４０２において、表示部１２６は、メモリ部１２２に格納された画像データを表示する。

ステップＳ４０３において、システム制御部１２１は、操作部１２７を通して指定座標の指定があったか判定する。指定があった場合は、ステップＳ４０４へ進み、指定がなかった場合は、終了する。

ステップＳ４０４において、作業対象物位置取得部１２４は、ステップＳ４０３で指定された指定座標を取得する。取得した指定座標をメモリ部１２２に格納する。

ステップＳ４０５において、通信部１２５は、メモリ部１２２に格納されている指定座標を、ネットワーク１３０を介して通信部１１５に送信する。

本実施例に示したように構成された遠隔作業支援システムによれば、作業者の指定被写体と支援者が指定した作業対象物の距離が所定の範囲内になると作業者に通知することができる。これにより、作業者側に表示デバイスがなくても、支援者と音声でのコミュニケーションで作業対象物を正確に一致させることができる。

次に、本発明の第二の実施例において、支援者が指定した複数の作業対象物と、作業者が指定する作業対象物を順番に一致させることができる遠隔作業支援システムの構成について図５を用いて説明する。

なお、本実施例で第一の実施例と同じ内容の説明になるものに関しては、同じ番号を付しており、説明を省略する。

カメラ端末５００は、撮像素子１０２、Ａ／Ｄ変換部１０３、システム制御部１０４、メモリ部１０５、マイク・スピーカー部１０６、画像処理部１０７、作業対象物認識部５０８、指定被写体認識部１０９、追尾部５１０、距離画像生成部１１１、距離算出部１１２、通知制御部５１３、通知部１１４、通信部１１５、バス１１６、作業対象物指定順記憶部５１７によって構成される。

作業対象物認識部５０８は、システム制御部１０４の制御に基づき、メモリ部１０５に格納された画像データに対し、通信部１１５で受信した指定座標をもとに支援者が指定した作業対象物の認識処理を行う。作業対象物認識部５０８は受信した指定座標の数だけ作業対象物を認識する。

作業対象物指定順記憶部５１７は、システム制御部１０４の制御に基づき、通信部１１５で受信した指定座標の指定順を記憶する。

追尾部５１０は、システム制御部１０４の制御に基づき、作業対象物認識部５０８と指定被写体認識部１０９からそれぞれ作業対象物追尾情報と指定被写体追尾情報を取得し、画像データ内に存在する作業対象物と指定被写体の追尾処理を行う。作業対象物追尾情報は、作業対象物指定順記憶部５１７の先頭にある作業対象物の情報を用いる。

通知制御部５１３は、システム制御部１０４の制御に基づき、距離算出部１１２で得られた評価距離と作業対象物指定順記憶部５１７が記憶している指定座標の指定順をもとに通知部１１４を制御する。たとえば、評価距離に応じて、通知部１１４が発する音量を変更することに加え、作業対象物指定順記憶部５１７が記憶している指定順に従って音を鳴らす周期を変更する。

次に、第二の実施例において、支援者が指定した複数の作業対象物と、作業者が指定する作業対象物を順番に一致させる際のライブビュー画像と距離画像について図６を用いて説明する。

なお、本実施例で第一の実施例と同じ内容の説明になるものに関しては、説明を省略する。

図６（ｂ）は、支援者が指定座標６０１と指定座標６０２を順番に指定した際のライブビュー画像６００である。作業支援端末１２０は、支援者が作業対象として指定した指定座標６０１および指定座標６０２の指定座標を取得し、カメラ端末１００へ送信する。

図６（ｇ）は、支援者が作業対象として指定した指定座標６０１と指定被写体２３２が一致した後の様子を示す。システム制御部１０４が一致したと判定したら、指定座標６０１の次の指定順となっている指定座標６０２が追尾対象となり、指定被写体２３２を検出し、通知部１１４が指定座標６０２に対応した音で通知を行う。

図６（ｈ）は、距離算出部１１２が算出した評価距離６１２と通知部１１４が通知する音量の対応関係を示す図である。指定被写体２３２と指定座標６０２間の評価距離６１２が遠いため、通知部１１４からの通知は行われていない。

次に、第二の実施例において、支援者が指定した複数の作業対象物を、作業者に順番に通知する際のフローチャートについて図７を用いて説明する。

本フローチャートは、カメラ端末１００が指定被写体を登録して、支援者が指定した複数の作業対象物と指定被写体を一致させるまでのフローである。

なお、支援端末側処理のフローチャートに関しては、図４で示した第一の実施例と同じであるため、省略する。また、本フローチャートで第一の実施例と同じ処理を行うものに関しては、同じ番号を付しており、説明を省略する。

ステップＳ７０１において、システム制御部１０４は、作業支援端末１２０からの指定座標の送信がすべて完了したか判定する。判定方法は、たとえば、支援者が全ての作業対象物を選択した後に完了コマンドを送信し、通信部１１５が完了コマンドを受信した場合は完了と判定する。完了と判定した場合は、ステップＳ７０３へ進み、完了と判定していない場合は、ステップＳ３０６へ進む。

ステップＳ７０２において、システム制御部１０４は、ステップＳ３０８で認識した作業対象物が何番目に指定された作業対象物かを作業対象物指定順記憶部５１７に記憶する。

ステップＳ７０３において、システム制御部１０４は、作業対象物指定順記憶部５１７に記憶されている指定順の先頭にある作業対象物の作業対象物追尾情報を追尾対象として設定する。

ステップＳ７０４において、通知制御部５１３は、距離算出部１１２が算出した評価距離情報が所定の距離範囲内であれば、通知部１１４を制御するとしてステップＳ３１４へ進む。所定の距離範囲内でなければ、ステップＳ３０２へ進む。通知制御部５１３は、作業対象物指定順記憶部５１７が記憶している指定順に応じて、通知部１１４が通知する音を鳴らす周期を変更してもよい。

ステップＳ７０５において、システム制御部１０４は、作業対象物指定順記憶部５１７に記憶されている指定順で最終の作業対象物に対して通知が完了したか確認する。完了していればフローを終了し、完了していなければステップＳ７０６に進む。

ステップＳ７０６において、システム制御部１０４は、作業対象物指定順記憶部５１７に記憶されている指定順の次の作業対象物を指定順の先頭に指定する。

本実施例に示したように構成された遠隔作業支援システムによれば、作業者の指定被写体と支援者が指定した作業対象物の距離が所定の範囲内になると支援者が複数指定した作業対象物を指定した順番で作業者に通知することができる。これにより、作業者側に表示デバイスがなくても、支援者と音声でのコミュニケーションで複数の作業対象物を正確に一致させることができる。

１００，５００ カメラ端末、１０１ 光学系、１０２ 撮像素子、
１０３ Ａ／Ｄ変換部、１０４ システム制御部、１０５ メモリ部、
１０６ マイク・スピーカー部、１０７ 画像処理部、
１０８，５０８ 作業対象物認識部、１０９ 指定被写体認識部、
１１０，５１０ 追尾部、１１１ 距離画像生成部、１１２ 距離算出部、
１１３，５１３ 通知制御部、１１４ 通知部、１１５ 通信部、１１６ バス、
５１７ 作業対象物指定順記憶部、１２０ 作業支援端末、
１２１ システム制御部、１２２ メモリ部、１２３ マイク・スピーカー部、
１２４ 作業対象物位置取得部、１２５ 通信部、１２６ 表示部、
１２７ 操作部、１２８ バス、１３０ ネットワーク

Claims (8)

1. 作業者が装備しかつ通信可能なカメラ端末と、
   支援者が操作し前記カメラ端末と通信を介し接続される作業支援端末を備えた遠隔作業支援システムであって、
   前記カメラ端末が撮影したライブビュー画像を前記作業支援端末に送信する画像送信手段と、
   前記作業支援端末が前記ライブビュー画像を受信する画像受信手段と、
   前記作業支援端末が前記受信した画像を表示する表示手段と、
   前記作業支援端末が支援者によって指定された作業対象物の位置情報を取得するオブジェクト位置取得手段と、
   前記作業支援端末が前記作業対象物の位置情報を送信するオブジェクト位置送信手段と、
   前記カメラ端末が前記作業対象物の位置情報を受信し位置情報の周辺を解析することにより作業対象物を認識するオブジェクト認識手段と、
   前記カメラ端末が前記ライブビュー画像を解析し作業者が作業対象物を指定するための被写体を認識する指定被写体認識手段と、
   前記カメラ端末が認識した前記作業対象物および前記指定被写体を追尾する追尾手段と、を有し、
   前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると作業者に通知することを特徴とする遠隔作業支援システム。
2. 前記オブジェクト位置取得手段は、支援者によって指定された複数の作業対象物の位置情報を取得し、
   前記オブジェクト位置送信手段は、前記複数の作業対象物の位置情報を送信し、
   前記オブジェクト認識手段は、前記複数の作業対象物の位置情報を受信し位置情報の周辺を解析することにより作業対象物を認識し、
   前記カメラ端末が認識した前記作業対象物と前記複数の指定被写体の距離が所定内の範囲になると作業者に通知することを特徴とする請求項１に記載の遠隔作業支援システム。
3. 前記カメラ端末は前記複数の作業対象物の位置の指定された順番を記憶するオブジェクト指定順記憶手段をさらに有し、
   前記カメラ端末は前記作業対象物指定順記憶手段に記憶されている作業対象物の指定順に従って、前記作業対象物と前記指定被写体の距離が所定内の範囲になると作業者に通知する通知手段を有することを特徴とする請求項２に記載の遠隔作業支援システム。
4. 前記カメラ端末は、前記作業対象物と前記指定被写体の距離に応じて通知内容を変更する通知内容変更手段をさらに有し、
   前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると前記通知内容変更手段によって変更された通知手段で作業者に通知することを特徴とする請求項２に記載の遠隔作業支援システム。
5. 前記カメラ端末は音を出力する音出力手段をさらに有し、
   前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると作業者に音出力手段で通知することを特徴とする請求項１に記載の遠隔作業支援システム。
6. 前記カメラ端末は振動させるバイブレーション手段をさらに有し、
   前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると作業者にバイブレーション手段で通知することを特徴とする請求項１に記載の遠隔作業支援システム。
7. 前記カメラ端末は光を出力する発光手段をさらに有し、
   前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると作業者に発光手段で通知することを特徴とする請求項１に記載の遠隔作業支援システム。
8. 前記カメラ端末は支援者の作業対象物の指定順に従って通知内容を変更する通知内容変更手段をさらに有し、
   前記カメラ端末が認識した前記作業対象物と前記指定被写体の距離が所定内の範囲になると前記通知内容変更手段によって変更された通知手段で作業者に通知することを特徴とする請求項３に記載の遠隔作業支援システム。