JP2014182629A - 確認支援情報生成装置、確認支援情報生成方法、及びプログラム - Google Patents

Abstract

【課題】遠隔地の作業監視者が、作業者の視野画像の中から、確認が必要な箇所をどのように確認すればよいかを知ることができるようにする。
【解決手段】実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、視野画像内での物体の検出位置を含む情報を物体情報として出力する物体検出部と、視野画像を用いて、仮想空間映像を生成する空間映像生成部と、操作者が仮想空間映像を構成する視野画像の特定の位置を中心として行った映像操作の情報を取得し、映像操作の中心の位置および映像操作の種類を含む情報を空間映像操作情報として出力する空間映像操作情報取得部と、物体情報と空間映像操作情報に基づいて、映像操作が物体の映像を確認するために行われた操作であるか否かを判定し、物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する空間映像操作アシスト情報生成部と、を備える。
【選択図】図１

Description

本発明は、作業監視者の監視業務を支援するための確認支援情報生成装置、確認支援情報生成方法、及びプログラムに関する。

工事現場などでの作業の品質管理や安全管理を遠隔で行うシステムが知られている。
例えば、特許文献１には、作業現場で作業をする作業者の作業状況を監視する立会業務を遠隔地から支援するための立会業務支援システムが記載されている。このシステムは、立会業務に必要な情報を通信するためのネットワークと、作業現場に設置されており、所定の装置により撮影された作業現場における作業中の画像情報及び所定の装置により測定された作業現場の環境条件を示す環境情報を収集すると共に、当該収集した画像情報及び環境情報をネットワークを介して送信する情報収集端末と、ネットワークを介して送信された情報収集端末からの画像情報及び環境情報を受信すると共に、当該画像情報及び環境情報に基づいて、少なくとも作業現場の安全性及び作業工程の適正を監視するセンタサーバとを具備している。

特開２００６−２８５６３９号公報

しかしながら、作業現場における作業中の画像情報の量は膨大である。したがって、特に経験の浅い監視者が効率的に監視業務を行うためには、膨大な画像の中から確認すべき箇所を特定し、その箇所をどのように確認すべきかを把握できるようにすることが望ましい。しかし、特許文献１に記載の方法では、監視者が確認すべき箇所を特定し、さらにその箇所をどのように確認すればよいかを知ることができなかった。

そこで、本発明は、遠隔地で監視を行う作業監視者が、作業現場における作業者の視野を撮像した映像の中から、品質管理や安全管理のために確認が必要な箇所を特定し、さらにその箇所をどのように確認すればよいかを知ることができるようにすることを一つの目的とする。

本発明に係る確認支援情報生成装置は、実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する物体検出部と、前記視野画像を用いて、仮想空間映像を生成する空間映像生成部と、操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する空間映像操作情報取得部と、前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する空間映像操作アシスト情報生成部と、を備えるものである。

本発明によれば、遠隔地で監視を行う作業監視者が作業現場における作業者の視野を撮像した映像の中から、品質管理や安全管理のために確認が必要な箇所を特定し、さらにその箇所をどのように確認すればよいかを知ることができる。

本発明の実施の形態による、確認支援情報生成装置の構成を示すブロック図。 本発明の実施の形態による、確認支援情報生成装置を用いた遠隔監視システムの概要を示す図。 本発明の実施の形態による、確認支援情報生成装置の動作を示すフローチャート。 本発明の実施の形態による、空間映像操作アシスト情報の提示方法の例を示す図。 本発明の実施の形態による、空間映像操作アシスト情報の提示方法の例を示す図。 本発明の実施の形態による、空間映像操作アシスト情報の提示方法の例を示す図。

次に、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の実施の形態による確認支援情報生成装置１０の構成を示すブロック図である。図に示すように、確認支援情報生成装置１０は、物体検出部１０１、空間再構成部１０２、空間映像生成部１０３、空間映像操作情報取得部１０４、空間映像操作アシスト情報生成部１０５、地図情報記憶部１０６、登録物体情報記憶部１０７、表示装置１２０、入力装置１３０を備えている。

確認支援情報生成装置１０は、作業現場で作業をする作業者の作業状況を監視者が遠隔地から監視することを支援する。図２は、確認支援情報生成装置１０を用いた遠隔監視システムの概要を示す図である。図に示すように、作業現場で作業する作業者６０は、カメラ６１、ＧＰＳ（Global Positioning System）装置６２を付帯している。

作業者の頭部などに付帯したカメラ６１は、作業者の視野画像を撮像する。撮像された画像は、通信回線５０を介して確認支援情報生成装置１０に送信される。
ＧＰＳ装置６２は、作業者の位置情報を取得する。ＧＰＳ装置６２が取得した位置情報は、通信回線５０を介して確認支援情報生成装置１０に送信される。

確認支援情報生成装置１０は、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを備える専用又は汎用のコンピュータによって構成されうる。なお、確認支援情報生成装置１０は、単一のコンピュータにより構成されるものであっても、通信回線を介して互いに接続された複数のコンピュータにより構成されるものであってもよい。

物体検出部１０１、空間再構成部１０２、空間映像生成部１０３、空間映像操作情報取得部１０４、空間映像操作アシスト情報生成部１０５は、ＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより実現される機能のモジュールに相当する。地図情報記憶部１０６、登録物体情報記憶部１０７は、外部記憶装置により実装される。外部記憶装置は、確認支援情報生成装置１０とネットワーク等を介して接続されていてもよい。

地図情報記憶部１０６には、実空間に存在する対象物に関する二次元もしくは三次元の位置情報が格納されている。

登録物体情報記憶部１０７には、作業現場に存在する物体（資材や機材等）の物体ＩＤとその画像特徴量が格納されている。画像特徴量は、例えば、物体を含む画像から得られる色ヒストグラムやエッジヒストグラム等の大局的特徴や、コーナー点等の画像の周辺位置での輝度勾配に基づくＳＩＦＴ（Scale-Invariant Feature Transform）等の局所的特徴量である。

表示装置１２０は、ディスプレイ等の表示装置であり、確認支援情報生成装置１０のＣＰＵから出力される画像信号を受けて、各種画像を表示するものである。
表示装置１２０には、現場で作業する作業者の視野画像が表示される。作業者の視野画像は、作業者が装着しているカメラを介して取得され、通信回線を介して確認支援情報生成装置１０に送信される。

入力装置１３０は、マウスやキーボード等を含む各種デバイスであり、ユーザが確認支援情報生成装置１０に対して各種情報の入力を行う際に使用される。

次に、確認支援情報生成装置１０の動作について説明する。
図３は、確認支援情報生成装置１０の動作のフローチャートである。まず、作業者のカメラ６１によって取得された視野画像の画像データが確認支援情報生成装置１０の物体検出部１０１に送信される。また、登録物体情報記憶部１０７に格納された登録物体情報が物体検出部１０１に入力される。物体検出部１０１は、入力された視野画像の中から、登録物体情報記憶部１０７に登録されている物体（資材や機材）の画像を検出する（ステップＳ１）。物体検出部１０１は、入力された視野画像の各領域の画像特徴量と登録物体情報記憶部１０７に登録されている各物体の画像特徴量とを比較し、類似度が一定値以上の領域を該当する物体の画像として検出する。物体検出部１０１は、検出された物体の物体ＩＤ、物体が検出された視野画像の視野画像ＩＤ、および視野画像内の物体の検出位置を含む情報を物体情報として出力する。物体の検出位置は、例えば物体の画像を包含する矩形領域の四隅の座標、または中心座標である。

次に、作業者のカメラ６１によって取得された視野画像の画像データとＧＰＳ装置６２によって取得された位置情報が、空間再構成部１０２に送信される。さらに、地図情報記憶部１０６に格納された地図情報が空間再構成部１０２に入力される。空間再構成部１０２は、入力された視野画像、位置情報、および地図情報に基づいて、仮想空間を再構成する（ステップＳ２）。空間再構成部１０１は、入力された視野画像と位置情報に基づいて、地図情報上に、各位置に対応した視野画像をマッピングすることにより仮想空間を再構成する。空間再構成部１０１は、例えばＳｆＭ（Structure from Motion）を用いて、視野画像内から抽出した特徴点の対応関係に基づいて視野画像を統合することで、仮想空間を再構成できる。作業者の視野画像および位置情報は、予め定められた条件に基づいて同期して取得されるため、時間軸上の各時刻について仮想空間を再構成することができる。なお、情報を取得する条件は、所定の時間間隔で取得するという条件でもよいし、位置または視点方向が所定値以上変化した場合、また、視野画像が変化したタイミングなどでもよい。

次に、空間映像生成部１０３は、ステップＳ２で再構成した仮想空間の映像を生成し、表示装置１２０に出力する（ステップＳ３）。
空間映像生成部１０２は、地図情報に基づいて所定の設定値（視点方向、角度、解像度）で見た仮想空間の地図を表示し、さらに地図上の各位置に、対応する視野画像を表示する。設定値として、規定の値が設定されるようにしてもよい。または監視者が所望の値を設定値として設定できるようにしてもよい。また、設定値が時間と共に変化するように設定され、空間映像が時間と共に変化するようにしてもよい。

次に、空間映像操作情報取得部１０４は、監視者が表示装置１２０に表示された仮想空間映像に対して行った操作の情報（空間映像操作情報）を取得する（ステップＳ４）。空間映像操作情報は、仮想空間映像を構成する視野画像の特定の位置を中心とする拡大縮小操作や回転操作の情報である。空間映像操作情報には、対象となる視野画像のＩＤ、映像操作の中心となる位置の座標、操作の種別（拡大縮小、回転等）の情報が含まれる。なお、空間映像操作情報には、監視者の視点情報が含まれていてもよい。監視者の視点情報は、例えば、監視者に付帯した視線計測センサを用いて、参考文献１に記載された角膜反射法等の手法により取得される情報である。空間映像操作情報は、主に熟練の監視者によって行われる操作の情報である。
（参考文献１）大野健彦，“視線インタフェースから視線コミュニ ケーションへ-視線のある環境を目指して-”，情報処理学会研究報告HI, ヒューマンインタフェース研究会報告 2001(87), pp.171-178, 2001/09/13

次に、ステップＳ１で物体検出部１０１によって出力された物体情報と、ステップＳ４で取得された空間映像操作情報が空間映像操作アシスト情報生成部１０５に入力される。空間映像操作アシスト情報生成部１０５は、入力された物体情報と空間映像操作情報に基づいて、空間映像操作アシスト情報を生成する（ステップＳ５）。空間映像操作アシスト情報は、ある物体を確認するために仮想空間映像をどのように操作すればよいかを示す情報である。空間映像操作アシスト情報には、物体ＩＤと空間映像操作種別の情報が含まれる。空間映像操作アシスト情報生成部１０５は、物体Ａの画像が含まれる視野画像に対して行われた空間映像操作のうち、視野画像内の物体Ａの検出位置と映像操作の中心座標との距離が所定値未満の場合に、その空間映像操作が物体Ａの映像を確認するために行われた空間映像操作（物体Ａに対する空間映像操作）であると判定する。さらに、空間映像操作アシスト情報生成部１０５は、物体Ａに対する空間映像操作が一定回数以上行われている場合に、それぞれの空間映像操作を操作種別毎にカウントし、最も回数が多い空間映像操作種別を物体Ａの物体ＩＤと共に空間映像操作アシスト情報として出力してもよい。または、空間映像操作アシスト情報生成部１０５は、高い頻度で行われた複数の空間映像操作種別を、物体Ａの空間映像操作アシスト情報として出力してもよい。空間映像操作アシスト情報に含まれる空間映像操作種別は、１種類の操作（拡大、縮小、回転等）でもよいし、一定の時間幅で実行される複数種類の操作を時系列に沿って組み合わせたもの（拡大した後回転、等）でもよい。なお、空間映像操作情報に、監視者の視点情報が含まれている場合には、空間映像操作アシスト情報生成部１０５は、拡大、縮小、回転等の操作が行われた際に、物体上もしくは物体の周囲で監視者の視線が向けられた点を、空間映像操作アシスト情報としてもよい。

空間映像操作アシスト情報生成部１０５は、生成した空間映像操作アシスト情報を表示装置１２０に提示する。例えば図４に示すように、空間映像操作アシスト情報生成部１０５は、矢印で対象となる物体（Ａ）を示し、操作種別「拡大」を表示するようにしてもよい。また、空間映像操作アシスト情報生成部１０５は、生成した空間映像操作アシスト情報をもとに、表示装置１２０に表示されている空間映像を自動制御するようにしてもよい。例えば、空間映像操作アシスト情報生成部１０５は、空間映像操作アシスト情報に基づいて、映像内の対象物体の位置や向き、拡大率等を調節するようにしてもよい。具体的には、図５に示す映像が表示装置１２０に表示されていた場合に、空間映像操作アシスト情報生成部１０５は、空間映像操作アシスト情報（物体Ａ、拡大）に従って、図６に示すように、物体Ａを拡大して表示する。なお、空間映像操作アシスト情報に監視者の視点情報（監視者が視線を向けた物体上もしくは物体の周囲の点）が含まれる場合には、空間映像操作アシスト情報生成部１０５は、拡大、縮小、回転表示ととともに、映像上に視点情報を示すマーク（丸印や矢印）を表示してもよい。

以上のように、本実施形態によれば、熟練の監視者が行った空間映像操作に基づいて、空間映像操作アシスト情報を生成し、提示するようにしたので、経験の浅い監視者でも、視野画像の中から、品質管理や安全管理のために確認が必要な箇所を特定し、さらにその箇所をどのように確認すればよいかを容易に知ることができる。

なお、本実施形態では、空間映像操作アシスト情報生成部１０５は、空間映像操作アシスト情報を物体情報と空間映像操作情報に基づいて生成しているが、これらの情報に加えて、映像内での物体の動きや視野画像の変化に基づいて空間映像操作アシスト情報を生成してもよい。さらに、空間映像操作アシスト情報生成部１０５は、作業内容情報（各作業工程における、確認が必要な物体の情報）に基づいて、空間映像操作アシスト情報を生成してもよい。例えば、空間映像操作アシスト情報生成部１０５は、各物体と関連付けられた複数の空間映像操作情報を、確認方法の細かさに基づいてランク付けし、各作業工程における各物体に対する確認の必要性に応じてランクを決定し、決定したランクに対応する空間映像操作情報に基づいて、空間映像操作アシスト情報を生成してもよい。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する物体検出部と、
前記視野画像を用いて、仮想空間映像を生成する空間映像生成部と、
操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する空間映像操作情報取得部と、
前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する空間映像操作アシスト情報生成部と、を備えた確認支援情報生成装置。

（付記２）前記空間映像操作アシスト情報生成部は、
前記視野画像内の前記物体の検出位置と前記映像操作の中心の位置との距離が所定値未満の場合に、前記映像操作が前記物体の映像を確認するために行われた映像操作であると判定する、付記１に記載の確認支援情報生成装置。

（付記３）前記空間映像操作アシスト情報生成部は、
前記物体の映像を確認するための映像操作が一定回数以上行われている場合に、それぞれの映像操作を操作種別毎にカウントし、最も回数が多い操作種別を空間映像操作アシスト情報に含める、付記１または２に記載の確認支援情報生成装置。

（付記４）前記操作種別は、
映像の拡大操作、縮小操作、または回転操作である、付記３に記載の確認支援情報生成装置。

（付記５）前記物体検出部は、
前記視野画像の各領域の画像特徴量と、前記登録されている物体の画像特徴量とを比較し、類似度が一定値以上の領域を前記物体の画像として検出する、付記１から４のいずれか１項に記載の確認支援情報生成装置。

（付記６）前記物体検出部は、
前記物体の画像を包含する矩形領域の四隅の座標、または中心座標を前記物体の検出位置とする、付記５に記載の確認支援情報生成装置。

（付記７）前記空間映像操作アシスト情報生成部は、
前記空間映像操作アシスト情報に基づいて、前記仮想空間映像を自動制御する、付記１から６のいずれか１項に記載の確認支援情報生成装置。

（付記８）実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する工程と、
前記視野画像を用いて、仮想空間映像を生成する工程と、
操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する工程と、
前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する工程と、を備えた確認支援情報生成方法。

（付記９）コンピュータを、
実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する物体検出部と、
前記視野画像を用いて、仮想空間映像を生成する空間映像生成部と、
操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する空間映像操作情報取得部と、
前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する空間映像操作アシスト情報生成部と、して機能させるプログラム。

１０ 確認支援情報生成装置、５０ 通信回線、６０ 作業者、６１ カメラ、６２ ＧＰＳ装置、１０１ 物体検出部、１０２ 空間再構成部、１０３ 空間映像生成部、１０４ 空間映像操作情報取得部、１０５ 空間映像操作アシスト情報生成部、１０６ 地図情報記憶部、１０７ 登録物体情報記憶部、１２０ 表示装置、１３０ 入力装置

Claims (9)

1. 実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する物体検出部と、
   前記視野画像を用いて、仮想空間映像を生成する空間映像生成部と、
   操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する空間映像操作情報取得部と、
   前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する空間映像操作アシスト情報生成部と、を備えた確認支援情報生成装置。
2. 前記空間映像操作アシスト情報生成部は、
   前記視野画像内の前記物体の検出位置と前記映像操作の中心の位置との距離が所定値未満の場合に、前記映像操作が前記物体の映像を確認するために行われた映像操作であると判定する、請求項１に記載の確認支援情報生成装置。
3. 前記空間映像操作アシスト情報生成部は、
   前記物体の映像を確認するための映像操作が一定回数以上行われている場合に、それぞれの映像操作を操作種別毎にカウントし、最も回数が多い操作種別を空間映像操作アシスト情報に含める、請求項１または２に記載の確認支援情報生成装置。
4. 前記操作種別は、
   映像の拡大操作、縮小操作、または回転操作である、請求項３に記載の確認支援情報生成装置。
5. 前記物体検出部は、
   前記視野画像の各領域の画像特徴量と、前記登録されている物体の画像特徴量とを比較し、類似度が一定値以上の領域を前記物体の画像として検出する、請求項１から４のいずれか１項に記載の確認支援情報生成装置。
6. 前記物体検出部は、
   前記物体の画像を包含する矩形領域の四隅の座標、または中心座標を前記物体の検出位置とする、請求項５に記載の確認支援情報生成装置。
7. 前記空間映像操作アシスト情報生成部は、
   前記空間映像操作アシスト情報に基づいて、前記仮想空間映像を自動制御する、請求項１から６のいずれか１項に記載の確認支援情報生成装置。
8. 実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する工程と、
   前記視野画像を用いて、仮想空間映像を生成する工程と、
   操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する工程と、
   前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する工程と、を備えた確認支援情報生成方法。
9. コンピュータを、
   実空間における観測者の視野画像の中から、予め登録されている物体の画像を検出し、前記視野画像内での前記物体の検出位置を含む情報を物体情報として出力する物体検出部と、
   前記視野画像を用いて、仮想空間映像を生成する空間映像生成部と、
   操作者が前記仮想空間映像を構成する前記視野画像の特定の位置を中心として行った映像操作の情報を取得し、前記映像操作の中心の位置および前記映像操作の種類を含む情報を空間映像操作情報として出力する空間映像操作情報取得部と、
   前記物体情報と前記空間映像操作情報に基づいて、前記映像操作が前記物体の映像を確認するために行われた操作であるか否かを判定し、前記物体の映像を確認するために行われた映像操作の情報を含む空間映像操作アシスト情報を生成する空間映像操作アシスト情報生成部と、して機能させるプログラム。

Images