JP2013143655A - 現場状況把握システム及び現場画像提供方法 - Google Patents

Abstract

【課題】狭帯域の通信回線であっても、画質を低下させずに、現場を監視するための現場の映像を監視端末装置に送信することのできる現場状況把握システム及び現場画像提供方法を提供する。
【解決手段】現場状況把握システム１の画像処理装置６０は、カメラ２０で時系列的に撮影された現場の画像を収集する現場画像収集手段６１と、収集された複数の画像を撮影場所及び撮影方向で分類する現場画像分類手段６２と、分類された画像毎に該画像同士の類似度を判定する類似度判定手段６３と、前記類似度が予め定められた閾値よりも高い前記画像同士のうち、一方の画像を削除する類似画像削除手段６４と、前記削除が行われた後の前記複数の画像の全体容量を判定する容量判定手段６６と、前記全体容量が予め定められた容量以下であると判定された場合に、前記削除が行われた後の前記複数の画像を監視端末装置１０に送信する現場画像送信手段６７とを備える。
【選択図】図１

Description

本発明は、現場状況把握システム及び現場画像提供方法に関する。

企業が海外等の遠隔地で工事を施工する場合には、企業内の担当者と現場担当者とがコミュニケーションをとり、企業において現場での工事の進捗状況を把握する必要がある。従来、このような現場での工事の進捗状況を把握するためのシステムとして、例えば、特許文献１、２に記載されているものがある。

特許文献１には、インターネットを通じて遠隔地の端末から画像や文字情報をデータベースに登録するとともに当該データベースを参照できるようにして、工事現場の進捗管理を行うシステムが記載されている。

また、特許文献２には、工程管理サーバにおいて、工程管理、施工者監督者、工程、工事進捗一覧表、工程チャート、施工項目別全体工程表、全体工程表等を管理し、施行者に電子メールを送信し、返信されてきた電子メールから送信者と送信時間を取得することが記載されている。

しかしながら、海外の現場によっては通信インフラが整っておらず、通信の帯域が狭帯域で通信速度が遅かったり、また、通信料が従量課金制であったりする場合がある。このような場合には、通信遅延やコスト高の問題が発生するため、海外の現場と日本企業とのサーバ間で大容量のデータを授受することは難しく、日本企業において現場の進捗状況を十分に把握することができないという問題があった。

このような問題を解決するために、画像の画質及びフレーム送信周波数を低めた準動画を伝送する技術が存在する（例えば、特許文献３参照）。特許文献３では、作業者等が持つカメラによって撮影された画像は、一旦映像信号取り込み用リングバッファメモリに記録され、ここから画像が取り出されて、画像の画質及びフレーム送信周波数を低めた準動画が生成される。そして、通常状態においては、この準動画が司令室などのセンターのモニタに送信されて映し出される。モニタを見ているユーザが特定のフレームについて高精彩な画像を見たいと要求した場合には、映像信号取り込み用バッファメモリから映像フレームが読み出され、モニタに表示される。

特開２００６−３３８５６１号公報 特開２００６−２４０３５号公報 特開平１１−３０４６９８号公報

しかしながら、特許文献３では、通常状態においては画質を低めた画像しか表示されないという問題がある。また、ユーザが高精彩な画像の要求をすると、高彩度な画像がモニタに送信されるが、上述したように、現場が狭帯域や従量課金制の地域である場合には通信遅延やコスト高の問題が発生する。

本発明は、このような事情に鑑みてなされたものであり、狭帯域の通信回線であっても、画質を低下させずに、現場を監視するための現場の映像を監視端末装置に送信することのできる現場状況把握システム及び現場画像提供方法を提供することを目的とする。

上記目的を達成するために、本発明に係る現場状況把握システムは、現場を監視するための現場の映像を監視端末装置に提供する現場把握システムであって、１又は複数のカメラで時系列的に撮影された現場の画像を収集する現場画像収集手段と、前記現場画像収集手段により収集された複数の画像を、撮影場所及び撮影方向で分類する現場画像分類手段と、前記現場画像分類手段により分類された画像毎に、該画像同士の類似度を判定する類似度判定手段と、前記類似度が予め定められた閾値よりも高い前記画像同士のうち、一方の画像を削除する類似画像削除手段と、前記類似画像削除手段により前記削除が行われた後の前記複数の画像の全体容量を判定する容量判定手段と、前記容量判定手段により前記全体容量が予め定められた容量以下であると判定された場合に、前記削除が行われた後の前記複数の画像を前記監視端末装置に送信する現場画像送信手段とを備えたことを特徴とする。

本発明によれば、分類した画像毎に該画像同士の類似度を判定し、前記類似度が予め定められた閾値よりも高いと判定された前記画像同士のうち一方の画像を削除し、該削除が行われた後の前記複数の画像の全体容量が予め定められた容量以下であると判定された場合に、前記削除が行われた後の複数の画像を前記監視端末装置に送信するため、狭帯域の通信回線であっても、画質を低下させずにデータ量を削減して、現場を監視するための現場の映像を監視端末装置に送信することができる。

上記発明において、前記容量判定手段により前記削除が行われた後の前記複数の画像の全体容量が予め定められた容量を超えていると判定された場合に、前記類似画像削除手段は前記削除の処理を繰り返すことを特徴とする。

本発明によれば、前記容量判定手段により前記削除が行われた後の前記複数の画像の全体容量が前記予め定められた容量を超えていると判定された場合に、前記類似画像削除手段は前記閾値をより低く設定した上で前記削除の処理を行うことを特徴とする。

本発明によれば、類似度の高い画像から削除して、予め定められた容量にすることができ、状況変化を確認するために必要な画像のみを残すことができる。
上記発明において、前記現場画像収集手段により収集された画像のうち、人が写っている画像を削除する人画像削除手段を備えたことを特徴とする。

本発明によれば、人が写っている画像を削除することで、現場の状況のみを写した画像を残すことができる。また、類似度を判定する前に削除すれば、人が写っていなければ類似度が高いため削除されるべき画像が、人が写っているために類似度が低くなり削除されなくなり、データ量が増えるという不具合をなくすことができる。

上記発明において、前記類似度判定手段は、基準となる画像よりも時系列的に後に撮影された画像を比較対象画像として、前記基準となる画像と前記比較対象画像との類似度を判定し、前記基準となる画像と前記比較対象画像との類似度が前記閾値以下であった場合には、前記比較対象画像を前記基準となる画像に設定して類似度の判定を繰り返すことを特徴とする。

本発明によれば、基準となる画像よりも時系列的に後に撮影された画像が、当該基準となる画像とどの程度類似しているかに基づいて、画像の削除処理を行うことができるため、時系列的に変化のある画像のみを残すことができる。
上記発明において、前記現場画像送信手段は、前記複数の画像を動画化した上で送信することを特徴とする。

本発明によれば、動画化することで、データ量をさらに削減することができる。
また、本発明は、現場を監視するための現場の映像を画像処理装置が監視端末装置に提供する現場画像提供方法であって、１又は複数のカメラで時系列的に撮影された現場の画像を収集する現場画像収集ステップと、前記現場画像収集ステップにおいて収集された複数の画像を、撮影場所及び撮影方向で分類する現場画像分類ステップと、前記現場画像分類ステップにおいて分類された画像毎に、該画像同士の類似度を判定する類似度判定ステップと、前記類似度判定ステップにおいて類似度がより高いと判定された前記画像同士のうち一方の画像を削除する類似画像削除ステップと、前記類似画像削除ステップにおいて前記削除が行われた後の前記複数の画像の全体容量を判定する容量判定ステップと、前記容量判定ステップにおいて前記削除が行われた後の前記複数の画像の全体容量が予め定められた容量を超えていると判定された場合に、前記類似画像削除ステップを繰り返し行う削除繰り返しステップとを備えたことを特徴とする。

本発明によれば、画像処理装置が、分類した画像毎に該画像同士の類似度を判定し、前記類似度がより高いと判定された前記画像同士のうち一方の画像を削除し、該削除が行われた後の前記複数の画像の全体容量が予め定められた容量を超えていると判定された場合に、類似画像削除ステップを繰り返し行うため、類似度の高い画像を削除してデータ量を予め定められた容量以下にすることができ、狭帯域の通信回線であっても、画質を低下させずにデータ量を削減して、現場を監視するための現場の映像を監視端末装置に送信することができる。

上記発明において、前記類似度判定ステップよりも前のステップとして、前記現場画像収集ステップにおいて収集された画像のうち、人が写っている画像を削除する人画像削除ステップを備えたことを特徴とする。

本発明によれば、人が写っている画像を削除することで、現場の状況のみを写した画像を残すことができる。また、類似度判定ステップよりも前に削除するため、人が写っていなければ類似度が高いため削除される画像が、人が写っているために類似度が低くなり削除されなくなり、データ量が増えるという不具合をなくすことができる。

本発明によれば、分類した画像毎に該画像同士の類似度を判定し、前記類似度が予め定められた閾値よりも高いと判定された前記画像同士のうち一方の画像を削除し、該削除が行われた後の前記複数の画像の全体容量が予め定められた容量以下であると判定された場合に、前記削除が行われた後の複数の画像を前記監視端末装置に送信するため、狭帯域の通信回線であっても、画質を低下させずにデータ量を削減して、現場を監視するための現場の映像を監視端末装置に送信することができる。

本発明の実施形態に係る現場状況把握システムの全体構成図である。 画像処理装置の機能構成を示すブロック図である。 同実施形態に係る現場状況把握システムが行う監視端末装置への現場画像の提供手順を示すフローチャートである。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る現場状況把握システム１の全体構成図である。同図に示すように、現場状況把握システム１は、国内の事務所に設置された監視端末装置１０と、海外等の遠隔の複数の各現場に設置されたカメラ２０と、ＧＰＳ（Global Positioning System）３０と、方位センサ４０と、各現場を管理する現場事務所に設置された画像処理装置６０と、を備えている。

なお、同図では、各現場に１台のカメラ２０が設置されている場合について示しているが、これに限定されることはなく、１つの現場に複数台設置されていてもよい。

国内事務所に設置された監視端末装置１０と、外国事務所に設置された画像処理装置６０とは、狭帯域の通信ネットワーク７０で接続されている。現場事務所に設置された画像処理装置６０と各現場に設置されたカメラ２０とは、有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等の通信回線８０で接続されている。

国内事務所に設置された監視端末装置１０は、例えば、パーソナルコンピュータであり、通信ネットワーク７０を介して現場事務所の画像処理装置６０から送信されてきた現地の圧縮動画を再生して、ディスプレイに表示することができる。

各現場に設置されたカメラ２０は、通信可能なネットワークカメラであり、予め定められた周期（例えば、５分間隔）で現場を撮影する。そして、撮影した現場の静止画像に対して、ＧＰＳ３０により計測された位置情報及び方位センサ４０により計測された方向情報と、時刻情報とを付加して、画像処理装置６０に送信する。また、カメラ２０は、レンズの向きを変化させる機構を備えており、撮影方向を変化させて現場を撮影することができる。

ＧＰＳ３０は、カメラ２０に設置又は内蔵されており、カメラ２０の位置情報を計測する。方位センサ４０は、カメラ２０に設置又は内蔵されており、カメラ２０の向きを計測する。

画像処理装置６０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク等の記憶装置と、通信を制御する通信インターフェースとを備えたサーバである。

画像処理装置６０の記憶装置には、各種プログラム及びデータが記憶されている。画像処理装置６０のＣＰＵが記憶装置に記憶されているプログラムに従って処理を実行することにより、図２に示す機能構成が画像処理装置６０に実現される。

現場画像収集手段６１は、各現場のカメラ２０によって時系列的に撮影された現場の画像を通信回線８０を介して収集する。
現場画像分類手段６２は、現場画像収集手段６１により収集された複数の画像に付加されている位置情報及び方向情報を参照して、当該複数の画像を撮影場所及び撮影方向で分類し、撮影場所及び撮影方向が同一の画像同士を１つのグループとする。ここで、カメラ２０による撮影時間間隔が短かい場合には、撮影時間間隔よりも長い間隔毎に画像を抽出することで、画像数を減らしてもよい。

類似度判定手段６３は、現場画像分類手段６２により分類された画像毎に、画像同士の類似度を判定する。類似度を判定する方法としては、特徴点の抽出、ロバスト推定等の公知の技術を用いることができる。

類似度の判定手順としては、時系列的に古い画像を「基準となる画像」に設定し、当該基準となる画像よりも時系列的に後に撮影された画像を「比較対象画像」に設定し、当該基準となる画像と当該比較対象画像との類似度を判定する。当該基準となる画像と当該比較対象画像との類似度が予め定められた閾値以下であった場合には、当該比較対象画像を「基準となる画像」に設定して類似度の判定を繰り返す。

このように時系列的に類似度の判定を行うことで、基準となる画像よりも時系列的に後に撮影された画像が、当該基準となる画像とどの程度類似しているかに基づいて、後述する類似画像削除手段６４により画像の削除処理を行うことができるため、時系列的に変化のある画像のみを残すことができる。
なお、類似度の判定手順としては上記に限定されることはなく、分類されたグループ内の全ての画像同士の類似度を判定するようにしてもよい。

類似画像削除手段６４は、類似度判定手段６３により類似度が高いと判定された画像から優先的に削除する。具体的には、類似画像削除手段６４は、類似度が予め定められた閾値よりも高い画像同士のうち、一方の画像を削除する。そして、当該削除が行われた後の複数の画像の全体容量が予め定められた容量を超えている場合には、類似画像削除手段６４は、前記閾値をさらに低く設定した上で、削除の処理を繰り返す。

なお、削除の手順は上記に限定されることはなく、例えば、類似度判定手段６３によりグループ内の全ての画像同士の類似度を判定した場合には、その全ての中で最も類似度が高い画像同士のうち、一方の画像を削除するようにしてもよい。そして、削除した後の複数の画像の全体容量が予め定められた容量を超えている場合には、次に類似度が高い画像同士のうち一方の画像を削除する処理を繰り返す。

人画像削除手段６５は、現場画像収集手段６１により収集された画像のうち、人が写っている画像を削除する。人が写っている画像の判定方法としては、例えば、現場の作業員はヘルメットをかぶっており、そのヘルメットの色は黄色であるため、画像解析により黄色を認識した画像を、人が写っている画像と判定する。或いは、画像解析による顔認識処理により特定の人の顔を画像内で認識した場合、その画像を人が写っている画像と判定してもよい。

このように、作業員が写っている画像を削除することで、現場の状況のみを写した画像を残すことができる。また、類似度を判定する前に作業員が写っている画像を削除すれば、作業員が写っていなければ類似度が高いため削除される画像が、作業員が写っているために類似度が低くなり削除されなくなるという不具合をなくすことができる。

容量判定手段６６は、類似画像削除手段６４により削除が行われた後の複数の画像の全体容量を判定する。
現場画像送信手段６７は、容量判定手段６６によって画像の全体容量が予め定められた容量以下であると判定された場合に、複数の画像を公知の技術で動画化し、さらに圧縮処理した後、監視端末装置１０に送信する。このように、動画化することで、時系列の画像間の変化量のデータを送信すればよいため、データ量を削減することができる。また、圧縮方式としては、例えばＺＩＰファイルフォーマットを用いることができ、さらにデータ量を削減することができる。

次に、図３に示すフローチャートを参照して、現場状況把握システム１が行う監視端末装置１０への現場画像の提供手順について説明する。
まず、現場Ａ、Ｂに設置されているカメラ２０は、所定時間間隔で現場を撮影する。カメラ２０は、撮影により生成された画像データに、ＧＰＳ３０が計測した位置情報と、方位センサ４０が計測したカメラ２０の向きを示す方向情報と、現在時刻とを付加して、現場事務所の画像処理装置６０に送信する。

画像処理装置６０の現場画像収集手段６１は、カメラ２０から複数の画像を収集する（ステップＳ１０１）。
現場画像分類手段６２は、収集した複数の画像それぞれに付加されている位置情報及び方向情報を参照して、位置情報で示される撮影場所と、方向情報で示される撮影方向とが、同一の画像データを同一のグループに分類する（ステップＳ１０２）。

次に、人画像削除手段６５は、各画像データに作業者が被っているヘルメットの黄色い色彩が含まれているか否かを判定し、黄色い色彩が含まれている画像データを削除する（ステップＳ１０３）。

次に、類似度判定手段６３は、グループ毎に画像同士の類似度を判定し（ステップＳ１０４）、類似画像削除手段６４は、類似度が予め定めておいた閾値（例えば、７０％）を超える画像を削除する（ステップＳ１０５）。

具体的には、まず、類似度判定手段６３は、同一グループ内の複数の画像のうち、撮影時刻が最も古い画像を「基準画像」に設定し、次に撮影時刻が古い画像を「比較対象画像」に設定し、これらの「基準画像」と「比較対象画像」との類似度を判定する。

判定した結果、類似度が閾値を超えている場合には、類似画像削除手段６４は比較対象画像を削除する。そして、類似度判定手段６３は、削除した画像の次に撮影時刻が古い画像を新たな「比較対象画像」に設定して、「基準画像」と「比較対象画像」との類似度を判定する。一方、当該類似度が閾値を超えていない場合には、類似度判定手段６３は、比較対象画像を「基準画像」に設定し直すとともに、この画像の次に撮影時刻が古い画像を「比較対象画像」に設定し直して、当該「基準画像」と「比較対象画像」との類似度を判定する。

全てのグループについて、ステップＳ１０５における削除処理が終了した後に、複数の画像データの全体容量が予め定めておいた所望容量となったかを判定する（ステップＳ１０６）。なお、この判定処理は、全てのグループについて削除処理が終了した後に行う以外に、例えば、画像を１つ削除する毎に行ってもよい。

所望容量でないと判定された場合には（ステップＳ１０６のＮｏ）、閾値をより小さい値に設定し（例えば６０％）（ステップＳ１０７）、ステップＳ１０４、Ｓ１０５の処理を繰り返す。

所望容量であると判定された場合には（ステップＳ１０６のＹｅｓ）、画像処理装置６０の現場画像送信手段６７は、グループ毎に画像を動画化し、さらに圧縮処理を行うことにより、圧縮動画を生成する（ステップＳ１０８）。

現場画像送信手段６７は、圧縮動画を国内事務所の監視端末装置１０に送信する（ステップＳ１０９）。
監視端末装置１０は、画像処理装置６０から圧縮動画を受信し、記憶装置に保存する。国内事務所の監視員により、動画再生操作が行われた場合に、監視端末装置１０は、圧縮動画を復元して再生する。このときに、監視端末装置１０のディスプレイには、現場毎に現場の画像が一定時間毎に変化するスライドショーのように表示される。

以上説明したように、画像処理装置６０は、分類した画像グループ毎に画像同士の類似度を判定し、類似度が高いと判定された画像同士のうち一方の画像を削除し、当該削除が行われた後の複数の画像の全体容量が予め定められた容量を超える場合には、類似度の閾値を下げて削除を繰り返し、予め定められた容量以下であると判定された場合に、画像を動画化し圧縮して監視端末装置１０に送信するため、狭帯域の通信回線であっても、画質を低下させずにデータ量を削減して、現場の映像を監視端末装置１０に送信することができ、国内事務所で海外等の遠隔地の現場の作業の進捗状況を容易に確認することができる。

したがって、狭帯域であったり通信料がデータ量によって高額となる地域で工事を行う場合にも、低コストで通信遅延等の問題なく、現場の映像を送信することができる。

また、人が写っている画像を削除することで、現場の状況のみを写した画像を残すことができる。また、類似度を判定する前に人が写っている画像を削除することで、人が写っていなければ類似度が高いため削除されるべき画像が、人が写っているために類似度が小さくなり削除されなくなるという不具合をなくすことができる。

なお、上述した実施形態では、カメラ２０の位置と撮影方向を判定する手段として、ＧＰＳ３０と方位センサ４０を用いたが、位置と撮影場所を判定する手段はこれに限定されることはなく、任意の公知の手段を用いることができる。例えば、カメラ２０と画像処理装置６０間の通信に無線ＬＡＮを用いた場合には、カメラ２０が通信するアクセスポイントの位置をカメラ２０の位置情報として用いてもよい。

また、上述した現場状況把握システム１の装置構成は一例に過ぎない。例えば、画像処理装置６０が備える図２に示す機能が、複数の装置に分散されていてもよい。
また、本発明は、海外での現地の状況を監視するのみならず、監視端末から離れた場所の監視に用いることができる。

１………現場状況把握システム、１０………監視端末装置、２０………カメラ、３０………ＧＰＳ、４０………方位センサ、６０………画像処理装置、６１………現場画像収集手段、６２………現場画像分類手段、６３………類似度判定手段、６４………類似画像削除手段、６５………人画像削除手段、６６………容量判定手段、６７………現場画像送信手段、７０………通信ネットワーク、８０………通信回線。

Claims (7)

1. 現場を監視するための現場の映像を監視端末装置に提供する現場状況把握システムであって、
   １又は複数のカメラで時系列的に撮影された現場の画像を収集する現場画像収集手段と、
   前記現場画像収集手段により収集された複数の画像を、撮影場所及び撮影方向で分類する現場画像分類手段と、
   前記現場画像分類手段により分類された画像毎に、該画像同士の類似度を判定する類似度判定手段と、
   前記類似度が予め定められた閾値よりも高い前記画像同士のうち、一方の画像を削除する類似画像削除手段と、
   前記類似画像削除手段により前記削除が行われた後の前記複数の画像の全体容量を判定する容量判定手段と、
   前記容量判定手段により前記全体容量が予め定められた容量以下であると判定された場合に、前記削除が行われた後の前記複数の画像を前記監視端末装置に送信する現場画像送信手段と、
   を備えたことを特徴とする現場状況把握システム。
2. 前記容量判定手段により前記削除が行われた後の前記複数の画像の全体容量が前記予め定められた容量を超えていると判定された場合に、前記類似画像削除手段は前記閾値をより低く設定した上で前記削除の処理を行うことを特徴とする請求項１に記載の現場状況把握システム。
3. 前記現場画像収集手段により収集された画像のうち、人が写っている画像を削除する人画像削除手段を備えたことを特徴とする請求項１又は２に記載の現場状況把握システム。
4. 前記類似度判定手段は、基準となる画像よりも時系列的に後に撮影された画像を比較対象画像として、前記基準となる画像と前記比較対象画像との類似度を判定し、前記基準となる画像と前記比較対象画像との類似度が前記閾値以下であった場合には、前記比較対象画像を前記基準となる画像に設定して類似度の判定を繰り返すことを特徴とする請求項１から３の何れか１項に記載の現場状況把握システム。
5. 前記現場画像送信手段は、前記複数の画像を動画化した上で送信することを特徴とする請求項１から４の何れか１項に記載の現場状況把握システム。
6. 現場を監視するための現場の映像を画像処理装置が監視端末装置に提供する現場画像提供方法であって、
   １又は複数のカメラで時系列的に撮影された現場の画像を収集する現場画像収集ステップと、
   前記現場画像収集ステップにおいて収集された複数の画像を、撮影場所及び撮影方向で分類する現場画像分類ステップと、
   前記現場画像分類ステップにおいて分類された画像毎に、該画像同士の類似度を判定する類似度判定ステップと、
   前記類似度判定ステップにおいて類似度がより高いと判定された前記画像同士のうち一方の画像を削除する類似画像削除ステップと、
   前記類似画像削除ステップにおいて前記削除が行われた後の前記複数の画像の全体容量を判定する容量判定ステップと、
   前記容量判定ステップにおいて前記削除が行われた後の前記複数の画像の全体容量が予め定められた容量を超えていると判定された場合に、前記類似画像削除ステップを繰り返し行う削除繰り返しステップと、
   を備えたことを特徴とする現場画像提供方法。
7. 前記類似度判定ステップよりも前のステップとして、前記現場画像収集ステップにおいて収集された画像のうち、人が写っている画像を削除する人画像削除ステップを備えたことを特徴とする請求項６に記載の現場画像提供方法。

Images