JP2021047156A - 監視システム - Google Patents

Abstract

【課題】河川の状態を低コストで安定的に監視することが可能な監視システムを提供する。【解決手段】河川状態予測監視システム１００は、河川を撮影する撮像装置１１０と、撮像装置１１０により撮影された河川映像に基づいて河川の状態を判定する計算装置１３０とを備える。計算装置１３０は、事前に流速計１２０を用いて計測された流速と、その計測時に撮影された河川映像上のオプティカルフローとの対応関係を表す変換式（又は対応表）に基づいて、判定時の河川映像上のオプティカルフローから河川の流速を算出し、算出結果の流速を所定の閾値と比較して、河川が危険な状態か否かを判定する。【選択図】図１

Description

本発明は、河川の状態を監視する監視システムに関する。

従来、河川の氾濫や堤防の決壊などの災害に対して種々の対策が検討されている。例えば、河川の要所毎の水位を観測し、必要に応じて調整池への水の誘導や付近の住民の避難の要否等を判断することが行われている。ここで、本明細書における「河川」は、自然や人口の河川の他、農業用水路や発電用水路などの特定用途の水路も含まれる。

従来の河川監視方法では、水位計による水位監視が一般的である。この手法には、接触式、非接触式がある。接触式としては、例えば、水中に圧力検出器を設置し、圧力を測定することによって水位を求める方法がある。非接触式としては、例えば、超音波または電波を送信、検出する装置を橋脚に設置し、水面に向かって発信した波が反射して戻ってくるまでの時間をもとに水位を計算する手法がある。

河川監視に関しては、従前より種々の発明が提案されている。例えば、特許文献１には、雨量、河川水位、河川映像等の情報をＷｅｂ上に配信する河川情報提供システムにおいて、水位観測所、雨量観測所、監視カメラの設置位置を表示する地図表示画面が、河川の水位が平常時よりも上昇した場合、地図上の河川の表示色を変化させ、河川の水位変化を視覚的に知らせる発明が開示されている。

特開２００６−２３４６５４号公報

接触式の水位計は、豪雨による短時間の増水で流れが激しくなった場合に、漂流物に接触して破損する恐れや、濁流に流されて消失してしまう恐れがある。また、非接触式の水位計であっても、橋脚に設置した装置が増水の影響で水に浸かってしまい、破損・流失する恐れがある。また、機器の設置、バッテリー交換、定期的なメンテナンスなどのコストが発生する。

本発明は、上記のような従来の事情に鑑みて為されたものであり、河川の状態を低コストで安定的に監視することが可能な監視システムを提供することを目的とする。

本発明では、上記目的を達成するために、監視システムを以下のように構成した。
すなわち、本発明に係る監視システムは、河川を撮影する撮像装置と、前記撮像装置により撮影された河川映像に基づいて前記河川の状態を判定する監視装置とを備え、前記監視装置は、事前に流速計を用いて計測された前記河川の流速と、その計測時に撮影された河川映像上のオプティカルフローとの対応関係に基づいて、判定時の河川映像上のオプティカルフローから前記河川の流速を算出することを特徴とする。

ここで、前記監視装置は、前記算出した流速を所定の閾値と比較して、前記河川の状態を判定するように構成してもよい。

また、前記監視装置は、判定時の河川映像から算出される前記河川の川幅、流量、川面積又は陸面積の少なくとも１つの解析情報を更に用いて、前記河川の状態を判定するように構成してもよい。

また、前記対応関係は、前記河川の川幅方向に沿った一定間隔の各位置に対して設定されるように構成してもよい。

また、前記監視装置は、前記河川を流れる水流方向に対して所定角度以上の異なる方向のベクトル成分を除去したオプティカルフローから前記河川の流速を算出するように構成してもよい。

また、前記監視装置は、ユーザにより前記河川が危険な状態である旨の入力がなされた場合に、前記河川の流速及び解析情報を記録装置に記録させるように構成してもよい。

本発明によれば、河川の状態を低コストで安定的に監視することが可能な監視システムを提供することができる。

本発明の一実施形態に係る河川状態予測監視システムの構成例を示す図である。 図１の河川状態予測監視システムのフローチャートを例示する図である。 流速計算のための初期設定のフローチャートを例示する図である。 流速計算のための初期設定の概要を示す図である。 流速と川幅に基づく危険度判定に使用する判定表を例示する図である。

本発明の一実施形態に係る説明に先立ち、本発明の概要について説明する。
従来方式に係る水位計の観測データは数値だけであり、河川周辺の実際の様子は分からない。このため、国土交通省の管理する主要な河川には、監視カメラが短い間隔で設置されている。そこで、本発明では、この既設カメラを活用して画像処理により河川の流速や川幅などを計算し、これらの情報を組み合わせて河川の状態を判定し、危険な状態と判定された場合に警告を行うシステムを提案する。

ここで、画像処理による流速の計算に際して、移動量を求めるのにオプティカルフローを利用する方法は公知であるが、画像中における実際の長さの情報が分からなければ流速を計算することができない。実際の長さの計算は、画像内の既知のサイズの物体を基準にして行うことができる。しかしながら、河川のような奥行きの長い対象を撮影する場合、近傍と遠方で長さに差が生じるため、正しく変換するためには多くのデータが必要である。したがって、上記の方法では、十分なサイズの物体を河川上に水流方向に設置して撮影しなければならず、工夫が必要である。また、カメラの撮影パラメータをもとに距離情報を計算する方法もあるが、キャリブレーション（校正）でパラメータを求めるための手間や、精度の問題がある。

そこで、本発明では、初期設定として流速計を使用して実際の流速を測定しておき、その測定値で校正を行うことにより、簡易的な画像処理で流速を計算する方法を提案する。なお、流速計には、河川に対して非接触で計測を行える電波や超音波式など、簡易的なものがある。また、オプションの画像認識として、川幅、川面積、陸面積などの情報を河川映像に対するグラフカットやセマンティックセグメンテーションなどによって算出し、流速と組み合わせて危険判定を行うことで、予測精度を向上させることを提案する。

以下、本発明の一実施形態について、図面を参照して説明する。ここでは、監視対象となる河川の映像を解析して流速を求め、オプションの画像認識と組み合わせて危険判定を行う河川状態予測監視システムを例にして説明する。

図１には、本発明の一実施形態に係る河川状態予測監視システム１００の構成例を示してある。河川状態予測監視システム１００は、ハードウェア資源としてＣＰＵ（Central Processing Unit）などのプロセッサやメモリを備えた電子計算機システムにより構成され、メモリに予め格納されたプログラムをプロセッサで実行することで、それぞれの機能が実現される。なお、ハードウェア資源として、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などを用いてもよい。

河川状態予測監視システム１００は、撮像装置１１０と、流速計１２０と、計算装置１３０と、記録装置１４０と、出力装置１５０とを備える。撮像装置１１０は、監視対象の河川に対して設置される。流速計１２０は、初期設定の際に可搬型のものが使用される。計算装置１３０、記録装置１４０及び出力装置１５０は、自治体の危機管理センタ内などの安全な場所に設置される。本例では、撮像装置１１０が本発明に係る撮像装置に対応し、流速計１２０が本発明に係る流速計に対応し、計算装置１３０が本発明に係る監視装置に対応し、記録装置１４０が本発明に係る記録装置に対応している。

撮像装置１１０は、河川の様子を撮影するカメラである。撮像装置１１０は、河川だけでなく、その両側の陸地（例えば、河原）を含む幅広いエリアを広角に撮影する。撮像装置１１０は、例えば、河川を垂直方向に見下ろす方向を撮影する姿勢で設置される。

流速計１２０は、河川を流れる水流の速度（流速）を測定する計測器である。流速計１２０としては、圧力、電磁誘導、熱拡散、波動の伝搬などを利用する様々な計測方式のものがあり、測定対象の性質に応じて使いやすいものを使用することができる。流速計１２０により計測された流速は、撮像装置１１０の映像から流速を計算する際の基準値として使用される。すなわち、流速計１２０は、画像処理による流速計算の初期的な校正のために使用される。

計算装置１３０は、映像取得部１３１と、画像処理部１３２と、データ通信部１３３と、流速取得部１３４と、記録制御部１３５と、表示制御部１３６とを備える。計算装置１３０は、一台の装置として構成されてもよいし、複数の装置の集合体として構成されてもよいし、その構成態様は問わない。

流速取得部１３４は、流速計１２０により計測された流速（実測値）を取得し、画像処理部１３２に出力する。
映像取得部１３１は、撮像装置１１０により撮影されたリアルタイムの画像データを取得し、画像処理部１３２に出力する。また、映像取得部１３１は、記録装置１４０に記録されている過去の画像データを取得し、画像処理部１３２に出力してもよい。

画像データに対しては、ノイズやフリッカなどの影響を低減するために、前処理として、平滑化フィルタや輪郭強調フィルタ、濃度変換などの処理が施されてもよい。また、用途に応じて、ＲＧＢカラーやモノクロなどのデータ形式が選択されてもよい。更には、処理コスト低減の観点から、所定の大きさになるように画像データに対して縮小処理が施されてもよい。

画像処理部１３２は、流速取得部１３４により得られた流速（実測値）を基準値に用いて、映像取得部１３１から随時入力される画像データの画像処理により流速を計算する。また、画像処理部１３２は、川幅、流量、川面積、陸面積などの解析情報を算出するオプションの画像認識も行う。画像処理部１３２による処理の詳細については後述する。

データ通信部１３３は、ローカルエリアや外部ネットワークにある他の機器との通信を行う。例えば、画像処理部１３２による処理結果のデータや記録装置１４０に保存されたデータなどを送信したり、映像取得部１３１や画像処理部１３２の処理で用いるパラメータの設定データなどを受信したりする。

記録制御部１３５は、映像取得部１３１により得られた画像データや画像処理部１３２による処理結果のデータなどの記録制御を行う。
表示制御部１３６は、映像取得部１３１により得られた画像データ、画像処理部１３２による処理結果、記録装置１４０に保存されているデータなどの表示制御を行う。

記録装置１４０は、映像取得部１３１により得られた画像データや画像処理部１３２による処理結果のデータなどを、記録制御部１３５の命令に従って記録保持する。また、記録装置１４０は、表示制御部１３６などからの要求に応じて、保存しているデータを送信する。

出力装置１５０は、表示／指示端末１５１と、表示出力装置１５２とを備える。
表示／指示端末１５１は、映像取得部１３１や画像処理部１３２の処理で用いるパラメータの設定など、ユーザから各種の指示や入力を受け付ける。
表示出力装置１５２は、表示制御部１３６の制御に従って、映像取得部１２１により得られた画像データ、画像処理部１３２による処理結果、記録装置１３０に保存されているデータなど、各種の情報を表示出力する。

本例の河川状態予測監視システム１００の動作について、図２のフローチャートを用いて説明する。
計算装置１３０はまず、初期設定として、流速計１２０により計測された流速［ｍ／ｓ］を取得し、河川表面を撮影した河川映像の画像処理により得られるオプティカルフローの移動速度［ｐｉｘｅｌ／ｓ］から流速を計算するための変換式（又は対応表）を準備する（ステップＳ１１）。

その後、計算装置１３０は、河川映像の画像処理による流速計算を開始し、河川の流速を常時監視する（ステップＳ１２〜Ｓ２０）。すなわち、まず、撮像装置１１０により撮影された複数フレームの画像データを解析し、映像上でのオプティカルフローを取得して、オプティカルフローの移動速度を上記の変換式（又は対応表）に基づいて流速に変換する（ステップＳ１３）。次に、この流速計算の結果を所定の閾値と比較し（ステップＳ１４）、流速が閾値を超えた場合にオプションの画像認識を実行する（ステップＳ１５）。オプションの画像認識では、川幅、流量、水面積、陸面積などが算出される。その後、流速計算の結果及びオプションの画像認識の結果に基づいて危険度判定を行い（ステップＳ１６）、危険と判定された場合には、アラームを発報する（ステップＳ１７）。なお、オプションの画像認識は、流速が閾値を超えたか否かに関わらずに実施しても構わない。

また、計算装置１３０は、撮像装置１１０により得られたリアルタイムの河川映像を表示出力端末１５２に表示させて、河川が危険な状態か否かの入力を監視員から随時受け付ける（ステップＳ１８）。そして、監視員により河川が危険な状態である旨の入力がなされた場合にも、アラームを発報する（ステップＳ１７）。なお、監視員により河川が危険な状態であると判断された場合は、その時点までの流速、川幅、水面積、陸面積などの時系列的な変化は、システム的に想定されていなかった危険の兆候と考えることができる。そこで、機械学習などにより新たな危険度判定の条件を設定できるように、これらの時系列的な変化状況を示すデータを記録装置１４０に保存する（ステップＳ１８）。なお、記録装置１４０へのデータ保存は、計算装置１３０の危険度判定（ステップＳ１６）で危険と判定された場合にも、同様に実施しても構わない。

ここで、河川映像上でのオプティカルフローには、雨のフローや風による草木の揺れで発生するフローなど、流速に無関係な成分も含まれる可能性がある。そこで、これら無関係な成分をカットするために、河川を流れる水流方向に対して所定角度以上の異なる方向のベクトル成分をオプティカルフローから除去した後に、流速計算に使用するようにしてもよい。ここで、水流方向としては、オプティカルフローから算出される方向ヒストグラムの主成分方向を用いることができる。なお、河川毎に水流方向を予め設定しておいてもよい。

次に、オプションの画像認識として川幅、流量、水面積、陸面積などを算出する手法について説明する。
河川の川幅は、例えば、河川映像上でオプティカルフローの発生場所から河川領域を推定し、水流方向に対する垂線と領域との２つの交点間の距離（一方の領域端から他方の領域端までの距離）を求めることで、算出することができる。河川領域を推定する方法としては、まず映像中の１フレームを取り出して任意のサイズのブロックに分割する。各ブロック内で、水流方向に対して一定以内の角度かつ一定以上大きさを持ったフローの数をカウントする。これを毎秒繰り返してカウントを積算し、１０００秒など一定時間経過した段階でカウントの時間平均値を求め、この値が一定以上である領域を河川とみなす。
また、水面が穏やかで見かけ上変化が少ない場合は、例えば、フローの位置を前景情報として与えたグラフカットによる河川領域の切り出し、またはセマンティックセグメンテーションを利用して河川領域を判定し、河川領域の水流方向に直交する方向の長さを求めるなど、既存の手法を使用して計算してもよい。水流方向に対する垂線は河川上の任意の点を通るように設定したり、複数の点から幅を計算し平均しても良い。

河川の流量は、例えば、橋脚を撮影範囲に含む河川映像を使用して、グラフカットやセマンティックセグメンテーションを利用して橋脚に対する水面位置を特定し、水面位置の高さの変化から水位の増減を監視し、予め用意しておいた変換式（又は対応表）を用いて算出することができる。

河川の川面積は、例えば、河川映像上でオプティカルフローが得られる領域の面積を求めることで、算出することができる。また、河川の陸面積は、例えば、河川映像上の全体の面積から川面積を差し引くことで、算出することができる。
なお、上記の手法は一例に過ぎず、他の種々の画像認識手法を用いて川幅、流量、水面積、陸面積などを算出することが可能である。

次に、ステップＳ１１の初期設定の詳細について、図３に例示するフローチャート及び図４に示す概要図を参照して説明する。
河川の流速を計算するためには、監視したい画角で河川表面を撮影した場合に得られるオプティカルフローの大きさと、実際の流速との対応関係を、明らかにしておく必要がある。ここでは、流速計１２０として、波動（電磁波や超音波など）の伝搬を利用して流速を計測するものを使用する場合を例にして説明する。これらの流速計は、水面に対して波動を照射するだけで、簡易的に流速を計測することが可能である。

河川を広角に撮影すると、撮影地点（撮像装置１１０の設置位置）の近傍と遠方では、同じ流速であっても画像上の見かけの移動量が相違する。したがって、図４に示すように、初期設定のための流速計測は、橋の上などから川幅方向（Ｘ方向）に沿って一定間隔の位置で行う必要がある。

図３のフローチャートに沿って説明すると、撮像装置１１０による撮影・録画を開始した後（ステップＳ３１）、河川の川幅方向における一方の端部（ｘ＝０［ｍ］）から他方の端部（ｘ＝５０［ｍ］）に到達するまで、流速計１２０による流速計測（ステップＳ３３）、時刻記録（ステップＳ３４）、所定距離（Ｘａ［ｍ］）の移動（ステップＳ３５）を１セットとして繰り返す。測定終了後、流速計測を行った時刻の録画映像を確認し、計測地点と対応する流速を調べる。そして、得られたデータをもとに同時刻でオプティカルフローと流速（実測値）を比較して、画像上の移動量と実距離との対応関係を分析し、川幅方向の各位置に対してオプティカルフローから流速への変換式を求める（ステップＳ３７）。

次に、図２のフローチャートにおける危険度判定（ステップＳ１５）の詳細について説明する。
図５には、危険度判定に使用する判定表を例示してある。図５の判定表は、流速と川幅に基づいて危険度を判定するものである。すなわち、流速が一定の場合には、川幅が一定の場合は「平常」と判定し、川幅が広くなった場合は「危険（土砂）」と判定する。また、流速が速くなった場合には、川幅が一定の場合は「危険（鉄砲水）」と判定し、川幅が広くなった場合は「危険（増水）」と判定する。また、流速が遅くなった場合には、川幅が一定の場合は「平常」と判定し、川幅が広くなった場合は「ゴミ滞留」（河川を堰き止める滞留物の発生）と判定する。

なお、上記の流速と川幅を組み合わせた危険度判定は一例に過ぎず、他の手法により危険度判定を行っても構わない。例えば、単純に、計算結果の流速が所定の閾値以上の場合に、河川が危険な状態であると判定してもよい。

また、計算結果の流速が所定の閾値以上の場合に、流量、川面積、陸面積などの他の解析情報を利用して、危険度判定を行ってもよい。例えば、定期的に河川の流量を計算して単位時間当たりの増加量を算出し、規定値を上回った場合に、河川が危険な状態であると判定してもよい。例えば、平常時に撮影した河川映像から川面積を算出して初期値として設定しておき、定期的に河川映像から川面積を算出して初期値に対する増加量（又は増加率）を求め、規定値を上回った場合に、河川が危険な状態であると判定してもよい。例えば、平常時に撮影した河川映像から陸面積を算出して初期値として設定しておき、定期的に河川映像から陸面積を算出して初期値に対する減少量（又は減少率）を求め、規定値を上回った場合に、河川が危険な状態であると判定してもよい。また、流速と２種類以上の解析情報とを組み合わせて、危険度判定を行ってもよい。

以上のように、本例の河川状態予測監視システム１００は、河川を撮影する撮像装置１１０と、撮像装置１１０により撮影された河川映像に基づいて河川の状態を判定する計算装置１３０とを備える。そして、計算装置１３０が、事前に流速計１２０を用いて計測された流速と、その計測時に撮影された河川映像上のオプティカルフローとの対応関係を表す変換式（又は対応表）に基づいて、判定時の河川映像上のオプティカルフローから河川の流速を算出し、算出結果の流速を所定の閾値と比較して、河川が危険な状態か否かを判定する構成となっている。

このような構成により、氾濫に巻き込まれにくく安定して監視を継続できるシステムを実現することができる。また、既設カメラを撮像装置１１０として使用できるので、低コストでシステムを構築することが可能である。また、河川映像から流速を簡易に計算することが可能であり、水流の方向などの変化が小さい河川や上下水道などを監視する場合には、初期設定の作業も簡単に済ませることができる。

また、本例では、計算装置１３０が、判定時の河川映像から算出される川幅、流量、川面積又は陸面積の少なくとも１つの解析情報を更に用いて、河川の状態を判定する構成となっている。このように、水位計や流速計では求めることができない河川映像の解析情報を用いて河川の状態を判定することで、追加の設備を設けることなく、河川が危険な状態か否かの判定精度を高めることができる。

また、本例では、オプティカルフローから流速を計算するための変換式（又は対応表）を、河川の川幅方向に沿った一定間隔の各位置に対して設定する構成となっている。したがって、河川を広角に撮影した映像内の各位置での移動量の相違を考慮して、河川の流速を計算することができる。

また、本例では、計算装置１３０が、河川を流れる水流方向に対して所定角度以上の異なる方向のベクトル成分を除去したオプティカルフローから流速を算出する構成となっている。したがって、雨のフローや風による草木の揺れで発生するフローなどが、流速の計算結果に影響を及ぼすことを低減することができる。

また、本例では、計算装置１３０が、監視員により河川が危険な状態である旨の入力がなされた場合に、河川の流速及び解析情報を記録装置１４０に記録させる構成となっている。したがって、システム的に想定されていなかった危険の兆候を記録することができ、機械学習などにより新たな危険度判定の条件を設定する際に活用することが可能となる。

以上、本発明について詳細に説明したが、本発明は上記のような構成に限定されるものではなく、上記以外の構成により実現してもよいことは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのようなプログラムを記憶する記憶媒体などとして提供することも可能である。

本発明は、河川の状態を監視する監視システムに利用することができる。

１１０：撮像装置、 １２０：流速計、 １３０：計算装置、 １３１：映像取得部、 １３２：画像処理部、 １３３：データ通信部、 １３４：流速取得部、 １３５：記録制御部、 １３６：表示制御部、 １４０：記録装置、 １５０：出力装置、 １５１：表示／指示端末、 １５２：表示出力端末

Claims (6)

1. 河川を撮影する撮像装置と、
   前記撮像装置により撮影された河川映像に基づいて前記河川の状態を判定する監視装置とを備え、
   前記監視装置は、事前に流速計を用いて計測された前記河川の流速と、その計測時に撮影された河川映像上のオプティカルフローとの対応関係に基づいて、判定時の河川映像上のオプティカルフローから前記河川の流速を算出することを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記監視装置は、前記算出した流速を所定の閾値と比較して、前記河川の状態を判定することを特徴とする監視システム。
3. 請求項１又は請求項２に記載の監視システムにおいて、
   前記監視装置は、判定時の河川映像から算出される前記河川の川幅、流量、川面積又は陸面積の少なくとも１つの解析情報を更に用いて、前記河川の状態を判定することを特徴とする監視システム。
4. 請求項１乃至請求項３のいずれかに記載の監視システムにおいて、
   前記対応関係は、前記河川の川幅方向に沿った一定間隔の各位置に対して設定されることを特徴とする監視システム。
5. 請求項１乃至請求項４のいずれかに記載の監視システムにおいて、
   前記監視装置は、前記河川を流れる水流方向に対して所定角度以上の異なる方向のベクトル成分を除去したオプティカルフローから前記河川の流速を算出することを特徴とする監視システム。
6. 請求項１乃至請求項５のいずれかに記載の監視システムにおいて、
   前記監視装置は、ユーザにより前記河川が危険な状態である旨の入力がなされた場合に、前記河川の流速及び解析情報を記録装置に記録させることを特徴とする監視システム。

Images