JP2019045191A - 水位計測装置および水際線抽出方法 - Google Patents

水位計測装置および水際線抽出方法 Download PDF

Info

Publication number
JP2019045191A
JP2019045191A JP2017165718A JP2017165718A JP2019045191A JP 2019045191 A JP2019045191 A JP 2019045191A JP 2017165718 A JP2017165718 A JP 2017165718A JP 2017165718 A JP2017165718 A JP 2017165718A JP 2019045191 A JP2019045191 A JP 2019045191A
Authority
JP
Japan
Prior art keywords
identification
image
water
unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017165718A
Other languages
English (en)
Other versions
JP6729971B2 (ja
Inventor
秀明 前原
Hideaki Maehara
秀明 前原
夢雄 王
Mengxion Wang
夢雄 王
百代 日野
Momoyo Hino
百代 日野
三嶋　英俊
Hidetoshi Mishima
英俊 三嶋
英滋 上田
Eiji Ueda
英滋 上田
哲朗 和田
Tetsuro Wada
哲朗 和田
謙二 平
Kenji Taira
謙二 平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd, Mitsubishi Electric Corp filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2017165718A priority Critical patent/JP6729971B2/ja
Priority to PCT/JP2018/017766 priority patent/WO2019044040A1/ja
Priority to US16/634,847 priority patent/US11282226B2/en
Priority to EP18852242.9A priority patent/EP3677881A4/en
Publication of JP2019045191A publication Critical patent/JP2019045191A/ja
Application granted granted Critical
Publication of JP6729971B2 publication Critical patent/JP6729971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284—Electromagnetic waves
    • G01F23/292—Light, e.g. infrared or ultraviolet
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/80—Arrangements for signal processing
    • G01F23/802—Particular electronic circuits for digital processing equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Abstract

【課題】安定した水位計測が可能な水位計測装置および水際線抽出方法を提供する。【解決手段】画素選択部１１は、撮影画像３００から指定された指定領域３０１から着目画素３０２を選択し、識別用画像抽出部１２は、着目画素３０２に接する識別用画像３０３，３０４をそれぞれ抽出する。識別部１３は、水領域と非水領域との識別に係る機械学習の結果に基づいて、識別用画像３０３，３０４のそれぞれに対応する領域が水領域である度合いを示す識別強度を算出する。水際線抽出部１４は、学習部１７による水領域と非水領域との識別に係る機械学習の結果に基づいて、識別用画像３０３，３０４のそれぞれに対応する領域の識別強度から、撮影画像における水際線を抽出する。【選択図】図１

Description

この発明は、河川などの水位を計測する水位計測装置および水際線抽出方法に関する。
従来から、監視カメラによって撮影された画像を用いて、河川の水位を計測する技術が知られている。例えば、特許文献１には、河川に配置された量水板を含んだ画像を、監視カメラによって撮影し、撮影された上記画像を用いて河川の水位を計測する水位計測方法が記載されている。
特開２００１−２８１０４６号公報
特許文献１に記載された水位計測方法は、撮影画像における輝度分布に基づいて量水板の位置を特定し、特定した位置に基づいて水位を計測するものである。
しかしながら、輝度分布のみに基づいて量水板の位置を特定する処理では、特定の精度が不安定になる。このため、特許文献１に記載された水位計測方法では、計測結果に誤りが生じる可能性が高く、計測が不安定であるという課題があった。
この発明は上記課題を解決するもので、安定した水位計測が可能な水位計測装置および水際線抽出方法を得ることを目的とする。
この発明に係る水位計測装置は、画素選択部、識別用画像抽出部、識別部、水際線抽出部および水位算定部を備える。画素選択部は、監視カメラによって撮影された撮影画像から指定した画像領域から着目画素を選択する。識別用画像抽出部は、画素選択部によって選択された着目画素に接する複数の画像領域を識別用画像としてそれぞれ抽出する。識別部は、水領域と非水領域との識別に係る機械学習の結果に基づいて、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す識別強度を算出する。水際線抽出部は、識別部によって算出された識別強度に基づいて、撮影画像における水際線を抽出する。水位算定部は、水際線抽出部によって抽出された水際線に基づいて、監視カメラの撮影範囲における水位を算定する。
この発明によれば、着目画素に接する複数の画像領域を識別用画像としてそれぞれ抽出し、水領域と非水領域との識別に係る機械学習の結果に基づいて複数の識別用画像のそれぞれに対応する領域の識別強度に基づいて、撮影画像における水際線を抽出する。水際線の位置に基づいて水位を算定することで、安定した水位計測が可能な水位計測装置および水際線抽出方法を得ることができる。
この発明の実施の形態１に係る水位計測装置の構成を示すブロック図である。 図２Ａは、実施の形態１に係る水位計測装置の機能を実現するハードウェア構成を示すブロック図である。図２Ｂは、実施の形態１に係る水位計測装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 水領域と非水領域との識別に係るディープニューラルネットワークの構造を示す図である。 実施の形態１に係る水際線抽出方法を示すフローチャートである。 実施の形態１に係る水際線抽出方法の詳細を示すフローチャートである。 実施の形態１における撮影画像の一例を示す図である。 図７Ａは、撮影画像から指定した画像領域を示す図である。図７Ｂは、着目画素に対して上に接する識別用画像を示す図である。図７Ｃは、図７Ｂの識別用画像に対する水領域か非水領域かの識別処理の概要を示す図である。 図８Ａは、着目画素に対して下に接する識別用画像を示す図である。図８Ｂは、図８Ａの識別用画像に対する水領域か非水領域かの識別処理の概要を示す図である。 実施の形態１における識別用画像の識別強度を示す図である。 図１０Ａは、水際付近が写った撮影画像、指定領域および着目画素を示す図である。図１０Ｂは、図１０Ａの指定領域において着目画素に対して上に接する識別用画像および下に接する識別用画像を示す図である。 図１１Ａは、水際付近が写った撮影画像、指定領域および着目画素を示す図である。図１１Ｂは、図１１Ａの指定領域において着目画素に対して上に接する識別用画像および下に接する識別用画像を示す図である。 この発明の実施の形態２に係る水位計測装置の構成を示すブロック図である。 学習用画像の例を示す図である。 実施の形態２に係る水際線抽出方法を示すフローチャートである。 図１５Ａは、撮影画像および指定領域を示す図である。図１５Ｂは、図１５Ａの識別用画像に対する水領域か非水領域かの識別処理の概要を示す図である。 この発明の実施の形態３に係る水位計測装置の構成を示すブロック図である。 実施の形態３に係る水際線抽出方法の別の態様を示すフローチャートである。 図１８Ａは、撮影画像および識別用画像を示す図である。図１８Ｂは、図１８Ａの識別用画像に対する水領域か非水領域かの識別処理の概要を示す図である。 水際線の位置を教師データのラベルとした学習用画像を示す図である。 この発明の実施の形態４に係る水位計測装置の構成を示すブロック図である。
実施の形態１．
図１は、この発明の実施の形態１に係る水位計測装置１００の構成を示すブロック図である。水位計測装置１００は、監視カメラ１によって撮影された画像を用いて河川の水位を計測する装置であって、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７を備える。
監視カメラ１は、水位計測の対象である河川などの周辺に配置されて、水位計測の対象を撮影する。監視カメラ１の撮影対象の範囲（以下、撮影範囲と記載する）には、河川の水、川岸などの河川以外のもの、および河川の水と川岸との境界である水際線が含まれている。監視カメラ１によって撮影された画像を撮影画像と記載する。撮影画像を示す画像データは、監視カメラ１から水位計測装置１００に出力される。
画素選択部１１は、監視カメラ１によって撮影された撮影画像から指定した画像領域（以下、指定領域と記載する）から着目画素を選択する。
例えば、画素選択部１１は、撮影画像から３２×１２８ピクセルの指定領域を特定し、上記指定領域における画素の中から、着目画素を選択する。画素選択部１１によって選択された着目画素を示すデータは、識別用画像抽出部１２に出力される。
識別用画像抽出部１２は、画素選択部１１によって選択された着目画素に接する複数の画像領域を識別用画像としてそれぞれ抽出する。例えば、識別用画像抽出部１２は、撮影画像の２次元画像面において、着目画素に上に接する６４×６４ピクセルの画像を識別用画像として抽出し、着目画素に下に接する６４×６４ピクセルの画像を識別用画像として抽出する。識別用画像抽出部１２によって抽出された識別用画像を示すデータは、識別部１３に出力される。
識別部１３は、学習部１７による水領域と非水領域との識別に係る機械学習の結果に基づいて識別強度を算出する。水領域は、画像において河川の水が写された領域であり、非水領域は、画像において河川以外のものが写された領域である。
識別強度は、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す値である。例えば、識別用画像に対応する領域が水領域である場合、識別強度は、１．０となり、識別用画像に対応する領域が非水領域である場合、識別強度は、０．０となる。また、識別用画像において水領域と非水領域とが写っている場合、識別用強度は、０．５となる。
水際線抽出部１４は、識別部１３によって算出された識別強度に基づいて、撮影画像における水際線を抽出する。例えば、撮影画像に写された対岸の水際の１点が着目画素であった場合、当該着目画素に対して上に接する識別用画像は、陸地（非水領域）が写された画像であるので、識別強度は、０．０付近の値となる。当該着目画素に対して下に接する識別用画像は、水領域が写された画像であるので、識別強度は、１．０付近の値となる。水際線抽出部１４は、上記着目画素に接する複数の識別用画像のそれぞれの識別強度を減算し、識別強度が最大値（ピーク値）になる着目画像を水際線に対応する画素として抽出する。水際線抽出部１４は、これらの画素をトレースして、撮影画像に写された水際線を抽出する。
水位算定部１５は、水際線抽出部１４によって抽出された水際線の位置に基づいて、監視カメラ１の撮影範囲における水位を算定する。例えば、上記指定領域の２次元画像面における上下方向の画素列の画素の位置ごとに河川の水位値を対応付けた対応データを水位算定部１５に設定しておく。水位算定部１５は、水際線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
学習用画像抽出部１６は、監視カメラ１によって撮影された撮影画像から学習用画像を抽出する。例えば、学習用画像抽出部１６は、撮影画像において河川の水が写った画像領域を学習用画像として抽出し、さらに撮影画像における河川以外のものが写った画像領域を学習用画像として抽出する。
学習部１７は、学習用画像抽出部１６によって抽出された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。例えば、学習部１７は、ディープニューラルネットワーク（以下、Ｄ／Ｌと記載する）を用いた機械学習を実行する。学習部１７による機械学習の結果は、識別部１３に出力される。
これまで、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７を備える水位計測装置１００を示したが、この構成に限定されるものではない。
例えば、学習用画像抽出部１６および学習部１７は、水位計測装置１００とは別に設けられた外部装置が備える構成であってもよい。この場合、識別部１３は、上記外部装置で学習された機械学習の結果を用いて識別処理を行うことになる。
すなわち、実施の形態１に係る水位計測装置１００は、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５を備えていればよく、学習用画像抽出部１６および学習部１７がない構成であってもよい。
図２Ａは、水位計測装置１００の機能を実現するハードウェア構成を示すブロック図である。図２Ｂは、水位計測装置１００の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。水位計測装置１００における、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７のそれぞれの機能は、処理回路によって実現される。
すなわち、水位計測装置１００は、着目画素の選択、識別用画像の抽出、識別処理および水際線抽出のそれぞれの処理を実行するための処理回路を備える。
処理回路は、専用のハードウェアであっても、メモリ２０２に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。
処理回路が図２Ａに示す専用のハードウェアである場合、処理回路２００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
処理回路が図２Ｂに示すプロセッサ２０１である場合、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７のそれぞれの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２０２に記憶される。
プロセッサ２０１は、メモリ２０２に記憶されたプログラムを読み出して実行することで、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７のそれぞれの機能を実現する。
すなわち、水位計測装置１００は、プロセッサ２０１により実行されるとき、着目画素の選択、識別用画像の抽出、識別処理および水際線抽出のそれぞれが結果的に実行されるプログラムを記憶するためのメモリ２０２を備える。
これらのプログラムは、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７の手順または方法を、コンピュータに実行させるものである。
メモリ２０２には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４、水位算定部１５、学習用画像抽出部１６および学習部１７のそれぞれの機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４および水位算定部１５については、専用のハードウェアとしての処理回路２００でその機能を実現し、学習用画像抽出部１６および学習部１７については、プロセッサ２０１がメモリ２０２に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
図３は、識別部１３における水領域と非水領域との識別に係るＤ／Ｌの構造を示す図である。Ｄ／Ｌは、コンピュータに複数の学習用画像を、正解とともに入力して学習させることにより、新たに入力された画像データに写っているものが、特定の対象であるか否かを識別して結果を出力するように動作させる仕組みの一つである。
より具体的には、Ｄ／Ｌは、複数のパーセプトロンが階層的に配置された計算モデルである。パーセプトロンとは、入力信号の重み付き和をとり、活性化関数と呼ばれる非線形関数を適用して出力とするものである。
例えば、パーセプトロンは、画像に対応する二次元信号を入力すると、入力信号の重み付き和を計算して次の層のパーセプトロンに出力する。
図３に示すＤ／Ｌでは、複数のパーセプトロンが階層的に配置されており、入力層に入力された入力信号を中間層における複数の層のそれぞれで処理していくことで、識別結果が計算される。出力層は、識別するタスクの出力に対応しており、回帰タスクであれば、活性化関数の出力をそのまま予測値とし、分類タスクであれば、出力層についてソフトマックス関数を適用して出力とする。
学習部１７によるＤ／Ｌの学習は、誤差逆伝播により行われ、例えば確率的勾配降下法が用いられる。誤差逆伝播は、Ｄ／Ｌの出力誤差を出力層から順に前の層に向かって伝播させ、重みを更新させていく処理のことである。
なお、学習部１７は、学習用画像の入力に対して水領域と非水領域との識別に係る機械学習を実行可能なモデルを用いたものであればよい。当該モデルとしては、例えば、畳み込みニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）などが挙げられる。
次に動作について説明する。
図４は、実施の形態１に係る水際線抽出方法を示すフローチャートである。なお、図４に示す一連の処理が実行される前段階で、学習部１７による水領域と非水領域との識別に係る機械学習が実行されているものとする。
まず、画素選択部１１が、監視カメラ１によって撮影された撮影画像から、指定領域（例えば、３２×１２８ピクセルの画像領域）を特定して、指定領域から着目画素を選択する（ステップＳＴ１）。
次に、識別用画像抽出部１２が、画素選択部１１によって選択された着目画素に接する複数の画像領域を識別用画像として抽出する（ステップＳＴ２）。
撮影画像の２次元画像面において着目画素に対して上に接する画像（例えば、６４×６４ピクセルの画像領域）が識別用画像として抽出され、着目画素に対して下に接する画像（例えば、６４×６４ピクセルの画像領域）が識別用画像として抽出される。
識別部１３が、水領域と非水領域との識別に係る機械学習の結果に基づいて、ステップＳＴ２において抽出された識別用画像のそれぞれについて識別強度を算出する（ステップＳＴ３）。例えば、識別用画像に対応する領域が水領域であれば、識別強度は、１．０となり、識別用画像に対応する領域が非水領域である場合、識別強度は、０．０となる。識別用画像で水領域と非水領域とが均等に写っていれば、識別用強度は、０．５となる。
水際線抽出部１４が、識別部１３によって算出された上記識別強度に基づいて、撮影画像における水際線を抽出する（ステップＳＴ４）。
次に、図４の一連の処理の詳細について説明する。
図５は、実施の形態１に係る水際線抽出方法の詳細を示すフローチャートである。
図５におけるステップＳＴ１ａおよびステップＳＴ２ａの処理は、図４のステップＳＴ１の処理に対応している。図５におけるステップＳＴ３ａおよびステップＳＴ５ａの処理は、図４のステップＳＴ２の処理に対応している。図５におけるステップＳＴ４ａ、ステップＳＴ６ａおよびステップＳＴ７ａの処理は、図４のステップＳＴ３の処理に対応している。図５におけるステップＳＴ８ａの処理は、図４のステップＳＴ４の処理に対応している。
画素選択部１１は、監視カメラ１によって撮影された撮影画像から、水際線を抽出する画像領域を指定する（ステップＳＴ１ａ）。図６は、監視カメラ１によって撮影された撮影画像３００の一例を示す図である。
ステップＳＴ１ａにおいて、画素選択部１１は、撮影画像３００における、監視カメラ１から対岸となる陸地および河川の水が写っている画像領域ａのうち、水際線の抽出対象となる画像領域を、指定領域３０１とする。
指定領域３０１は、例えば、３２×１２８ピクセルの細長い画像領域である。このように、指定領域３０１を、２次元画像面において上下に長い画像領域とすることで、水際が写った画像領域が指定されやすくなる。
画素選択部１１は、指定領域３０１から着目画素を選択する（ステップＳＴ２ａ）。
図７Ａは、撮影画像３００から指定した指定領域３０１を示す図である。図７Ａに示すように、画素選択部１１は、指定領域３０１から着目画素３０２を選択する。
例えば、着目画素は、指定領域３０１の全ての画素から順に選択される。
次に、識別用画像抽出部１２は、撮影画像３００の２次元画像面において上記着目画素に対して上に接する画像領域を識別用画像として抽出する（ステップＳＴ３ａ）。
図７Ｂは、着目画素３０２に対して上に接する識別用画像３０３を示す図である。
例えば、識別用画像抽出部１２は、識別用画像３０３として６４×６４ピクセルの画像領域を抽出して、識別用画像３０３を示す画像データを識別部１３に出力する。
識別部１３は、識別用画像抽出部１２によって抽出された識別用画像３０３に対して、水領域か非水領域かの識別処理を行い、識別結果をマップＡに記録する（ステップＳＴ４ａ）。図７Ｃは、図７Ｂの識別用画像３０３に対する水領域か非水領域かの識別処理の概要を示す図である。識別結果は、識別部１３によるＤ／Ｌの識別処理の結果であって、識別用画像３０３に写った領域が水領域である度合いを示す識別強度である。
識別用画像３０３には、監視カメラ１から対岸となる陸地が写っているので、識別強度は０．０付近の値となる。マップＡには、指定領域３０１から選択された全ての着目画素３０２のそれぞれに対応する識別用画像３０３（着目画素に対して上に接する画像領域）の識別強度が設定される。
次に、識別用画像抽出部１２は、撮影画像３００の２次元画像面において上記着目画素に対して下に接する画像領域を識別用画像として抽出する（ステップＳＴ５ａ）。
図８Ａは、着目画素３０２に対して下に接する識別用画像３０４を示す図である。
例えば、識別用画像抽出部１２は、識別用画像３０３と同様に、６４×６４ピクセルの画像領域を抽出して、識別用画像３０４を示す画像データを識別部１３に出力する。
識別部１３は、識別用画像抽出部１２によって抽出された識別用画像３０４に対して、水領域か非水領域かの識別処理を行って、識別結果をマップＢに記録する（ステップＳＴ６ａ）。図８Ｂは、図８Ａの識別用画像３０４に対する水領域か非水領域かの識別処理の概要を示す図である。識別結果は、識別部１３によるＤ／Ｌの識別処理の結果であり、識別用画像３０４に写った領域が水領域である度合いを示す識別強度である。
識別用画像３０４には、河川の水が写っているので、識別強度は、１．０付近の値となる。マップＢには、指定領域３０１から選択された全ての着目画素３０２のそれぞれに対応する識別用画像３０４（着目画素に対して下に接する画像領域）の識別強度が設定される。
図９は、実施の形態１における識別用画像の識別強度を示す図である。図９に示すように、識別強度は、値域０．０〜１．０の実数である。識別用画像３０５ａおよび識別用画像３０５ｂには、河川の水が写っており、これらの識別強度は１．０に近い値となる。
監視カメラ１から対岸となる陸地（非水領域）が写っている識別用画像３０５ｃおよび識別用画像３０５ｄの識別強度は、０．０に近い値となる。
識別用画像３０５ｅには、上記対岸と河川の水とが写っており、識別用画像３０５ｆには、橋脚と河川の水とが写っている。識別用画像３０５ｅ，３０５ｆには、非水領域と水領域とが均等に混在して写っているので、これらの識別強度は、０．５に近い値となる。
次に、識別部１３は、指定領域３０１における全ての画素に着目したか否かを確認する（ステップＳＴ７ａ）。指定領域３０１における全ての画素に着目した、すなわち全ての画素が着目画素として選択された場合（ステップＳＴ７ａ；ＹＥＳ）、ステップＳＴ８ａの処理に移行する。
指定領域３０１に未着目の画素がある、すなわち着目画素として選択されていない画素がある場合（ステップＳＴ７ａ；ＮＯ）、ステップＳＴ２ａの処理に戻る。これにより、ステップＳＴ２ａにおいて、指定領域３０１のうち、未着目の画素が着目画素として選択されて、ステップＳＴ３ａからステップＳＴ７ａまでの一連の処理が繰り返される。
図１０Ａは、水際付近が写った撮影画像３００、指定領域３０１ａおよび着目画素３０２ａを示す図であって、水際に対応する画素が着目画素３０２ａとして選択された場合を示している。また、図１０Ｂは、図１０Ａの指定領域３０１ａにおいて着目画素３０２ａに対して上に接する識別用画像３０３ａおよび下に接する識別用画像３０４ａを示す図である。
着目画素３０２ａは、指定領域３０１ａに写った水際に対応する画素であるので、識別用画像３０３ａに対応する領域は、非水領域である。これにより、識別用画像３０３ａの識別強度は、０．０に近い値となる。マップＡには、着目画素３０２ａに対応する識別用画像３０３ａの識別強度（０．０）が記録される。
一方、識別用画像３０４ａに対応する領域は水領域であるので、識別強度は、１．０に近い値となる。マップＢには、着目画素３０２ａに対応する識別用画像３０４ａの識別強度（１．０）が記録される。ここまでが、ステップＳＴ１ａからステップＳＴ６ａまでの一連の処理となる。
図１１Ａは、水際付近が写った撮影画像３００、指定領域３０１ｂおよび着目画素３０２ｂを示す図であり、撮影画像３００の２次元画像面において図１０Ａに示した着目画素３０２ａよりも上側にある画素が着目画素３０２ｂとして選択された場合を示している。図１１Ｂは、図１１Ａの指定領域３０１ｂにおいて着目画素３０２ｂに対して上に接する識別用画像３０３ｂおよび下に接する識別用画像３０４ｂを示す図である。
着目画素３０２ｂは、指定領域３０１ｂに写った陸地（対岸）に対応する画素であるので、識別用画像３０３ｂに対応する領域は、非水領域である。これにより、識別用画像３０３ｂの識別強度は、０．０に近い値となる。マップＡには、着目画素３０２ｂに対応する識別用画像３０３ｂの識別強度（０．０）が記録される。
一方、識別用画像３０４ｂに対応する領域には、水領域と非水領域とが混在しているので、識別強度は、０．５に近い値となる。マップＢには、着目画素３０２ｂに対応する識別用画像３０４ｂの識別強度（０．５）が記録される。
なお、撮影画像３００の２次元画像面において図１０Ａに示した着目画素３０２ａよりも下側にある画素が着目画素として選択されると、この着目画素に対して上に接する識別用画像に対応する領域には水領域と非水領域とが混在している。このため、識別強度は、０．５に近い値となる。この場合、マップＡには、上記着目画素に対応する識別用画像の識別強度（０．５）が記録される。上記着目画素に対して下に接する識別用画像に対応する領域は水領域であので、識別強度は、１．０に近い値となる。この場合、マップＢには、上記着目画素に対応する識別用画像の識別強度（１．０）が記録される。
ステップＳＴ８ａにおいて、水際線抽出部１４は、マップＢにて着目画素の位置ごとに記録された識別強度から、マップＡにて着目画素の位置ごとに記録された識別強度を減算して、マップＣを得る。マップＣには、着目画素の位置ごとに識別強度の減算値が記録されている。水際線抽出部１４は、マップＣの画素列ごとに識別強度の減算値が最大となる画素を検索し、検索結果の画素列ごとの画素をトレースすることにより、撮影画像３００に写った水際線を抽出する。
なお、図５は、撮影画像３００から選択された指定領域３０１に対する処理であるが、水位計測装置１００は、撮影画像３００から指定領域を順に選択して、図５に示した処理を指定領域ごとに実行してもよい。
また、指定領域として、３２×１２８ピクセルの画像領域を指定する場合を示したが、このサイズに限定されるものではない。例えば、指定領域は、６４×６４ピクセルの画像領域であってもよい。
さらに、識別用画像として６４×６４ピクセルの画像領域を抽出する場合を示したが、このサイズに限定されるものではない。例えば、識別処理の演算負荷を上げない範囲であれば、このサイズよりも大きくてもよく、小さくてもよい。
さらに、画像領域として矩形の領域を指定および抽出する場合を示したが、矩形以外の領域であってもよい。例えば、円形の領域であってもよい。
以上のように、実施の形態１に係る水位計測装置１００において、学習用画像抽出部１６は、監視カメラ１によって撮影された撮影画像３００から、水領域に対応する画像と非水領域に対応する画像とを抽出する。学習部１７は、学習用画像抽出部１６によって抽出された画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。
画素選択部１１は、撮影画像３００から指定された指定領域３０１から着目画素３０２を選択し、識別用画像抽出部１２は、着目画素３０２に接する識別用画像３０３，３０４をそれぞれ抽出する。識別部１３は、水領域と非水領域との識別に係る機械学習の結果に基づいて、識別用画像３０３，３０４のそれぞれに対応する領域が水領域である度合いを示す識別強度を算出する。水際線抽出部１４は、学習部１７による水領域と非水領域との識別に係る機械学習の結果に基づいて、識別用画像３０３，３０４のそれぞれに対応する領域の識別強度から、撮影画像における水際線を抽出する。
このように上記機械学習の結果から精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
実施の形態２．
図１２は、この発明の実施の形態２に係る水位計測装置１００Ａの構成を示すブロック図である。図１２において、図１と同一構成要素には同一符号を付して説明を省略する。水位計測装置１００Ａは、監視カメラ１によって撮影された画像を用いて河川の水位を計測する装置であり、識別用画像抽出部１２Ａ、識別部１３Ａ、水際線抽出部１４Ａ、水位算定部１５、学習用画像抽出部１６Ａおよび学習部１７Ａを備える。
識別用画像抽出部１２Ａは、監視カメラ１によって撮影された撮影画像における指定領域から複数の識別用画像を抽出する。例えば、識別用画像抽出部１２Ａは、撮影画像の指定領域から、６４×６４ピクセルの画像を識別用画像として抽出する。識別用画像抽出部１２Ａによって抽出された識別用画像を示すデータは、識別部１３Ａに出力される。
識別部１３Ａは、学習部１７Ａによる水領域と水際と非水領域との識別に係る機械学習の結果に基づいて、複数の識別用画像のそれぞれに対応する領域が水際である度合いを示す識別強度を算出する。
識別強度は、実施の形態１と同様に、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す値である。例えば、識別用画像に対応する領域が水領域である場合、識別強度は、１．０となり、識別用画像に対応する領域が非水領域である場合には、識別強度は、０となる。また、識別用画像において水領域と非水領域とが写っている場合、識別用強度は、０．５となる。
水際線抽出部１４Ａは、識別部１３Ａによって算出された識別強度に基づいて、撮影画像における水際線の位置を算出する。例えば、水際線抽出部１４Ａは、複数の識別用画像のそれぞれの識別強度を用いて、水際線の位置を算出する。
学習用画像抽出部１６Ａは、監視カメラ１によって撮影された撮影画像から学習用画像を抽出する。図１３は学習用画像３０６〜３０８を示す図である。図１３に示すように、学習用画像抽出部１６Ａは、撮影画像において河川の水が写った学習用画像３０６、撮影画像において河川の水際付近が写った学習用画像３０７、および撮影画像における河川以外の非水領域が写った学習用画像３０８のそれぞれを抽出する。
学習部１７Ａは、学習用画像抽出部１６Ａによって抽出された学習用画像３０６〜３０８を用いて、水領域と水際と非水領域との識別に係る機械学習を実行する。
例えば、学習部１７Ａは、上記学習用画像を教師データとしたＤ／Ｌを用いた機械学習を行うことにより、識別部１３Ａに入力された画像データが水領域、水際、非水領域の３カテゴリごとの識別強度として出力される機械学習の結果を得る。学習部１７Ａによる機械学習の結果は、識別部１３Ａに出力される。
識別用画像抽出部１２Ａ、識別部１３Ａ、水際線抽出部１４Ａ、水位算定部１５、学習用画像抽出部１６Ａおよび学習部１７Ａのそれぞれの機能は、図２Ａと同様に、専用のハードウェアである処理回路２００で実現してもよい。また、図２Ｂと同様に、プロセッサ２０１がメモリ２０２に記憶されたプログラムを読み出して実行することによりその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
これまで、識別用画像抽出部１２Ａ、識別部１３Ａ、水際線抽出部１４Ａ、水位算定部１５、学習用画像抽出部１６Ａおよび学習部１７Ａを備える水位計測装置１００Ａを示したが、この構成に限定されるものではない。例えば、学習用画像抽出部１６Ａおよび学習部１７Ａは、水位計測装置１００Ａとは別に設けられた外部装置が備える構成であってもよい。この場合、識別部１３Ａは、上記外部装置で学習された機械学習の結果を用いて識別処理を行うことになる。すなわち、実施の形態２に係る水位計測装置１００Ａは、識別用画像抽出部１２Ａ、識別部１３Ａ、水際線抽出部１４Ａ、水位算定部１５を備えていればよく、学習用画像抽出部１６Ａおよび学習部１７Ａがない構成であってもよい。
次に動作について説明する。
図１４は、実施の形態２に係る水際線抽出方法を示すフローチャートである。
なお、図１４に示す一連の処理が実行される前段階で、学習部１７Ａによる水領域と水際と非水領域との識別に係る機械学習が実行されているものとする。
まず、識別用画像抽出部１２Ａは、監視カメラ１によって撮影された撮影画像から、水際線を抽出する画像領域を指定する（ステップＳＴ１ｂ）。
図１５Ａは、撮影画像３００および指定領域４００を示す図である。ステップＳＴ１ｂにおいて、識別用画像抽出部１２Ａは、撮影画像３００のうち、水際線の抽出対象の画像領域である指定領域４００を指定する。例えば、６４×１２８ピクセルの画像領域を指定する。
次に、識別用画像抽出部１２Ａは、指定領域４００から識別用の３つの画像を抽出する（ステップＳＴ２ｂ）。図１５Ｂは、図１５Ａの識別用画像に対する水領域か非水領域かの識別処理の概要を示す図である。図１５Ｂに示すように、識別用画像抽出部１２Ａは、指定領域４００から、６４×６４ピクセルの３つの識別用画像４０１，４０２，４０３をそれぞれ抽出する。識別用画像抽出部１２Ａによって抽出された識別用画像４０１，４０２，４０３のそれぞれを示す画像データは、識別部１３Ａに出力される。
識別部１３Ａは、識別用画像抽出部１２Ａによって抽出された識別用画像４０１，４０２，４０３のそれぞれに対して、水領域か水際か非水領域かの識別処理を行う（ステップＳＴ３ｂ）。これにより、識別部１３Ａは、識別用画像４０１についての“水際”の識別強度ｓ１、識別用画像４０２についての“水際”の識別強度ｓ２、識別用画像４０３についての“水際”の識別強度ｓ３を、識別結果として求める。
“水際”の識別強度とは、識別部１３ＡによるＤ／Ｌの識別処理の結果であって、識別用画像に対応する領域が水際を含む領域である度合いを示す実数値である。
水際線抽出部１４Ａは、識別部１３Ａによって算出された上記の識別強度ｓ１〜ｓ３に基づいて、撮影画像３００における水際線の位置ｐを算出する。
例えば、水際線抽出部１４Ａは、指定領域４００を上辺から３２ピクセル刻みとして、指定領域４００の上辺から順に識別用画像４０１、識別用画像４０２、識別用画像４０３を当てはめて、下記式（１）から水際線の位置ｐを抽出する。
ｐ＝（３２×ｓ１＋６４×ｓ２＋９６×ｓ３）／（ｓ１＋ｓ２＋ｓ３） （１）
水位算定部１５は、水際線抽出部１４Ａにより算出された水際線の位置ｐに基づいて、監視カメラ１の撮影範囲における水位を算定する。例えば、実施の形態１と同様に、上記指定領域の２次元画像面における上下方向の画素列の画素の位置ごとに河川の水位値を対応付けた対応データを水位算定部１５に設定しておく。水位算定部１５は、水際線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
なお、指定領域４００を３２ピクセル刻みとして水際線の位置ｐを算出する場合を示したが、これは、あくまでも例であり、刻み間隔は３２ピクセル以外であってもよい。
以上のように、実施の形態２に係る水位計測装置１００Ａにおいて、学習用画像抽出部１６Ａは、監視カメラ１によって撮影された撮影画像３００から、水領域に対応する画像と、水際に対応する画像と、非水領域に対応する画像とを抽出する。学習部１７Ａは、学習用画像抽出部１６Ａによって抽出された画像を用いて、水領域と水際と非水領域との識別に係る機械学習を実行する。
識別用画像抽出部１２Ａは、撮影画像３００の指定領域４００から識別用画像４０１〜４０３を抽出する。識別部１３Ａは、学習部１７Ａによる、水領域と水際と非水領域との識別に係る機械学習の結果に基づいて、識別用画像４０１〜４０３のそれぞれに対応する領域が水際である度合いを示す識別強度を算出する。水際線抽出部１４Ａは、識別部１３Ａによって算出された識別強度に基づいて、水際線の位置ｐを算出する。水位算定部１５は、水際線抽出部１４Ａによって算出された水際線の位置ｐに基づいて、監視カメラ１の撮影範囲における水位を算定する。
このように構成しても、上記機械学習の結果から精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
実施の形態３．
図１６は、この発明の実施の形態３に係る水位計測装置１００Ｂの構成を示すブロック図である。図１６において、図１と同一構成要素には同一符号を付して説明を省略する。水位計測装置１００Ｂは、監視カメラ１によって撮影された画像を用いて河川の水位を計測する装置であり、識別用画像抽出部１２Ｂ、識別部１３Ｂ、水位算定部１５、学習用画像抽出部１６Ｂおよび学習部１７Ｂを備える。
識別用画像抽出部１２Ｂは、監視カメラ１によって撮影された撮影画像から識別用画像を抽出する。例えば、識別用画像抽出部１２Ｂは、撮影画像から６４×１２８ピクセルの画像を指定して識別用画像として抽出する。識別用画像抽出部１２Ｂによって抽出された識別用画像を示すデータは、識別部１３Ｂに出力される。
識別部１３Ｂは、学習部１７Ｂによる水際の識別に係る機械学習の結果に基づいて、識別用画像における水際線の位置ｐを識別する。例えば、識別部１３Ｂは、入力された識別用画像のうち、水際の識別強度が最も高い画像位置を水際線の位置ｐとする。
学習用画像抽出部１６Ｂは、監視カメラ１によって撮影された撮影画像から学習用画像を抽出する。例えば、学習用画像抽出部１６Ｂは、撮影画像から、６４×１２８ピクセルの画像領域を学習用画像として抽出し、教師データとして学習部１７Ｂに出力する。
さらに、学習用画像抽出部１６Ｂは、学習用画像における水際の位置を、画像上辺から１６ピクセル刻みとして、７つのカテゴリ（１６、３２、４８、６４、８０、９６、１１２）で与えたものを、教師データとして学習部１７Ｂに出力する。
例えば、ある学習用画像では、画像上辺から６４ピクセルの位置の付近に水際が写っており、別の学習用画像では、画像上辺から１１２ピクセルの位置の付近に水際が写っているといった具合である。
学習部１７Ｂは、学習用画像抽出部１６Ｂによって得られた上記教師データを用いて、水際の識別に係る機械学習を実行する。例えば、学習部１７Ｂは、上記学習用画像を教師データとしたＤ／Ｌを用いた機械学習を行うことで、識別部１３Ｂに入力された画像データにおける上記７つのカテゴリごとの識別強度が出力される機械学習の結果を得る。学習部１７Ｂによる機械学習の結果は、識別部１３Ｂに出力される。
識別用画像抽出部１２Ｂ、識別部１３Ｂ、水位算定部１５、学習用画像抽出部１６Ｂ、および学習部１７Ｂのそれぞれの機能は、図２Ａと同様に、専用のハードウェアである処理回路２００で実現してもよい。また、図２Ｂと同様に、プロセッサ２０１がメモリ２０２に記憶されたプログラムを読み出して実行することによりその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
これまで、識別用画像抽出部１２Ｂ、識別部１３Ｂ、水位算定部１５、学習用画像抽出部１６Ｂおよび学習部１７Ｂを備える水位計測装置１００Ｂを示したが、この構成に限定されるものではない。例えば、学習用画像抽出部１６Ｂおよび学習部１７Ｂは、水位計測装置１００Ｂとは別に設けられた外部装置が備える構成であってもよい。この場合、識別部１３Ｂは、上記外部装置で学習された機械学習の結果を用いて識別処理を行うことになる。すなわち、実施の形態３に係る水位計測装置１００Ｂは、識別用画像抽出部１２Ｂ、識別部１３Ｂ、水位算定部１５を備えていればよく、学習用画像抽出部１６Ｂおよび学習部１７Ｂがない構成であってもよい。
次に動作について説明する。
図１７は、実施の形態３に係る水際線抽出方法を示すフローチャートである。
なお、図１７に示す一連の処理が実行される前段階で、学習部１７Ｂによる水際の識別に係る機械学習が実行されているものとする。
識別用画像抽出部１２Ｂは、監視カメラ１によって撮影された撮影画像から、水際線を抽出する画像領域を指定して、識別用画像として識別部１３Ｂに出力する（ステップＳＴ１ｃ）。図１８Ａは、撮影画像３００および識別用画像４００ａを示す図である。例えば、図１８Ａに示すように、識別用画像抽出部１２Ｂは、水際線の抽出対象である、６４×１２８ピクセルの画像領域を撮影画像３００から指定し、識別用画像４００ａとして識別部１３Ｂに出力する。
識別部１３Ｂは、Ｄ／Ｌを用いた水際の識別に係る機械学習の結果に基づいて、識別用画像４００ａの識別処理を行う（ステップＳＴ２ｃ）。
例えば、識別部１３Ｂは、入力された識別用画像４００ａにおける上記７つのカテゴリの水際の識別強度のうち、最も高いカテゴリに対応する画像位置を水際線の位置ｐとして識別する。
水位算定部１５は、識別部１３Ｂにより算出された水際線の位置ｐに基づいて、監視カメラ１の撮影範囲における水位を算定する。例えば、実施の形態１と同様に、上記指定領域の２次元画像面における上下方向の画素列の画素の位置ごとに河川の水位値を対応付けた対応データを水位算定部１５に設定しておく。水位算定部１５は、水際線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
なお、識別用画像４００ａを、１６ピクセル刻みのカテゴリごとに識別する場合を示したが、これは、あくまでも例であり、刻み間隔は１６ピクセル以外であってもよい。
図１９は、水際線の位置を教師データのラベルとした学習用画像３０９ａ〜３０９ｅを示す図である。学習用画像抽出部１６Ｂは、監視カメラ１によって撮影された撮影画像から学習用画像３０９ａ〜３０９ｅを抽出する。このとき、学習用画像抽出部１６Ｂは、学習用画像３０９ａ〜３０９ｅのそれぞれの水際線の位置を、教師データのラベルとしてもよい。
学習部１７Ｂは、水際線の位置を教師データのラベルとしてＤ／Ｌを用いた水際の識別に係る機械学習を行う。例えば、学習用画像３０９ａにおける橋脚と河川の水との水際線にラベル“２”が設定されている場合、学習部１７Ｂは、橋脚と河川の水との水際線が写った画像についてラベル“２”が出力される機械学習の結果を得る。
識別部１３Ｂは、識別用画像４００ａを入力すると、識別用画像４００ａにおける水際線の位置のラベルを出力する。
例えば、識別用画像４００ａに橋脚と河川の水との水際線が写っている場合、識別部１３Ｂは、前述したようにラベル“２”を出力し、さらに、識別用画像４００ａにおける橋脚と河川の水との水際線の位置ｐを算出する。このようにしても識別用画像から水際線の位置を正確に識別することができる。
以上のように、実施の形態３に係る水位計測装置１００Ｂにおいて、学習用画像抽出部１６Ｂは、監視カメラ１によって撮影された撮影画像３００から水領域に対応する画像と水際に対応する画像と非水領域に対応する画像とを抽出する。学習部１７Ｂは、学習用画像抽出部１６Ｂによって抽出された画像を用いて水際の識別に係る機械学習を実行する。識別用画像抽出部１２Ｂは、撮影画像３００から識別用画像４００ａを抽出する。識別部１３Ｂは、学習部１７Ｂによる水際の識別に係る機械学習の結果に基づいて、識別用画像４００ａにおける水際線の位置ｐを識別する。水位算定部１５は、識別部１３Ｂによって識別された水際線の位置ｐに基づいて監視カメラ１の撮影範囲における水位を算定する。このように構成しても精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
実施の形態３に係る水位計測装置１００Ｂにおいて、学習部１７Ｂは、学習用画像抽出部１６Ｂによって抽出された学習用画像における水際線の位置を、教師データのラベルとして水際の識別に係る機械学習を実行する。これにより、識別用画像から水際線の位置を正確に識別することができる。
実施の形態４．
図２０は、この発明の実施の形態４に係る水位計測装置１００Ｃの構成を示すブロック図である。図２０において、図１と同一構成要素には同一符号を付して説明を省略する。水位計測装置１００Ｃは、レーザ付きカメラ２によって撮影された画像および３次元計測データを用いて、河川の水位を計測する装置である。また、水位計測装置１００Ｃは、画素選択部１１、識別用画像抽出部１２、識別部１３、水際線抽出部１４Ｃ、水位算定部１５Ｃ、学習用画像抽出部１６Ｃおよび学習部１７Ｃを備える。
レーザ付きカメラ２は、水位計測の対象である河川などの周辺に配置されて、水位計測の対象を撮影する。また、レーザ付きカメラ２は、測距レーザを有しており、撮影範囲の３次元のレーザスキャンによって撮影範囲における画素ごとの３次元情報を計測することができる。例えば、レーザ計測点における世界座標（緯度、経度、標高）が得られる。
レーザ付きカメラ２は、撮影画像を示す画像データおよび３次元計測データを水位計測装置１００Ｃに出力する。
水際線抽出部１４Ｃは、識別部１３によって算出された識別強度に基づいて、撮影画像における水際線を抽出する。さらに、水際線抽出部１４Ｃは、水際線の位置に対応する、３次元計測データを検索して、水際線に３次元情報（例えば、緯度、経度、標高）を対応付ける。
水位算定部１５Ｃは、水際線抽出部１４Ｃによって抽出された水際線の位置およびこれに対応する３次元情報に基づいて、監視カメラ１の撮影範囲における水位を算定する。
例えば、水位算定部１５Ｃは、水際線の位置に対応する３次元情報から標高を特定し、標高と河川の水位との対応データから、特定した標高に対応する水位を求めてもよい。
学習用画像抽出部１６Ｃは、監視カメラ１によって撮影された撮影画像から学習用画像を抽出して学習部１７Ｃに出力する。さらに、学習用画像抽出部１６Ｃは、学習用画像に対応する領域の３次元計測データをレーザ付きカメラ２から入力して学習部１７Ｃに出力する。
学習部１７Ｃは、学習用画像抽出部１６Ｃによって抽出された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。例えば、学習部１７Ｃは、学習用画像を教師データとして、識別部１３に入力された画像データに対応する３次元計測データが出力される機械学習を行ってもよい。学習部１７Ｃによる機械学習の結果は、識別部１３に出力される。
なお、実施の形態４では、レーザ付きカメラ２を実施の形態１で示した構成に適用した場合を示したが、実施の形態２および実施の形態３のそれぞれに示した構成に適用してもよい。
以上のように、実施の形態４に係る水位計測装置１００Ｃにおいて、水位算定部１５Ｂは、レーザ付きカメラ２による３次元計測データに基づいて、レーザ付きカメラ２の撮影範囲における水位を算定する。このように構成することでも、精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
１ 監視カメラ、２ レーザ付きカメラ、１１ 画素選択部、１２，１２Ａ，１２Ｂ 識別用画像抽出部、１３，１３Ａ，１３Ｂ 識別部、１４，１４Ａ，１４Ｃ 水際線抽出部、１５，１５Ｂ，１５Ｃ 水位算定部、１６，１６Ａ〜１６Ｃ 学習用画像抽出部、１７，１７Ａ〜１７Ｃ 学習部、１００，１００Ａ〜１００Ｃ 水位計測装置、２００ 処理回路、２０１ プロセッサ、２０２ メモリ、３００ 撮影画像、３０１，３０１ａ，３０１ｂ 指定領域、３０２，３０２ａ，３０２ｂ 着目画素、３０３，３０３ａ，３０３ｂ，３０４，３０４ａ，３０４ｂ，３０５ａ〜３０５ｆ，４００ａ，４０１〜４０３ 識別用画像、３０６〜３０８，３０９ａ〜３０９ｅ 学習用画像、４００ 指定領域。

Claims (9)

  1. 監視カメラによって撮影された撮影画像から指定した画像領域から着目画素を選択する画素選択部と、
    前記画素選択部によって選択された前記着目画素に接する複数の画像領域を識別用画像として抽出する識別用画像抽出部と、
    水領域と非水領域との識別に係る機械学習の結果に基づいて、前記複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す識別強度を算出する識別部と、
    前記識別部によって算出された前記識別強度に基づいて、前記撮影画像における水際線を抽出する水際線抽出部と、
    前記水際線抽出部によって抽出された水際線に基づいて、前記監視カメラの撮影範囲における水位を算定する水位算定部と
    を備えたことを特徴とする水位計測装置。
  2. 前記撮影画像から学習用画像を抽出する学習用画像抽出部と、
    前記学習用画像抽出部によって抽出された前記学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部と
    を備えたことを特徴とする請求項１記載の水位計測装置。
  3. 監視カメラによって撮影された撮影画像から指定した画像領域から、複数の識別用画像を抽出する識別用画像抽出部と、
    水領域と水際と非水領域との識別に係る機械学習の結果に基づいて、前記複数の識別用画像のそれぞれに対応する領域が水際である度合いを示す識別強度を算出する識別部と、
    前記識別部によって算出された前記識別強度に基づいて、前記撮影画像における水際線の位置を算出する水際線抽出部と、
    前記水際線抽出部によって算出された水際線の位置に基づいて、前記監視カメラの撮影範囲における水位を算定する水位算定部と
    を備えたことを特徴とする水位計測装置。
  4. 前記撮影画像から学習用画像を抽出する学習用画像抽出部と、
    前記学習用画像抽出部によって抽出された前記学習用画像を用いて、水領域と水際と非水領域との識別に係る機械学習を実行する学習部と
    を備えたことを特徴とする請求項３記載の水位計測装置。
  5. 監視カメラによって撮影された撮影画像から、識別用画像を抽出する識別用画像抽出部と、
    水領域と水際と非水領域との識別に係る機械学習の結果に基づいて、前記識別用画像における水際線の位置を識別する識別部と、
    前記識別部によって識別された水際線の位置に基づいて、前記監視カメラの撮影範囲における水位を算定する水位算定部と
    を備えたことを特徴とする水位計測装置。
  6. 前記撮影画像から学習用画像を抽出する学習用画像抽出部と、
    前記学習用画像抽出部によって抽出された前記学習用画像を用いて、水際の識別に係る機械学習を実行する学習部と
    を備えたことを特徴とする請求項５記載の水位計測装置。
  7. 前記学習部は、前記学習用画像抽出部によって抽出された前記学習用画像における水際線の位置を教師データのラベルとして水際の識別に係る機械学習を実行すること
    を特徴とする請求項６記載の水位計測装置。
  8. 前記監視カメラは、撮影範囲の３次元計測機能を有したカメラであり、
    前記水位算定部は、前記監視カメラによる３次元計測データに基づいて、前記監視カメラの撮影範囲における水位を算定すること
    を特徴とする請求項１から請求項７のうちのいずれか１項記載の水位計測装置。
  9. 画素選択部が、監視カメラによって撮影された撮影画像から指定した画像領域から着目画素を選択するステップと、
    識別用画像抽出部が、前記画素選択部によって選択された前記着目画素に接する複数の画像領域を識別用画像として抽出するステップと、
    識別部が、水領域と非水領域との識別に係る機械学習の結果に基づいて、前記複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す識別強度を算出するステップと、
    水際線抽出部が、前記識別部によって算出された前記識別強度に基づいて、前記撮影画像における水際線を抽出するステップと
    を備えたことを特徴とする水際線抽出方法。
JP2017165718A 2017-08-30 2017-08-30 水位計測装置および水際線抽出方法 Active JP6729971B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017165718A JP6729971B2 (ja) 2017-08-30 2017-08-30 水位計測装置および水際線抽出方法
PCT/JP2018/017766 WO2019044040A1 (ja) 2017-08-30 2018-05-08 水位計測装置および水際線抽出方法
US16/634,847 US11282226B2 (en) 2017-08-30 2018-05-08 Water level measurement device and shoreline extraction method
EP18852242.9A EP3677881A4 (en) 2017-08-30 2018-05-08 WATER LEVEL MEASURING DEVICE AND COASTAL EXTRACTION PROCESS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017165718A JP6729971B2 (ja) 2017-08-30 2017-08-30 水位計測装置および水際線抽出方法

Publications (2)

Publication Number Publication Date
JP2019045191A true JP2019045191A (ja) 2019-03-22
JP6729971B2 JP6729971B2 (ja) 2020-07-29

Family

ID=65526454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017165718A Active JP6729971B2 (ja) 2017-08-30 2017-08-30 水位計測装置および水際線抽出方法

Country Status (4)

Country Link
US (1) US11282226B2 (ja)
EP (1) EP3677881A4 (ja)
JP (1) JP6729971B2 (ja)
WO (1) WO2019044040A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909640A (zh) * 2019-11-11 2020-03-24 浙江大华技术股份有限公司 水位线的确定方法及装置、存储介质、电子装置
JP2021125163A (ja) * 2020-02-10 2021-08-30 三菱電機株式会社 河川はん濫および被害予測装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7074182B2 (ja) * 2018-03-14 2022-05-24 日本電気株式会社 領域判定装置、監視システム、領域判定方法、及び、コンピュータプログラム
JP6672502B1 (ja) * 2019-03-27 2020-03-25 ヤマト科学株式会社 反応容器の液面制御装置
CN110849444A (zh) * 2019-11-20 2020-02-28 武汉世纪水元科技股份有限公司 一种基于机器视觉的视频水位测量方法
CN113819973A (zh) * 2020-12-02 2021-12-21 湖北亿立能科技股份有限公司 基于雨量计、水位计和图像传感器的灵活水位监测系统
CN113205016B (zh) * 2021-04-21 2022-05-17 武汉大学 恒等残差型Unet与遥感水体指数的河湖岸线变化检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012514751A (ja) * 2009-01-06 2012-06-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 画像化を使用して容器内の液体レベルを測定するための方法および装置
WO2016071281A1 (en) * 2014-11-07 2016-05-12 Photrack Ag Method and system for determining the velocity of a moving fluid surface
JP2016090279A (ja) * 2014-10-30 2016-05-23 三菱電機株式会社 水位計測装置
JP6125137B1 (ja) * 2016-11-17 2017-05-10 三菱電機株式会社 水位計測装置及び水位計測方法
JP2017146268A (ja) * 2016-02-19 2017-08-24 三菱電機株式会社 水位計測装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3701167B2 (ja) 2000-03-30 2005-09-28 日本無線株式会社 水位計測方法および装置
JP4910139B2 (ja) 2006-02-24 2012-04-04 国立大学法人長岡技術科学大学 流水領域検出システム、流水領域検出方法、及びプログラム
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images
WO2012037528A2 (en) * 2010-09-16 2012-03-22 California Institute Of Technology Systems and methods for automated water detection using visible sensors
KR101060031B1 (ko) * 2011-02-09 2011-08-29 (주)유디피 수위 감시 장치 및 방법
CN109738621B (zh) 2012-05-14 2021-05-11 高斯外科公司 用于估计液体罐中的血液成分的量的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012514751A (ja) * 2009-01-06 2012-06-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 画像化を使用して容器内の液体レベルを測定するための方法および装置
JP2016090279A (ja) * 2014-10-30 2016-05-23 三菱電機株式会社 水位計測装置
WO2016071281A1 (en) * 2014-11-07 2016-05-12 Photrack Ag Method and system for determining the velocity of a moving fluid surface
JP2017146268A (ja) * 2016-02-19 2017-08-24 三菱電機株式会社 水位計測装置
JP6125137B1 (ja) * 2016-11-17 2017-05-10 三菱電機株式会社 水位計測装置及び水位計測方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909640A (zh) * 2019-11-11 2020-03-24 浙江大华技术股份有限公司 水位线的确定方法及装置、存储介质、电子装置
JP2021125163A (ja) * 2020-02-10 2021-08-30 三菱電機株式会社 河川はん濫および被害予測装置
JP7233391B2 (ja) 2020-02-10 2023-03-06 三菱電機株式会社 河川はん濫および被害予測装置

Also Published As

Publication number Publication date
EP3677881A4 (en) 2020-08-19
US11282226B2 (en) 2022-03-22
WO2019044040A1 (ja) 2019-03-07
JP6729971B2 (ja) 2020-07-29
US20200202556A1 (en) 2020-06-25
EP3677881A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
JP6729971B2 (ja) 水位計測装置および水際線抽出方法
EP3516625B1 (en) A device and method for obtaining distance information from views
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
JP2020505863A (ja) イメージセンサ、撮像方法および電子装置
CN104052919B (zh) 摄像装置、摄像系统及信号处理装置
US11960073B2 (en) System and method for template-based image analysis
CN106920245B (zh) 一种边界检测的方法及装置
JP2021508135A (ja) 検査結論を決定するための取り込まれた画像の解析
CN108986152A (zh) 一种基于差分图像的异物检测方法及装置
CN106062824A (zh) 边缘检测装置、边缘检测方法和程序
US20220215576A1 (en) Information processing device, information processing method, and computer program product
El Bouazzaoui et al. Enhancing rgb-d slam performances considering sensor specifications for indoor localization
JP2020095668A (ja) 道路画像再構成及び車両測位のための方法及びシステム
JP2018169341A (ja) 油膜検出システム及び油膜検出方法
JP5099120B2 (ja) テンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラム
JP2005293334A (ja) テンプレートマッチング装置
CN111247559B (zh) 用于处理图像和确定对象的视点的方法和系统
Ranyal et al. Enhancing pavement health assessment: An attention-based approach for accurate crack detection, measurement, and mapping
JP5076567B2 (ja) テンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラム
EP3855393A1 (en) A method for detecting moving objects
JPWO2018180206A1 (ja) 細胞画像評価装置および方法並びにプログラム
JP2017162055A (ja) 画像評価装置及び画像評価プログラム
CN113537001B (zh) 一种基于视觉目标跟踪的车辆驾驶自主决策方法及装置
Andrade et al. A robust methodology for outdoor optical mark recognition
US20230394786A1 (en) Automated data annotation for computer vision applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6729971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250