JP2019078555A - 水面判定プログラム、水面判定方法、及び水面判定装置 - Google Patents

Abstract

【課題】水面の領域を精度よく特定する。【解決手段】水面判定装置１４は、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、水面判定装置１４は、映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。また、水面判定装置１４は、第１のエッジ画像の各画素のエッジ強度と第２のエッジ画像の各画素のエッジ強度との差分に応じて、水面が映る領域を判定する。【選択図】図１

Description

開示の技術は、水面判定プログラム、水面判定方法、及び水面判定装置に関する。

河川等を被写体とする映像信号のみから流水領域を検出する流水領域検出システムが知られている。この流水領域検出システムは、まず、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を複数フレームにわたって加算する。これにより、動いている流水部がぼやけた、あるいは滑らかとなった画像が得られる。つまり、流水領域のエッジ成分（高周波成分）が抑圧される。そして、流水領域検出システムは、加算された映像のエッジ成分を強調させる。そして、流水領域検出システムは、生成された映像における各画素をエッジ画素か否かに分類し、得られる二値画像をもとに流水領域及び非流水領域を判別する。具体的には、エッジ成分を多く含む領域を非流水領域に対応する陸部、それ以外を流水領域に対応する流水部と判別する。これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから流水領域を検出できる。

特開２００７‐２５６２５４号公報

しかし、河川等の映像に含まれるフレーム画像を複数フレームにわたって加算したとしても、例えば、流水領域とは異なる非流水領域に平坦な領域が含まれている場合には、流水領域が誤検出されてしまう場合がある。例えば、陸部に凹凸のない滑らかな堤防が存在する場合には、堤防の領域ではエッジ成分が強調されないため、堤防が流水領域として検出されてしまう場合がある。

一つの側面では、開示の技術は、水面の領域を精度よく特定することが目的である。

開示の技術は、一つの実施態様では、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。また、前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する。

開示の技術は、一つの実施態様では、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分を取得する。そして、平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する。

一つの側面として、水面の領域を精度よく特定することができる、という効果を有する。

第１の実施形態に係る水面判定システムの概略ブロック図である。 川が映る映像の一例を示す図である。 画像記憶部に格納されるテーブルの一例を示す図である。 平均画像と特定のフレーム画像との関係を説明するための説明図である。 エッジ画像と水面の領域を表す喫水線とを説明するための説明図である。 喫水線の候補の特定を説明するための説明図である。 差分ヒストグラムを説明するための説明図である。 喫水線の判定を説明するための説明図である。 第１の実施形態に係る水面判定装置として機能するコンピュータの概略構成を示すブロック図である。 第１の実施形態の水面判定処理ルーチンの一例を示すフローチャートである。 第２の実施形態に係る水面判定システムの概略ブロック図である。 第２の実施形態に係る水面判定装置として機能するコンピュータの概略構成を示すブロック図である。 第２の実施形態の水面判定処理ルーチンの一例を示すフローチャートである。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

＜第１の実施形態＞

図１に示すように、第１の実施形態に係る水面判定システム１０は、カメラ１２と、水面判定装置１４と、出力装置３０とを備えている。

カメラ１２は、水面を表す映像として、川の映像を撮像する。本実施形態では、例えば、図２に示されるように、川の映像のフレーム画像Ｉの垂直方向の下方には、川の水面Ｗが映っている。また、本実施形態の川の映像には、川の水面Ｗとは異なる領域（例えば、堤防部Ｔの領域、草むらＧの領域、及び建物Ｂの領域）が映っているものとする。

水面判定装置１４は、図１に示されるように、画像記憶部１６と、平均画像取得部１８と、明度変換部２０と、エッジ取得部２２と、ヒストグラム取得部２３と、喫水線候補取得部２４と、差分取得部２５と、スコア取得部２６と、水面判定部２８とを備えている。

画像記憶部１６には、カメラ１２によって撮像された映像のうちの複数のフレーム画像が格納される。複数のフレーム画像は、例えば、図３に示されるように、テーブルの形式で格納される。図３に示すテーブルには、識別情報を表す番号と、時刻と、時刻に対応するフレーム画像とが対応付けられて格納される。図３に示されるテーブルでは、例えば、番号１に対応するデータとして、時刻ｔ１に取得されたフレーム画像Ｉ１が格納される。

平均画像取得部１８は、画像記憶部１６に格納された所定の時間区間の複数のフレーム画像を取得する。そして、平均画像取得部１８は、所定の時間区間の複数のフレーム画像を平均し、平均画像を取得する。例えば、平均画像取得部１８は、数十〜数百のフレーム画像の各々において対応する画素の画素値を加算平均した平均画像を取得する。また、映像内のフレーム画像は、例えば、１秒当たり３０フレームである。

明度変換部２０は、平均画像取得部１８によって取得された平均画像を明度変換し、平均画像に対応する明度画像を示す平均明度画像を取得する。また、明度変換部２０は、平均画像取得部１８によって平均画像を取得する際に用いられた特定のフレーム画像を明度変換し、特定のフレーム画像に対応する明度画像を示す特定明度画像を取得する。明度画像はグレースケール画像であり、既存の手法によって取得することができる。

例えば、平均画像取得部１８は、平均画像を取得する際に、図４に示される複数のフレーム画像Ｉ’_ａを平均し平均画像を取得する。また、本実施形態において、平均画像を取得する際に用いられる特定のフレーム画像とは、例えば、図４に示されるように、平均画像の取得に用いられた複数のフレーム画像Ｉ’_ａのうちのいずれかのフレーム画像Ｉｔをいう。なお、特定のフレーム画像Ｉ_ｔは、複数のフレーム画像Ｉ’_ａのいずれかのフレーム画像である場合に限定されない。複数のフレーム画像Ｉ’_ａ及び特定のフレーム画像Ｉ_ｔのそれぞれが、水面の水位が変わらない程度の時間区間から取得されたものであればよい。例えば、複数のフレーム画像Ｉ’_ａの直前又は直後のフレーム画像を特定のフレーム画像Ｉ_ｔとして取得してもよい。

エッジ取得部２２は、明度変換部２０によって取得された平均明度画像に基づいて、平均明度画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、エッジ取得部２２は、明度変換部２０によって取得された特定明度画像に基づいて、特定明度画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。エッジ取得部２２は、例えば、明度画像に対し空間フィルタを適用して、エッジ画像を取得する。なお、本実施形態におけるエッジ強度とは、画像内に含まれるエッジの度合いを表し、縦のエッジ強度とは画像内における縦方向のエッジの度合いを表し、横のエッジ強度とは画像内における横方向のエッジの度合いを表す。また、本実施形態のエッジ強度には、画像内のエッジが２値化された場合の値（例えば、１又は０の値）も含むものとする。

図５に、エッジ画像と水面の領域を表す喫水線とを説明するための説明図を示す。図５には、水面の領域Ｗと堤防Ｔと草むらＧと川の奥に映る建物Ｂとが映る平均画像Ｉ_ａが示されている。エッジ取得部２２によって、この平均画像Ｉ_ａに対するエッジ画像Ｉ_Ｅが得られたとする。なお、図５に示されるエッジ画像Ｉ_Ｅは、平均画像Ｉ_ａから抽出されるエッジを２値化することによって得られる画像である。エッジ画像Ｉ_Ｅ内の白画素は、エッジの度合いが所定の閾値以上である画素を表す。ここで、画像Ｉ_Ｅの垂直方向の各位置に対する水平方向の白画素の頻度を表すヒストグラムＨに基づき、水面の境界を表す喫水線の位置を判定する場合を考える。この場合には、例えば、白画素の頻度が低い領域、すなわちエッジ強度の低い領域が水面であると判定することが考えられる。しかし、図５に示される平均画像Ｉ_ａに映る堤防Ｔの領域は平坦であるためエッジ強度は低い。このため、検出結果Ｒに示されるように、堤防Ｔの上端ｔｕが喫水線として検出されてしまう。

平均画像では、各時刻のフレーム画像が平均化されるため、水面の領域に波が存在する場合であっても水面が映る領域においてエッジ強度は小さくなる。一方、各時刻のフレーム画像の各々では、水面の領域において波が存在するため、エッジ強度は大きい。

そこで、本実施形態では、平均画像から得られるエッジ強度と特定のフレーム画像から得られるエッジ強度との差分に基づいて、水面が映る領域を判定する。具体的には、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分が大きい領域を、水面が映る領域であると判定する。これにより、水面が映る領域を精度よく特定することができる。以下、具体的に説明する。

ヒストグラム取得部２３は、エッジ取得部２２によって得られる第１のエッジ画像に基づいて、第１のエッジ画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素のエッジ強度の総和を表すエッジ強度ヒストグラムを生成する。また、ヒストグラム取得部２３は、エッジ取得部２２によって得られる第２のエッジ画像に基づいて、第２のエッジ画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素のエッジ強度の総和を表すエッジ強度ヒストグラムを生成する。

具体的には、図６に示されるように、エッジ画像Ｉ_Ｅの垂直方向をｙ方向とし水平方向をｘ方向とする。そして、ヒストグラム取得部２３は、エッジ画像Ｉ_Ｅのｙ方向のｙ座標を横軸とし、エッジ画像Ｉ_Ｅのｙ座標における全てのｘ座標のエッジ強度の総和を縦軸とするエッジ強度ヒストグラムＨ_Ｅを生成する。具体的には、エッジ画像の各ｙ座標について、そのｙ座標においてエッジ画像をｘ軸方向に走査してエッジ強度が計数される。

なお、図６に示される例では、川の映像内における堤防の上端ｔｕの位置が予め設定され、フレーム画像における堤防の上端ｔｕよりも上側の領域については、エッジ強度ヒストグラムＨ_Ｅの各値を生成しないように設定した場合の例である。そのため、エッジ強度ヒストグラムＨ_Ｅの堤防の上端ｔｕより左側の値は０となっている。また、図６に示されるエッジ画像は、平均画像から縦のエッジのエッジ強度と横のエッジのエッジ強度との両方を表すエッジ画像である。

喫水線候補取得部２４は、ヒストグラム取得部２３によって取得された第１のエッジ画像のエッジ強度ヒストグラムのうちのピークのｙ座標を求める。例えば、喫水線候補取得部２４は、第１のエッジ画像から得られるエッジ強度ヒストグラムの値が予め設定された閾値以上であって、かつ前後の値との間の差分が所定値以上である箇所をピークとして検出する。そして、喫水線候補取得部２４は、求められたピークのｙ座標を通るｘ軸に並行な線分を喫水線候補として設定する。

例えば、図６に示されるように、エッジ強度ヒストグラムＨ_Ｅの各ピークＰ１，Ｐ２，Ｐ３に対応するｙ座標ｙ１，ｙ２，ｙ３に対して、フレーム画像Ｉ内の喫水線候補ｙ１，ｙ２，ｙ３が設定される。

差分取得部２５は、ヒストグラム取得部２３によって取得された第１のエッジ画像のエッジ強度ヒストグラムと第２のエッジ画像のエッジ強度ヒストグラムとに基づいて、第１のエッジ画像と第２のエッジ画像との差分を表す差分ヒストグラムを取得する。本実施形態で用いる差分ヒストグラムは、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分を表すヒストグラムである。また、差分ヒストグラムは、フレーム画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素の差分の総和を表すヒストグラムである。

まず、差分取得部２５は、図７に示されるように、第１のエッジ画像Ｅ_ａのエッジ強度ヒストグラムＨ_ａ（ｙ）を算出する。次に、差分取得部２５は、第２のエッジ画像Ｅ_ｆのエッジ強度ヒストグラムＨ_ｆ（ｙ）を算出する。なお、図７に示される第１のエッジ画像Ｅ_ａ及び第２のエッジ画像Ｅ_ｆは、縦のエッジが抽出されたエッジ画像である。また、図７に示されるように、第２のエッジ画像Ｅ_ｆと第１のエッジ画像Ｅ_ａとの間の差分を表すエッジ画像Ｅ_ｄは、水面の領域でエッジ強度の差分が大きいことがわかる。

そして、差分取得部２５は、エッジ強度ヒストグラムＨ_ａ（ｙ）とエッジ強度ヒストグラムＨ_ｆ（ｙ）との差分を表す差分ヒストグラムＨ_ｄ（ｙ）を算出する。図７に示されるように、差分ヒストグラムＨ_ｄ（ｙ）において、水面が映る領域は差分が大きくなり、水面が映る領域以外は差分が小さいことがわかる。

また、差分取得部２５は、以下の式（１）に従って、差分ヒストグラムＨ_ｄ（ｙ）を正規化し、正規化された差分ヒストグラムを表す正規化差分ヒストグラムＨ_ｎ（ｙ）を取得する。式（１）に従った正規化処理では、エッジ強度ヒストグラムＨ_ａ（ｙ）を用いて正規化が行われる。このため、例えば、差分ヒストグラムＨ_ｄ（ｙ）における差分の値が同じ値であっても、平均画像から得られたエッジ強度ヒストグラムＨ_ａ（ｙ）の値が大きいほど、差分の値が小さくなる。

Ｈ_ｎ（ｙ）＝Ｈ_ｄ（ｙ）／（Ｈ_ａ（ｙ）＋１） （１）

スコア取得部２６は、差分取得部２５によって得られた正規化差分ヒストグラムのピークに対応する垂直方向の位置を水面の喫水線の候補として設定する。また、スコア取得部２６は、図７に示されるように、水面の喫水線の候補毎に、ピークにおける正規化差分ヒストグラムの傾きに応じたスコアを算出する。

具体的には、スコア取得部２６は、喫水線候補取得部２４によって設定された各喫水線候補に対応するｙ座標において、そのｙ座標における正規化差分ヒストグラムＨ_ｎ（ｙ）の値の微分値を算出する。喫水線候補の各ｙ座標をｙ_ｉ（ｉ＝１，...，Ｎ）とした場合、スコア取得部２６は、以下の式（２）に従って、各喫水線候補ｉについての微分値Ｆ_ｉを計算する。なお、Ｎは喫水線候補の数を表す。なお、本実施形態では、川がフレーム画像の手前に映っていることを仮定するため、微分値Ｆ_ｉ＜０の場合にはＦ_ｉ＝０とする。

Ｆ_ｉ＝ｄＨ_ｎ（ｙ_ｉ）／ｄｙ （２）

次に、スコア取得部２６は、各喫水線候補の各々について算出された微分値の各々に基づいて、喫水線候補取得部２４によって設定された各喫水線候補ｉのスコアＳ_ｉを算出する。喫水線候補ｉ(ｉ＝１，…，Ｎ）のスコアＳ_ｉは、例えば、以下の式（３）によって表される。

（３）

水面判定部２８は、スコア取得部２６によって算出された、各喫水線候補のスコアの各々に基づいて、スコアが最も大きい喫水線候補を、水面の喫水線であると判定する。例えば、水面判定部２８は、図８に示されるように、喫水線の候補Ｆ１のスコアＳ_１と喫水線の候補Ｆ２のスコアＳ_２とが算出された場合、この２つを大きい順に順位付けする。そして、水面判定部２８は、１位である喫水線の候補Ｆ２を喫水線であると判定し、対応するｙ座標に応じて画像上の喫水線を特定する。

出力装置３０には、水面判定部２８によって判定された喫水線が重畳された画像が出力される。出力装置３０は、例えば、ディスプレイ等によって実現される。

水面判定装置１４は、例えば、図９に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、カメラ１２、出力装置３０等の入出力装置が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を水面判定装置１４として機能させるための水面判定プログラム６０が記憶されている。水面判定プログラム６０は、平均画像取得プロセス６１と、明度変換プロセス６２と、エッジ取得プロセス６３と、ヒストグラム取得プロセス６４と、喫水線候補取得プロセス６５と、差分取得プロセス６６とを有する。また、水面判定プログラム６０は、スコア取得プロセス６７と、水面判定プロセス６８とを有する。画像記憶領域６９には、画像記憶部１６を構成する情報が記憶される。

ＣＰＵ５１は、水面判定プログラム６０を記憶部５３から読み出してメモリ５２に展開し、水面判定プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、平均画像取得プロセス６１を実行することで、図１に示す平均画像取得部１８として動作する。また、ＣＰＵ５１は、明度変換プロセス６２を実行することで、図１に示す明度変換部２０として動作する。また、ＣＰＵ５１は、エッジ取得プロセス６３を実行することで、図１に示すエッジ取得部２２として動作する。また、ＣＰＵ５１は、ヒストグラム取得プロセス６４を実行することで、図１に示すヒストグラム取得部２３として動作する。また、ＣＰＵ５１は、喫水線候補取得プロセス６５を実行することで、図１に示す喫水線候補取得部２４として動作する。また、ＣＰＵ５１は、差分取得プロセス６６を実行することで、図１に示す差分取得部２５として動作する。また、ＣＰＵ５１は、スコア取得プロセス６７を実行することで、図１に示すスコア取得部２６として動作する。また、ＣＰＵ５１は、水面判定プロセス６８を実行することで、図１に示す水面判定部２８として動作する。また、ＣＰＵ５１は、画像記憶領域６９から情報を読み出して、画像記憶部１６をメモリ５２に展開する。これにより、水面判定プログラム６０を実行したコンピュータ５０が、水面判定装置１４として機能することになる。ソフトウェアである水面判定プログラム６０を実行するＣＰＵ５１はハードウェアである。

なお、水面判定プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

次に、第１の実施形態に係る水面判定装置１４の作用について説明する。水面判定装置１４は、川の映像の各フレーム画像が画像記憶部１６に格納され始めると、図１０に示す水面判定処理ルーチンを実行する。

ステップＳ１００において、平均画像取得部１８は、画像記憶部１６に格納された所定の時間区間の複数のフレーム画像を取得する。

ステップＳ１０２において、平均画像取得部１８は、上記ステップＳ１００で取得された複数のフレーム画像を平均し、平均画像を取得する。

ステップＳ１０４において、明度変換部２０は、上記ステップＳ１０２で取得された平均画像を明度変換し、平均画像に対応する明度画像を示す平均明度画像を取得する。また、明度変換部２０は、上記ステップＳ１０２で平均画像を取得する際に用いられた特定のフレーム画像を明度変換し、特定のフレーム画像に対応する明度画像を示す特定明度画像を取得する。

ステップＳ１０６において、エッジ取得部２２は、上記ステップＳ１０４で取得された平均明度画像に対し空間フィルタを適用して、平均明度画像のエッジ強度を表す第１のエッジ画像を取得する。また、エッジ取得部２２は、上記ステップＳ１０４で取得された特定明度画像に対し空間フィルタを適用して、特定明度画像のエッジ強度を表す第２のエッジ画像を取得する。

ステップＳ１０８において、ヒストグラム取得部２３は、上記ステップＳ１０６で取得された第１のエッジ画像に基づいて、第１のエッジ画像のエッジ強度ヒストグラムを生成する。また、ヒストグラム取得部２３は、上記ステップＳ１０６で取得された第２のエッジ画像に基づいて、第２のエッジ画像のエッジ強度ヒストグラムを生成する。

ステップＳ１１０において、喫水線候補取得部２４は、上記ステップＳ１０８で取得された第１のエッジ画像のエッジ強度ヒストグラムのうちのピークのｙ座標を求め、求められたピークのｙ座標を通るｘ軸に並行な線分を喫水線候補として設定する。

ステップＳ１１２において、差分取得部２５は、上記ステップＳ１０８で取得された、第１のエッジ画像のエッジ強度ヒストグラムと第２のエッジ画像のエッジ強度ヒストグラムとに基づいて、差分ヒストグラムを取得する。そして、差分取得部２５は、上記式（１）に従って、差分ヒストグラムを正規化し、正規化差分ヒストグラムを取得する。

ステップＳ１１４において、スコア取得部２６は、水面の喫水線の候補毎に、ピークにおける正規化差分ヒストグラムの傾きとして、上記式（２）に従って各喫水線の候補の微分値Ｆ_ｉを計算する。そして、スコア取得部２６は、喫水線の候補毎に、上記式（３）に従ってスコアＳ_ｉを算出する。

ステップＳ１１６において、水面判定部２８は、上記ステップＳ１１４で算出された、各喫水線候補のスコアの各々に基づいて、スコアが最も大きい喫水線候補を、水面の喫水線であると判定する。

以上説明したように、第１の実施形態に係る水面判定装置１４は、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、水面判定装置１４は、映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。そして、水面判定装置１４は、第１のエッジ画像の各画素のエッジ強度と第２のエッジ画像の各画素のエッジ強度との差分に応じて、水面が映る領域を判定する。これにより、水面の領域を精度よく特定することができる。

なお、川の映像に映る堤防部等は時間の経過に応じて変化するものではないため、堤防部に凹凸が存在しない場合であっても、１フレーム画像のエッジ強度と平均画像のエッジ強度との差分は小さくなる。そのため、本実施形態のように、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分が大きい領域を水面が映る領域であると判定することで、堤防部に凹凸が存在しない場合であっても水面の領域を精度よく特定することができる。

＜第２の実施形態＞

次に、第２の実施形態について説明する。第２の実施形態では、画像のエッジ強度に替えて、画像の明度を用いる点が第１の実施形態と異なる。なお、第１の実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施形態では、平均画像の各画素の明度と特定のフレーム画像の各画素の明度とに基づいて、平均画像の明度と特定のフレーム画像の明度との差分が大きい領域を、水面が映る領域であると判定する。

図１１に示すように、第２の実施形態に係る水面判定システム２１０は、カメラ１２と、水面判定装置２１４と、出力装置３０とを備えている。

水面判定装置２１４は、図１１に示されるように、画像記憶部１６と、平均画像取得部１８と、明度変換部２０と、ヒストグラム取得部２２３と、喫水線候補取得部２４と、差分取得部２５と、スコア取得部２６と、水面判定部２８とを備えている。

ヒストグラム取得部２２３は、明度変換部２０によって得られる平均明度画像に基づいて、平均明度画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素の明度の総和を表す明度強度ヒストグラムを生成する。平均明度画像の明度強度ヒストグラムは、平均明度画像の各領域の明度を表す。また、ヒストグラム取得部２２３は、明度変換部２０によって得られる特定明度画像に基づいて、特定明度画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素の明度の総和を表す明度強度ヒストグラムを生成する。特定明度画像の明度強度ヒストグラムは、特定明度画像の各領域の明度を表す。

第２の実施形態の水面判定装置１４は、例えば、図１２に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を水面判定装置２１４として機能させるための水面判定プログラム２６０が記憶されている。水面判定プログラム２６０は、平均画像取得プロセス６１と、明度変換プロセス６２と、ヒストグラム取得プロセス２６４と、喫水線候補取得プロセス６５と、差分取得プロセス６６と、スコア取得プロセス６７と、水面判定プロセス６８とを有する。画像記憶領域６９には、画像記憶部１６を構成する情報が記憶される。

ＣＰＵ５１は、水面判定プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、水面判定プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、ヒストグラム取得プロセス２６４を実行することで、図１１に示すヒストグラム取得部２２３として動作する。これにより、水面判定プログラム２６０を実行したコンピュータ５０が、水面判定装置２１４として機能することになる。ソフトウェアである水面判定プログラム２６０を実行するＣＰＵ５１はハードウェアである。

なお、水面判定プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第２の実施形態に係る水面判定装置２１４の作用について説明する。水面判定装置２１４は、川の映像の各フレーム画像が画像記憶部１６に格納され始めると、図１３に示す水面判定処理ルーチンを実行する。

ステップＳ１００〜ステップＳ１０４、及びステップＳ１１０〜ステップＳ１１６までは、上記第１の実施形態と同様に実行される。

ステップＳ２０８において、ヒストグラム取得部２２３は、ステップＳ１０４で得られる平均明度画像に基づいて、平均明度画像の明度強度ヒストグラムを生成する。また、ヒストグラム取得部２２３は、ステップＳ１０４で得られる特定明度画像に基づいて、特定明度画像の明度強度ヒストグラムを生成する。

以上説明したように、第２の実施形態に係る水面判定装置２１４は、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像を取得する。そして、平均画像の各画素の明度と映像のうちの特定のフレーム画像の各画素の明度との差分に応じて、水面が映る領域を判定する。これにより、水面の領域を精度よく特定することができる。また、エッジを抽出することなく水面の領域を特定することができるため、簡易な処理により水面の領域を特定することができる。

なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

次に、各実施形態の変形例を説明する。

上記各実施形態では、水面が映る領域の境界を表す喫水線を判定する場合を例に説明したが、これに限定されるものではない。例えば、水面が映る領域を判定してもよい。この場合には、例えば第１の実施形態では、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分を画像内の領域毎に算出する。そして、算出された差分が予め定めた閾値以上の領域を、水面が映る領域であると判定する。また、第２の実施形態では、平均画像の明度と特定のフレーム画像の明度との差分を画像の領域毎に算出する。そして、算出された差分が予め定めた閾値以上の領域を、水面が映る領域であると判定する。

また、上記第１の実施形態では、図６に示される例においては、縦のエッジと横のエッジとの両方が抽出される場合を例に説明し、図７に示される例では、縦のエッジが抽出される場合を例に説明したがこれに限定されるものではない。エッジ強度としては、どのような方向のエッジを用いてもよい。また、エッジ画像としては２値化された画像を用いるようにしてもよい。

また、上記各実施形態では、特定のフレーム画像が１フレームである場合を例に説明したがこれに限定されるものではなく、複数のフレーム画像を特定のフレーム画像として用いても良い。複数のフレーム画像を特定のフレーム画像として用いる場合には、例えば、複数のフレーム画像を平均することによって得られる画像を特定のフレーム画像として用いることができる。なお、特定のフレーム画像の数は、平均画像に用いる複数のフレーム画像よりも十分少ない数である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラム。

（付記２）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラム。

（付記３）
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成し、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出し、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定プログラム。

（付記４）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させる水面判定方法。

（付記５）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させる水面判定方法。

（付記６）
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成し、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出し、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定方法。

（付記７）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得するエッジ取得部と、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部と、
を備える水面判定装置。

（付記８）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部、
を備える水面判定装置。

（付記９）
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成する差分取得部と、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出するスコア取得部とを更に備え、
前記水面判定部は、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定装置。

（付記１０）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラムを記憶した記憶媒体。

（付記１１）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラムを記憶した記憶媒体。

１０，２１０ 水面判定システム
１２ カメラ
１４，２１４ 水面判定装置
１６ 画像記憶部
１８ 平均画像取得部
２０ 明度変換部
２２ エッジ取得部
２３，２２３ ヒストグラム取得部
２４ 喫水線候補取得部
２５ 差分取得部
２６ スコア取得部
２８ 水面判定部
３０ 出力装置
５０ コンピュータ
５１ ＣＰＵ
５３ 記憶部
５９ 記録媒体
６０，２６０ 水面判定プログラム
６１ 平均画像取得プロセス
６２ 明度変換プロセス
６３ エッジ取得プロセス
６４，２６４ ヒストグラム取得プロセス
６５ 喫水線候補取得プロセス
６６ 差分取得プロセス
６７ スコア取得プロセス
６８ 水面判定プロセス

Claims (7)

1. 水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
   前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
   前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
   処理をコンピュータに実行させるための水面判定プログラム。
2. 水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
   処理をコンピュータに実行させるための水面判定プログラム。
3. 前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
   前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成し、
   前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出し、前記スコアに基づいて、前記水面の喫水線を判定する、
   請求項１又は請求項２に記載の水面判定プログラム。
4. 水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
   前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
   前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
   処理をコンピュータに実行させる水面判定方法。
5. 水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
   処理をコンピュータに実行させる水面判定方法。
6. 水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得するエッジ取得部と、
   前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部と、
   を備える水面判定装置。
7. 水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部、
   を備える水面判定装置。