JP2023061699A - 溺れ判定システム - Google Patents

Abstract

【課題】ユーザによる映像監視の労力を著しく軽減しながら、溺れている人間又は溺れそうな人間を広範囲に亘って高い確実性で発見することが可能な溺れ判定システムを提供する。【解決手段】溺れ判定システム１は、人間が水中で溺れている際の、人間の水上への露出部分の上下方向における変化の複数のパターンを記憶した記憶部２と、撮影装置（ドローン）が水面を撮影した一連の時系列画像に映った対象人間の水上への露出部分を検出する検出部３と、記憶部２を参照して、一連の時系列画像において検出された露出部分の上下方向における変化に基づき、対象人間Ａが溺れている又は溺れそうか否かを判定する判定部４と、判定部４にが対象人間が溺れているか又は溺れそうと判定した場合に報知信号を出力する報知部５と、を備えている。【選択図】図２

Description

本発明は、ユーザによる映像監視の労力を著しく軽減しながら、溺れている人間又は溺れそうな人間を広範囲に亘って高い確実性で発見することが可能な溺れ判定システムに関する。

従来より、プールのコースロープに取り付け、コースロープに隣接する箇所を撮影するプール内撮影システムが知られている（例えば、特許文献１参照）。

特開２０１８－０６１１３９号公報

しかしながら、上記技術は、コースロープがなく、また、広い範囲の監視を行わなければならない海のような場所では、その機能を十分に発揮することができない。

そこで、本発明は、ユーザによる映像監視の労力を著しく軽減しながら、溺れている人間又は溺れそうな人間を広範囲に亘って高い確実性で発見することが可能な溺れ判定システムを提供することを目的としている。

本発明は、人間が水中で溺れている際の、前記人間の水上への露出部分の上下方向における変化の複数のパターンを記憶した記憶部と、撮影装置により水面を撮影した一連の時系列画像に映った対象人間の前記水上への露出部分を検出する検出部と、前記記憶部を参照して、前記一連の時系列画像において検出された露出部分の上下方向における変化に基づき、前記対象人間が溺れている又は溺れそうか否かを判定する判定部と、前記判定部により前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力する報知部と、を備えたことを特徴とする溺れ判定システムを提供している。

このような構成によれば、溺れに特化した特徴に基づき、溺れている人間又は溺れそうな人間を高い確実性で発見することが可能となる。また、対象人間が溺れている又は溺れそうか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部を用いることで、人間の目では発見することができないような遠方で発生した溺れも発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した溺れも発見することが可能となる。

また、本発明の別の観点によれば、人間が水中で溺れている際の、前記人間の水上への露出部分の上下方向における変化の複数のパターンが記憶されるコンピュータにインストールされるプログラムであって、撮影装置により水面を撮影した一連の時系列画像に映った対象人間の前記水上への露出部分を検出するステップと、前記コンピュータを参照して、前記一連の時系列画像において検出された露出部分の上下方向における変化に基づき、前記対象人間が溺れている又は溺れそうか否かを判定するステップと、前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力するステップと、を備えたことを特徴とする溺れ判定プログラムを提供している。

また、本発明の別の観点によれば、人間がのまれて溺れる危険性の高い波の速度又はサイズを記憶した記憶部と、撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう波と、前記波と前記海岸線の間に位置する対象人間と、を検出する検出部と、前記一連の時系列画像において検出された波が前記対象人間に到達した際の予測速度又は予測サイズを算出する算出部と、前記記憶部を参照して、前記算出された予測速度又は予測サイズに基づき、前記対象人間が波にのまれて溺れる危険性が高いか否かを判定する判定部と、前記判定部により危険性が高いと判定された場合に報知信号を出力する報知部と、を備えたことを特徴とする溺れ判定システムを提供している。

このような構成によれば、人間の目では判別が難しい「検出された波が対象人間に到達した際の予測速度及び予測サイズ」がされるので、波にのまれて溺れる危険性が高い人間を高い確実性で発見することが可能となる。また、対象人間が波にのまれて溺れる危険性が高いか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部を用いることで、人間の目では発見することができないような遠方で発生した溺れも発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した溺れも発見することが可能となる。

また、本発明の別の観点によれば、人間がのまれて溺れる危険性の高い波の速度又はサイズが記憶されるコンピュータにインストールされるプログラムであって、撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう波と、前記波と前記海岸線の間に位置する対象人間と、を検出するステップと、前記一連の時系列画像において検出された波が前記対象人間に到達した際の予測速度又は予測サイズを算出するステップと、前記コンピュータを参照して、前記算出された予測速度又は予測サイズに基づき、前記対象人間が波にのまれて溺れる危険性が高いか否かを判定するステップと、前記判定部により危険性が高いと判定された場合に報知信号を出力するステップと、を備えたことを特徴とする溺れ判定プログラムを提供している。

また、本発明の別の観点によれば、撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう一対の流れと、前記水面から露出した対象人間と、を検出する検出部と、前記検出された対象人間が前記一対の流れ間に位置し、かつ、前記一対の流れ間の距離が所定距離以内であった場合、前記対象人間が前記一対の流れ間に生じる離岸流にさらわれる危険性があると判定する判定部と、前記判定部により危険性があると判定された場合に報知信号を出力する報知部と、を備えたことを特徴とする溺れ判定システムを提供している。

このような構成によれば、人間の目では判別が難しい離岸流Ｆ２の発生を把握することができるので、離岸流にさらわれる危険性がある人間を高い確実性で発見することが可能となる。また、対象人間が離岸流にさらわれる危険性があるか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部を用いることで、人間の目では発見することができないような遠方で発生した離岸流も発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した離岸流も発見することが可能となる。

また、本発明の別の観点によれば、撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう一対の流れと、前記水面から露出した対象人間と、を検出するステップと、前記検出された対象人間が前記一対の流れ間に位置し、かつ、前記一対の流れ間の距離が所定距離以内であった場合、前記対象人間が前記一対の流れ間に生じる離岸流にさらわれる危険性があると判定するステップと、前記判定部により危険性があると判定された場合に報知信号を出力するステップと、を備えたことを特徴とする溺れ判定プログラムを提供している。

また、本発明の別の観点によれば、人間が水中で溺れている際の、前記人間の位置に対する前記人間の周囲の水面の波紋又は水泡の複数のパターンを記憶した記憶部と、撮影装置により水面を撮影した一連の時系列画像に映った対象人間の水上への露出部分と、前記露出部分の周囲の水面の波紋又は水泡と、を検出する検出部と、前記記憶部を参照して、前記一連の時系列画像において検出された露出部分の位置及び波紋又は水泡に基づき、前記対象人間が溺れている又は溺れそうか否かを判定する判定部と、前記判定部により前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力する報知部と、を備えたことを特徴とする溺れ判定システムを提供している。

このような構成によれば、人間が溺れている際に高確率で発生する人間の周囲の水面の波紋又は水泡に基づき、溺れている人間又は溺れそうな人間を高い確実性で発見することが可能となる。また、対象人間が溺れている又は溺れそうか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部を用いることで、人間の目では発見することができないような遠方で発生した溺れも発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した溺れも発見することが可能となる。

また、本発明の別の観点によれば、人間が水中で溺れている際の、前記人間の位置に対する前記人間の周囲の水面の波紋又は水泡の複数のパターンが記憶されるコンピュータにインストールされるプログラムであって、撮影装置により水面を撮影した一連の時系列画像に映った対象人間の水上への露出部分と、前記露出部分の周囲の水面の波紋又は水泡と、を検出するステップと、前記コンピュータを参照して、前記一連の時系列画像において検出された露出部分の位置及び波紋又は水泡に基づき、前記対象人間が溺れている又は溺れそうか否かを判定するステップと、前記判定部により前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力するステップと、を備えたことを特徴とする溺れ判定プログラムを提供している。

本発明の溺れ判定システムによれば、ユーザによる映像監視の労力を著しく軽減しながら、溺れている人間又は溺れそうな人間を広範囲に亘って高い確実性で発見することが可能となる。

本発明の第１の実施の形態による溺れ判定システムの使用状況の説明図 本発明の第１の実施の形態による溺れ判定システムのブロック図 本発明の第１の実施の形態による溺れ判定システムのフローチャート 本発明の第２の実施の形態による溺れ判定システムの使用状況の説明図 本発明の第２の実施の形態による溺れ判定システムのブロック図 本発明の第２の実施の形態による溺れ判定システムのフローチャート 本発明の第３の実施の形態による溺れ判定システムの使用状況の説明図 本発明の第３の実施の形態による溺れ判定システムのブロック図 本発明の第３の実施の形態による溺れ判定システムのフローチャート 本発明の第４の実施の形態による溺れ判定システムの使用状況の説明図 本発明の第４の実施の形態による溺れ判定システムのブロック図 本発明の第４の実施の形態による溺れ判定システムのフローチャート

以下、本発明の実施の形態による溺れ判定システム１について、図１－図３を参照して説明する。

溺れ判定システム１は、水面を撮影した映像から、溺れている人間又は溺れそうな人間を検出するためのものである。本実施の形態では、図１に示すように、ドローンＤにより海面を広範囲に亘って撮影した映像（一連の時系列画像Ｘ）から、溺れている又は溺れそうな人間Ａを略リアルタイムで検出する例について説明を行う。

溺れ判定システム１は、図２に示すように、記憶部２と、検出部３と、判定部４と、報知部５と、を備えている。

記憶部２は、人間が水中で溺れている際の、人間の水上への露出部分の上下方向における変化の複数のパターンを記憶している。

露出部分の上下方向における変化のパターンとしては、「頭だけ露出から首まで露出を高速で繰り返す」、「頭だけ露出から胸まで露出を中速で繰り返す」、「首まで露出した状態でほとんど上下動しない」等が考えられる。

また、本実施の形態では、人間の水上からの露出部分の上下方向における変化の複数のパターンには、水面に露出した人間の腕の上下方向における変化の複数のパターンが含まれている。

腕の上下方向における変化のパターンとしては、「（バタバタする動作の中で）腕の露出と水没を高速で繰り返す」、「（バタバタする動作の中で）腕の露出と水没を中速で繰り返す」、「腕が露出していない」等が考えられる。

なお、記憶部２には、人間の水上からの露出部分の水平方向における変化の複数のパターンを更に記憶しても良い。

検出部３は、撮影装置（ドローンＤ）により水面を撮影した一連の時系列画像Ｘに映った対象人間Ａの水上への露出部分を検出する。

この検出には、周知の姿勢判定技術やトラッキング技術等を用いることが考えられる。なお、検出部３は、一連の時系列画像Ｘを略リアルタイムで取得し、上記検出も略リアルタイムで行うことが好ましい。

なお、対象人間Ａの水上への露出部分と海面との境目は、色の境目（海面は青色、人間は皮膚や髪の色等）に基づき判断することが考えられる。

判定部４は、記憶部２を参照して、一連の時系列画像Ｘにおいて検出された露出部分の上下方向における変化に基づき、対象人間Ａが溺れている又は溺れそうか否かを判定する。詳細には、記憶部２に記憶された複数のパターンの中に、検出された露出部分の上下方向における変化と所定以上の一致度を有するものが存在する場合に、「対象人間Ａが溺れている又は溺れそう」と判定する。

報知部５は、「対象人間Ａが溺れている又は溺れそう」と判定された場合に、危険である旨を示す報知信号を出力する。報知信号は、撮影装置（ドローンＤ）により撮影された画像が映るユーザの情報端末の表示画面において対象人間Ａを特定させるものであることが好ましいが、単に、危険を示す表示や音声を出力だけであっても良い。ユーザとしては、海水浴場の管理者やライフセーバー等が考えられる。

続いて、図３のフローチャートを用いて、溺れ判定システム１の動作について説明する。

まず、検出部３により、一連の時系列画像Ｘにおいて対象人間Ａの水上への露出部分が検出されると（Ｓ１：ＹＥＳ）、判定部４により、記憶部２を参照して、一連の時系列画像Ｘにおいて検出された露出部分の上下方向における変化に基づき、対象人間Ａが溺れている又は溺れそうか否かが判定される（Ｓ２）。

「対象人間Ａが溺れている又は溺れそう」と判定された場合（Ｓ２：ＹＥＳ）、報知部５により報知信号が出力される（Ｓ３）。この報知信号に基づき、海岸に待機しているライフセーバー等が対象人間Ａに向けて迅速かつ効率的に救助に出動することが可能となる。

以上説明したように、本実施の形態による溺れ判定システム１では、人間が水中で溺れている際の、人間の水上への露出部分の上下方向における変化の複数のパターンが記憶部２に記憶されており、記憶部２を参照して、一連の時系列画像Ｘにおいて検出された露出部分の上下方向における変化に基づき、対象人間Ａの溺れが判定される。

このような構成によれば、溺れに特化した特徴に基づき、溺れている人間又は溺れそうな人間を高い確実性で発見することが可能となる。また、対象人間Ａが溺れている又は溺れそうか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部３を用いることで、人間の目では発見することができないような遠方で発生した溺れも発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した溺れも発見することが可能となる。

また、本実施の形態による溺れ判定システム１では、人間の水上への露出部分の上下方向における変化の複数のパターンには、水上に露出した人間の腕の上下方向における変化の複数のパターンが含まれている。

このような構成によれば、人間が水中で溺れている際に最も激しく上下動する可能性の高い腕の動きも考慮されるので、溺れている人間又は溺れそうな人間をより高い確実性で発見することが可能となる。

また、本実施の形態による溺れ判定システム１では、報知信号は、撮影装置（ドローンＤ）により撮影された画像が映るユーザの情報端末の表示画面において対象人間Ａを特定させるためのものである。

このような構成によれば、海岸に待機しているライフセーバー等が対象人間Ａに向けて迅速かつ効率的に救助に出動することが可能となる。

続いて、本発明の第２の実施の形態による溺れ判定システム１０について説明する。

第２の実施の形態では、図４に示すように、波Ｗの存在を考慮し、波にのまれそうな人間Ｂを検出する。

溺れ判定システム１０は、図５に示すように、記憶部１１と、検出部１２と、算出部１３と、判定部１４と、報知部１５と、を備えている。

記憶部１１は、人間がのまれて溺れる危険性の高い波の速度又はサイズを記憶している。

危険性が高い波であるか否かは、波の速度と波のサイズを組み合わせて記憶することが好ましいが、いずれか一方のみを記憶しても良い。また、「波の速度（サイズ）が所定以上の場合、波のサイズ（速度）との組み合わせに関わらず危険性が高い」ものとして記憶しても良い。

検出部１２は、撮影装置（ドローンＤ）により水面を撮影した一連の時系列画像Ｙに映った海岸線Ｅへ向かう波Ｗと、波Ｗと海岸線Ｅの間に位置する対象人間Ｂと、を検出する。

波Ｗとしては、海岸線又は水平線に略平行な方向に所定距離に亘って延び、かつ、海岸線Ｅへ向かう白線状のものを検出した際に、「波Ｗを検出した」と決定することが考えられる。

また、海岸線Ｅとしては、浜辺の茶色と浜辺に辿り着いた波の白色の境目を検出した際に、「海岸線Ｅを検出した」と決定することが考えられる。

算出部１３は、検出された波Ｗが対象人間Ｂに到達した際の予測速度及び予測サイズを算出する。

この際、まず、算出部１３は、波Ｗが対象人間Ｂに到達するか否かを判断する。例えば、複数フレームの時系列画像Ｙにおける波Ｗと対象人間Ｂとの間の位置関係の変化、波Ｗと対象人間Ｂとの相対速度の変化、及び、対象人間Ｂから海岸線Ｅまでの距離の変化等に基づき、波Ｗが対象人間Ｂに到達しそうか否かを判断することが考えられる。例えば、対象人間Ｂの位置が波Ｗの進行方向から外れたら、「到達しない」と判断することができる。また、波Ｗの速度よりも対象人間Ｂの速度の方が速ければ、「到達しない」と判断することができる。更に、波Ｗが対象人間Ｂに到達する前に対象人間Ｂが海岸線Ｅに到着しそうであれば、「到達しない」と判断することができる。

そして、波Ｗが対象人間Ｂに到達すると判断した場合に、到達した際の波Ｗの予測速度及び予測サイズを算出する。予測速度としては、例えば、複数フレームの時系列画像Ｙにおける波Ｗの速度及び対象人間Ｂの速度に基づき、波Ｗが対象人間Ｂに到達するタイミングを算出し、当該到達タイミングにおける速度を用いることが考えられる。また、予測サイズは、例えば、複数フレームの時系列画像Ｙにおける波Ｗの大きさの変化（加速度）と、上記波Ｗが対象人間Ｂに到達するタイミングと、に基づき、算出することが考えられる。

なお、波Ｗと対象人間Ｂとの間の位置関係、波Ｗの速度、対象人間Ｂの速度、対象人間Ｂと海岸線Ｅとの距離等は、時々刻々と変化することが予想されるので、算出部１３による算出は、常に行われていることが好ましい。

判定部１４は、記憶部１１を参照して、算出された予測速度又は予測サイズに基づき、対象人間Ｂが波にのまれて溺れる危険性が高いか否かを判定する。詳細には、記憶部１１に記憶された波の速度又はサイズの中に、算出された予測速度及び予測サイズと所定以上の一致度を有するものが存在する場合に、「対象人間Ｂが波にのまれて溺れる危険性が高い」と判定する。

報知部１５は、「対象人間Ｂが波にのまれて溺れる危険性が高い」と判定された場合に、危険である旨を示す報知信号を出力する。報知信号は、撮影装置（ドローンＤ）により撮影された画像が映るユーザの情報端末の表示画面において対象人間Ｂを特定させるものであることが好ましいが、単に、危険を示す表示や音声を出力だけであっても良い。ユーザとしては、海水浴場の管理者やライフセーバー等が考えられる。

続いて、図６のフローチャートを用いて、本実施の形態による溺れ判定システム１０の動作について説明する。

まず、検出部１２により、一連の時系列画像Ｙにおいて波Ｗ及び対象人間Ｂが検出されると（Ｓ１１：ＹＥＳ）、算出部１３により、一連の時系列画像Ｙにおいて検出された波Ｗが対象人間Ｂに到達した際の予測速度及び予測サイズが算出される（Ｓ１２）。

続いて、判定部１４により、記憶部１１を参照して、算出された予測速度及び予測サイズに基づき、対象人間Ｂが波にのまれて溺れる危険性が高いか否かが判定される（Ｓ１３）。

「対象人間Ｂが波にのまれて溺れる危険性が高い」と判定された場合（Ｓ１３：ＹＥＳ）、報知部１５により報知信号が出力される（Ｓ１４）。この報知信号に基づき、海岸に待機しているライフセーバー等が対象人間Ｂに向けて迅速かつ効率的に救助に出動することが可能となる。

以上説明したように、本実施の形態による溺れ判定システム１０では、人間がのまれて溺れる危険性の高い波の速度又はサイズが記憶部１１に記憶されており、記憶部１１を参照して、検出された波Ｗが対象人間Ｂに到達した際の予測速度及び予測サイズに基づき、対象人間Ｂが波にのまれて溺れる危険性が高いか否かが判定される。

このような構成によれば、人間の目では判別が難しい「検出された波Ｗが対象人間Ｂに到達した際の予測速度及び予測サイズ」がされるので、波にのまれて溺れる危険性が高い人間を高い確実性で発見することが可能となる。また、対象人間Ｂが波にのまれて溺れる危険性が高いか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部１２を用いることで、人間の目では発見することができないような遠方で発生した溺れも発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した溺れも発見することが可能となる。

続いて、本発明の第３の実施の形態による溺れ判定システム２０について説明する。

第３の実施の形態では、離岸流にさらわれそうな人間を検出する。

離岸流とは、図７に示すように、海岸線Ｅへ向かう一対の流れＦ１が存在する場合、一対の流れＦ１間に発生し、海岸線Ｅから遠ざかる方向に向かう流れＦ２のことを意味する。離岸流は、速度自体は緩やかであることが多いが、緩やかであるがゆえに「人間Ｃが離岸流に乗っていつの間にか海岸線Ｅから遠い位置まで流されていた」という事態が生じ得る。

溺れ判定システム２０は、図８に示すように、検出部２１と、判定部２２と、報知部２３と、を備えている。

検出部２１は、撮影装置（ドローンＤ）により水面を撮影した一連の時系列画像Ｚに映った海岸線Ｅへ向かう一対の流れＦ１と、水面から露出した対象人間Ｃと、を検出する。海岸線Ｅへ向かう流れＦ１の検出は、例えば、海岸線Ｅへ向かう波（海岸線又は水平線に略平行な方向に所定距離に亘って延び、かつ、海岸線Ｅへ向かう白線状のもの）を検出することで実現可能である。

判定部２２は、検出された対象人間Ｃが一対の流れＦ１間に位置し、かつ、一対の流れＦ１間の距離Ｌが所定距離以内であった場合、「対象人間Ｃが一対の流れＦ１間に生じる離岸流Ｆ２にさらわれる危険性がある」と判定する。距離Ｌとしては、例えば、一方の流れＦ１に含まれる波の端部と、他方の流れＦ１に含まれる波の端部と、の間の距離を測定することが考えられる。離岸流は、通常、１０メートルから３０メートル前後の幅で発生するので、所定距離としては、当該１０メートルから３０メートル前後を参考にして決定すれば良い。

報知部２３は、「対象人間Ｃが離岸流にさらわれる危険性がある」と判定された場合に、危険である旨を示す報知信号を出力する。報知信号は、撮影装置（ドローンＤ）により撮影された画像が映るユーザの情報端末の表示画面において対象人間Ｃを特定させるものであることが好ましいが、単に、危険を示す表示や音声を出力だけであっても良い。ユーザとしては、海水浴場の管理者やライフセーバー等が考えられる。

続いて、図９のフローチャートを用いて、本実施の形態による溺れ判定システム２０の動作について説明する。

まず、検出部２１により、一対の流れＦ１及び対象人間Ｃが検出されると（Ｓ２１：ＹＥＳ）、判定部２２により、対象人間Ｃが一対の流れＦ１間に位置し、かつ、一対の流れＦ１間の距離Ｌが所定距離以内であるか否かが判断される（Ｓ２２）。

対象人間Ｃが一対の流れＦ１間に位置し、かつ、一対の流れＦ１間の距離Ｌが所定距離以内であった場合（Ｓ２２：ＹＥＳ）、「対象人間Ｃが離岸流Ｆ２にさらわれる危険性がある」と判定し（Ｓ２３）、報知部２３により報知信号が出力される（Ｓ２４）。この報知信号に基づき、海岸に待機しているライフセーバー等が対象人間Ｃに向けて迅速かつ効率的に救助に出動することが可能となる。

以上説明したように、本実施の形態による溺れ判定システム２０では、対象人間Ｃが一対の流れＦ１間に位置し、かつ、一対の流れＦ１間の距離Ｌが所定距離以内であった場合に、対象人間Ｃが離岸流Ｆ２にさらわれる危険性があると判定される。

このような構成によれば、人間の目では判別が難しい離岸流Ｆ２の発生を把握することができるので、離岸流Ｆ２にさらわれる危険性がある人間を高い確実性で発見することが可能となる。また、対象人間Ｃが離岸流Ｆ２にさらわれる危険性があるか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部２１を用いることで、人間の目では発見することができないような遠方で発生した離岸流Ｆ２も発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した離岸流Ｆ２も発見することが可能となる。

続いて、本発明の第４の実施の形態による溺れ判定システム３０について説明する。

第４の実施の形態では、図１０に示すように、対象人間Ｇの周囲の波紋又は水泡に基づき、対象人間Ｇが溺れている又は溺れそうか否かを判定する

溺れ判定システム３０は、図１１に示すように、記憶部３１と、検出部３２と、判定部３３と、報知部３４と、を備えている。

記憶部３１は、人間が水中で溺れている際の、当該人間の位置に対する人間の周囲の水面の波紋又は水泡の複数のパターンを記憶している。

波紋又は水泡のパターンとしては、「人間を中心とした半径○○ｍの波紋」、「人間から所定距離内の位置を中心とした波紋」、「人間から所定距離内の位置における大きな水泡（水しぶき）」、「人間から所定距離内の位置における小さな水泡（水しぶき）」等が考えられる。上記所定距離は、人間が広げた手が着水する位置に基づき設定することが考えられる。

また、本実施の形態では、記憶部３１は、人間が水中で溺れている際の当該人間の腕の動きのパターンを、上記波紋又は水泡の複数のパターンと関連付けて更に記憶している。

腕の動きのパターンとしては、「肘を伸ばした状態でバタバタさせている」、「肘を曲げた状態でバタバタさせている」、「左右交互にバタバタさせている」等が考えられる。

検出部３２は、撮影装置（ドローンＤ）により水面を撮影した一連の時系列画像Ｖに映った対象人間Ｇの水上への露出部分と、当該露出部分の周囲の水面の波紋又は水泡と、を検出する。

この検出には、周知の姿勢判定技術やトラッキング技術等を用いることが考えられる。なお、検出部３２は、一連の時系列画像Ｖを略リアルタイムで取得し、上記検出も略リアルタイムで行うことが好ましい。

なお、対象人間Ｇの水上への露出部分と海面との境目は、色の境目（海面は青色、人間は皮膚や髪の色等）に基づき判断することが考えられる。

判定部３３は、記憶部３１を参照して、一連の時系列画像Ｖにおいて検出された露出部分の位置及び波紋又は水泡に基づき、対象人間Ｇが溺れている又は溺れそうか否かを判定する。詳細には、記憶部３１に記憶された複数のパターンの中に、検出された露出部分の位置及び波紋又は水泡と所定以上の一致度を有するものが存在する場合に、「対象人間Ｇが溺れている又は溺れそう」と判定する。

特に、本実施の形態では、判定部３３は、記憶部３１を参照して、一連の時系列画像Ｖにおいて検出された腕の動きも考慮して、対象人間Ｇが溺れている又は溺れそうか否かを判定する。

報知部３４は、「対象人間Ｇが溺れている又は溺れそう」と判定された場合に、危険である旨を示す報知信号を出力する。報知信号は、撮影装置（ドローンＤ）により撮影された画像が映るユーザの情報端末の表示画面において対象人間Ｇを特定させるものであることが好ましいが、単に、危険を示す表示や音声を出力だけであっても良い。ユーザとしては、海水浴場の管理者やライフセーバー等が考えられる。

続いて、図１２のフローチャートを用いて、溺れ判定システム３０の動作について説明する。

まず、検出部３２により、一連の時系列画像Ｖにおいて対象人間Ｇの水上への露出部分と、当該露出部分の周囲の水面の波紋又は水泡と、が検出されると（Ｓ３１：ＹＥＳ）、判定部３３により、記憶部３１を参照して、一連の時系列画像Ｖにおいて検出された露出部分の位置及び波紋又は水泡に基づき、対象人間Ｇが溺れている又は溺れそうか否かが判定される（Ｓ３２）。

「対象人間Ｇが溺れている又は溺れそう」と判定された場合（Ｓ３２：ＹＥＳ）、報知部３４により報知信号が出力される（Ｓ３３）。この報知信号に基づき、海岸に待機しているライフセーバー等が対象人間Ｇに向けて迅速かつ効率的に救助に出動することが可能となる。

以上説明したように、本実施の形態による溺れ判定システム３０では、人間が水中で溺れている際の、当該人間の位置に対する人間の周囲の水面の波紋又は水泡の複数のパターンが記憶部３１に記憶されており、記憶部３１を参照して、一連の時系列画像Ｖにおいて検出された露出部分の位置及び波紋又は水泡に基づき、対象人間Ｇが溺れている又は溺れそうか否かが判定される。

このような構成によれば、人間が溺れている際に高確率で発生する人間の周囲の水面の波紋又は水泡に基づき、溺れている人間又は溺れそうな人間を高い確実性で発見することが可能となる。また、対象人間Ｇが溺れている又は溺れそうか否かが自動的に判定されるので、ユーザによる映像監視の労力が著しく軽減される。また、高い検出精度を有する検出部３２を用いることで、人間の目では発見することができないような遠方で発生した溺れも発見することが可能となる。更に、複数の撮影装置においてそれぞれ異なる複数の水面を撮影したり、撮影装置としてドローンを用いることで、通常の監視では発見することができないような場所で発生した溺れも発見することが可能となる。

また、本実施の形態による溺れ判定システム３０では、一連の時系列画像Ｖにおいて検出された腕の動きも考慮して、対象人間Ｇが溺れている又は溺れそうか否かを判定する。

このような構成によれば、人間が水中で溺れている際に最も激しく動かす可能性の高い腕の動きも考慮されるので、溺れている人間又は溺れそうな人間をより高い確実性で発見することが可能となる。

尚、本発明の溺れ判定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

例えば、第１の実施の形態において、対象人間Ａの周囲の水面の波紋又は水泡を更に考慮しても良い。

この場合、記憶部２には、人間が水中で溺れている際の人間の周囲の水面の波紋又は水泡の複数のパターンを、上記した露出部分の上下方向における変化の複数のパターンと関連付けて更に記憶しておき、検出部３は、一連の時系列画像Ｘに映った対象人間Ａの周囲の水面の波紋又は水泡を更に検出する。

例えば、胴体部分の上下方向における変化（上下動）に対しては、その変化の大きさ及び速度に応じた波紋が発生するものと考えられる。また、腕の上下方向における変化に対しては、水面における腕が露出・水没を繰り返す位置に、その変化の大きさ及び速度に応じた波紋・水泡が発生するものと考えられる。

そして、判定部４は、記憶部２を参照して、一連の時系列画像Ｘにおいて検出された水面の波紋又は水泡も考慮して、対象人間Ａが溺れている又は溺れそうか否かを判定する。詳細には、記憶部２に記憶された複数のパターンの中に、検出された“露出部分の上下方向における変化”と“波紋又は水泡”の組み合わせと所定以上の一致度を有するものが存在する場合に、「対象人間Ａが溺れている又は溺れそう」と判定する。

このように、対象人間Ａの周囲の水面の波紋又は水泡まで考慮することで、溺れている人間又は溺れそうな人間をより高い確実性で発見することが可能となる。

また、第１の実施の形態において、対象人間Ａの顔の向きを更に考慮しても良い。

この場合、記憶部２には、人間が水中で溺れている際の顔の向きのパターンを、上記した露出部分の上下方向における変化の複数のパターンと関連付けて更に記憶しておき、検出部３は、一連の時系列画像Ｘに映った水中の対象人間Ａの顔の向きを更に検出する。

例えば、「上を向いている」又は「正面を向いている」場合には、もがいている状況が考えられるため、露出部分（胴体・腕共に）の上下方向における変化が大きい可能性が高い。一方、「下を向いている」場合には、意識を失っている状況が考えられるため、露出部分（胴体・腕共に）の上下方向における変化がほとんど生じない可能性が高い。

そして、判定部４は、記憶部２を参照して、一連の時系列画像Ｘにおいて検出された顔の向きも考慮して、対象人間Ａが溺れている又は溺れそうか否かを判定する。詳細には、記憶部２に記憶された複数のパターンの中に、検出された“露出部分の上下方向における変化”と“顔の向き”の組み合わせと所定以上の一致度を有するものが存在する場合に、「対象人間Ａが溺れている又は溺れそう」と判定する。

このように、対象人間Ａの顔の向きまで考慮することで、溺れている人間又は溺れそうな人間をより高い確実性で発見することが可能となる。

また、第１の実施の形態において、対象人間Ａ以外の他の人間を更に考慮しても良い。

この場合、検出部３は、一連の時系列画像Ｘに映った他の人間も更に検出し、判定部４は、対象人間Ａと当該他の人間の距離又は当該距離の変異も考慮して、対象人間Ａが溺れている又は溺れそうか否かを判定する。

例えば、対象人間Ａの近く（例えば、第１の所定距離以内）に他の人間が検出された場合には、子供が遊んでいる状況等が考えられ、この場合には、「溺れている又は溺れそう」と判定する確率を減少させることが考えられる。

一方、対象人間Ａの近く（例えば、第２の所定距離以内）に他の人間が検出されなかった場合には、「溺れている又は溺れそう」と判定する確率を増加させることが考えられる。

また、対象人間Ａに向かって所定以上の速度で近づいてきている他の人間が検出された場合には、救助に向かっている状況が考えられるので、この場合には、「溺れている又は溺れそう」と判定する確率を増加させることが考えられる。

このように、対象人間Ａ以外の他の人間まで考慮することで、溺れている人間又は溺れそうな人間をより高い確実性で発見することが可能となる。

また、第１の実施の形態において、対象人間Ａから海岸線Ｅまでの距離を更に考慮しても良い。

この場合、検出部３は、一連の時系列画像Ｘに映った海岸線Ｅも更に検出し、判定部４は、対象人間Ａから海岸線Ｅまでの距離も考慮して、対象人間Ａが溺れている又は溺れそうか否かを判定する。

例えば、対象人間Ａから海岸線Ｅまでの距離が近い（例えば、第３の所定距離以内）場合には、子供が遊んでいる状況等が考えられ、この場合には、「溺れている又は溺れそう」と判定する確率を減少させることが考えられる。

一方、対象人間Ａから海岸線Ｅまでの距離が遠い（例えば、第４の所定距離以上）場合には、「溺れている又は溺れそう」と判定する確率を増加させることが考えられる。

このように、対象人間Ａから海岸線Ｅまでの距離まで考慮することで、溺れている人間又は溺れそうな人間をより高い確実性で発見することが可能となる。

また、第１の実施の形態では、水上に露出した人間の腕の上下方向における変化を考慮したが、水上に露出した人間の腕の水平方向における変化を考慮しても良い。特に、上記した対象人間Ａの周囲の水面の波紋又は水泡を考慮する例においては、水面における腕が露出・水没を繰り返す位置に、その変化の大きさ及び速度に応じた波紋・水泡が発生するので、腕の水平方向における変化も考慮すると効果的である。

また、上記実施の形態では、ドローンＤにより撮影した映像（一連の時系列画像Ｘ）から、溺れている又は溺れそうな人間を検出したが、浜辺等に設置された撮影装置で撮影した映像から、溺れている又は溺れそうな人間を検出しても良い。

また、ドローンで撮影を行う場合、人間の動作は、ドローンの飛行速度に対する相対速度で動いているものとして検出されてしまうため、検出された動作は、記憶部に記憶された様々なパターンと大きくかけ離れてしまう可能性がある。そこで、ドローン等の移動体で撮影を行う場合には、移動体にジャイロセンサ等の自らの速度や移動方向等を検出可能なセンサを設け、人間の動作を絶対速度で判断するようにしても良い。また、逆に、記憶部に複数の相対速度に応じたパターンを記憶しておき、当該相対速度に応じたパターンに基づき、人間の動作を判断することによっても、人間の動作を正確に判断することが可能である。

また、本発明は、溺れ判定システムが行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

１、１０、２０、３０ 判定システム
２、１１、３１ 記憶部
３、１２、２１、３２ 検出部
４、１４、２２ 、３３ 判定部
５、１５、２３ 、３４ 報知部
１３ 算出部
Ａ、Ｂ、Ｃ、Ｇ 対象人間
Ｄ 撮影装置（ドローン）
Ｅ 海岸線
Ｆ１ 流れ
Ｆ２ 離岸流
Ｌ 距離
Ｗ 波
Ｘ、Ｙ、Ｚ、Ｖ 時系列画像

Claims (22)

1. 人間が水中で溺れている際の、前記人間の水上への露出部分の上下方向における変化の複数のパターンを記憶した記憶部と、
   撮影装置により水面を撮影した一連の時系列画像に映った対象人間の前記水上への露出部分を検出する検出部と、
   前記記憶部を参照して、前記一連の時系列画像において検出された露出部分の上下方向における変化に基づき、前記対象人間が溺れている又は溺れそうか否かを判定する判定部と、
   前記判定部により前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力する報知部と、
   を備えたことを特徴とする溺れ判定システム。
2. 前記人間の水上への露出部分の上下方向における変化の複数のパターンには、水上に露出した前記人間の腕の上下方向における変化の複数のパターンが含まれており、
   前記検出部は、一連の時系列画像に映った対象人間の前記水上に露出した腕を検出し、
   前記判定部は、前記記憶部を参照して、前記一連の時系列画像において検出された腕の上下方向における変化に基づき、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項１に記載の溺れ判定システム。
3. 前記記憶部は、人間が水中で溺れている際の前記人間の周囲の水面の波紋又は水泡の複数のパターンを前記複数のパターンと関連付けて更に記憶しており、
   前記検出部は、前記一連の時系列画像に映った対象人間の周囲の水面の波紋又は水泡を更に検出し、
   前記判定部は、前記記憶部を参照して、前記一連の時系列画像において検出された水面の波紋又は水泡も考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項１又は２に記載の溺れ判定システム。
4. 前記記憶部は、人間が水中で溺れている際の前記人間の顔の向きの複数のパターンを前記複数のパターンと関連付けて更に記憶しており、
   前記検出部は、前記一連の時系列画像に映った対象人間の顔の向きを更に検出し、
   前記判定部は、前記記憶部を参照して、前記一連の時系列画像において検出された顔の向きも考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項１から３のいずれか一項に記載の溺れ判定システム。
5. 前記検出部は、前記一連の時系列画像に映った他の人間も更に検出し、
   前記判定部は、前記対象人間と前記他の人間の距離又は前記距離の変異も考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項１から４のいずれか一項に記載の溺れ判定システム。
6. 前記検出部は、前記一連の時系列画像に映った海岸線も更に検出し、
   前記判定部は、前記対象人間から前記海岸線までの距離も考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項１から５のいずれか一項に記載の溺れ判定システム。
7. 前記報知信号は、前記撮影装置により撮影された画像が映るユーザの情報端末の表示画面において前記対象人間を特定させるためのものであることを特徴とする請求項１から６のいずれか一項に記載の溺れ判定システム。
8. 人間が水中で溺れている際の、前記人間の水上への露出部分の上下方向における変化の複数のパターンが記憶されるコンピュータにインストールされるプログラムであって、
   撮影装置により水面を撮影した一連の時系列画像に映った対象人間の前記水上への露出部分を検出するステップと、
   前記コンピュータを参照して、前記一連の時系列画像において検出された露出部分の上下方向における変化に基づき、前記対象人間が溺れている又は溺れそうか否かを判定するステップと、
   前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力するステップと、
   を備えたことを特徴とする溺れ判定プログラム。
9. 前記人間の水上への露出部分の上下方向における変化の複数のパターンには、水上に露出した前記人間の腕の上下方向における変化の複数のパターンが含まれており、
   前記検出するステップでは、一連の時系列画像に映った対象人間の前記水上に露出した腕を検出し、
   前記判定するステップでは、前記コンピュータを参照して、前記一連の時系列画像において検出された腕の上下方向における変化に基づき、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項８に記載の溺れ判定プログラム。
10. 前記コンピュータは、人間が水中で溺れている際の前記人間の周囲の水面の波紋又は水泡の複数のパターンを前記複数のパターンと関連付けて更に記憶しており、
    前記検出するステップでは、前記一連の時系列画像に映った対象人間の周囲の水面の波紋又は水泡を更に検出し、
    前記判定するステップでは、前記コンピュータを参照して、前記一連の時系列画像において検出された水面の波紋又は水泡も考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項８又は９に記載の溺れ判定プログラム。
11. 前記コンピュータは、人間が水中で溺れている際の前記人間の顔の向きの複数のパターンを前記複数のパターンと関連付けて更に記憶しており、
    前記検出するステップでは、前記一連の時系列画像に映った対象人間の顔の向きを更に検出し、
    前記判定するステップでは、前記コンピュータを参照して、前記一連の時系列画像において検出された顔の向きも考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項８から１０のいずれか一項に記載の溺れ判定プログラム。
12. 前記検出するステップでは、前記一連の時系列画像に映った他の人間も更に検出し、
    前記判定するステップでは、前記対象人間と前記他の人間の距離又は前記距離の変異も考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項８から１１のいずれか一項に記載の溺れ判定プログラム。
13. 前記検出するステップでは、前記一連の時系列画像に映った海岸線も更に検出し、
    前記判定するステップでは、前記対象人間から前記海岸線までの距離も考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項８から１２のいずれか一項に記載の溺れ判定プログラム。
14. 前記報知信号は、前記撮影装置により撮影された画像が映るユーザの情報端末の表示画面において前記対象人間を特定させるためのものであることを特徴とする請求項８から１３のいずれか一項に記載の溺れ判定プログラム。
15. 人間がのまれて溺れる危険性の高い波の速度又はサイズを記憶した記憶部と、
    撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう波と、前記波と前記海岸線の間に位置する対象人間と、を検出する検出部と、
    前記一連の時系列画像において検出された波が前記対象人間に到達した際の予測速度又は予測サイズを算出する算出部と、
    前記記憶部を参照して、前記算出された予測速度又は予測サイズに基づき、前記対象人間が波にのまれて溺れる危険性が高いか否かを判定する判定部と、
    前記判定部により危険性が高いと判定された場合に報知信号を出力する報知部と、
    を備えたことを特徴とする溺れ判定システム。
16. 人間がのまれて溺れる危険性の高い波の速度又はサイズが記憶されるコンピュータにインストールされるプログラムであって、
    撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう波と、前記波と前記海岸線の間に位置する対象人間と、を検出するステップと、
    前記一連の時系列画像において検出された波が前記対象人間に到達した際の予測速度又は予測サイズを算出するステップと、
    前記コンピュータを参照して、前記算出された予測速度又は予測サイズに基づき、前記対象人間が波にのまれて溺れる危険性が高いか否かを判定するステップと、
    前記判定部により危険性が高いと判定された場合に報知信号を出力するステップと、
    を備えたことを特徴とする溺れ判定プログラム。
17. 撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう一対の流れと、前記水面から露出した対象人間と、を検出する検出部と、
    前記検出された対象人間が前記一対の流れ間に位置し、かつ、前記一対の流れ間の距離が所定距離以内であった場合、前記対象人間が前記一対の流れ間に生じる離岸流にさらわれる危険性があると判定する判定部と、
    前記判定部により危険性があると判定された場合に報知信号を出力する報知部と、
    を備えたことを特徴とする溺れ判定システム。
18. 撮影装置により水面を撮影した一連の時系列画像に映った海岸線へ向かう一対の流れと、前記水面から露出した対象人間と、を検出するステップと、
    前記検出された対象人間が前記一対の流れ間に位置し、かつ、前記一対の流れ間の距離が所定距離以内であった場合、前記対象人間が前記一対の流れ間に生じる離岸流にさらわれる危険性があると判定するステップと、
    前記判定部により危険性があると判定された場合に報知信号を出力するステップと、
    を備えたことを特徴とする溺れ判定プログラム。
19. 人間が水中で溺れている際の、前記人間の位置に対する前記人間の周囲の水面の波紋又は水泡の複数のパターンを記憶した記憶部と、
    撮影装置により水面を撮影した一連の時系列画像に映った対象人間の水上への露出部分と、前記露出部分の周囲の水面の波紋又は水泡と、を検出する検出部と、
    前記記憶部を参照して、前記一連の時系列画像において検出された露出部分の位置及び波紋又は水泡に基づき、前記対象人間が溺れている又は溺れそうか否かを判定する判定部と、
    前記判定部により前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力する報知部と、
    を備えたことを特徴とする溺れ判定システム。
20. 前記記憶部は、人間が水中で溺れている際の前記人間の腕の動きを前記複数のパターンと関連付けて更に記憶しており、
    前記検出部は、前記一連の時系列画像に映った対象人間の前記水上に露出した腕を検出し、
    前記判定部は、前記記憶部を参照して、前記一連の時系列画像において検出された腕の動きも考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項１９に記載の溺れ判定システム。
21. 人間が水中で溺れている際の、前記人間の位置に対する前記人間の周囲の水面の波紋又は水泡の複数のパターンが記憶されるコンピュータにインストールされるプログラムであって、
    撮影装置により水面を撮影した一連の時系列画像に映った対象人間の水上への露出部分と、前記露出部分の周囲の水面の波紋又は水泡と、を検出するステップと、
    前記コンピュータを参照して、前記一連の時系列画像において検出された露出部分の位置及び波紋又は水泡に基づき、前記対象人間が溺れている又は溺れそうか否かを判定するステップと、
    前記判定部により前記対象人間が溺れている又は溺れそうと判定された場合に報知信号を出力するステップと、
    を備えたことを特徴とする溺れ判定プログラム。
22. 前記コンピュータは、人間が水中で溺れている際の前記人間の腕の動きを前記複数のパターンと関連付けて更に記憶しており、
    前記検出するステップでは、前記一連の時系列画像に映った対象人間の前記水上に露出した腕を検出し、
    前記判定部は、前記コンピュータを参照して、前記一連の時系列画像において検出された腕の動きも考慮して、前記対象人間が溺れている又は溺れそうか否かを判定することを特徴とする請求項２１に記載の溺れ判定プログラム。

Images