JP2023127964A - 情報処理装置、監視装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】船舶に接近する物標を検出することができる情報処理装置、監視装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置は、船舶に設置された撮影部で撮影された撮影画像を取得する取得部と、撮影画像で画像認識された物標における撮影部に対する最近点を特定する特定部と、最近点が、撮影画像における船舶側の領域である第一接近領域内か否かを判定する第一接近判定部と、第一接近領域内と判定された最近点に関する撮影画像における第一角度が、同じまま又は小さくなるか否かを判定する第一角度判定部と、を備え、第一角度は、最近点を向く方向が撮影部の撮影軸に対して傾く角度である。
【選択図】図７

Description

本開示は、情報処理装置、監視装置、情報処理方法及びプログラムに関する。

特許文献１には、次のような監視装置が記載されている。すなわち、特許文献１に記載されている監視装置は、レーダ装置と船舶航行支援装置とを連動させ、一方の表示画面上で相手船の自船からの方位及び距離を指定する操作を行った場合、他方の表示画面上に同じ方位及び同じ距離で指定される相手船の位置が表示される。また、上記船舶航行支援装置は、カメラ装置で撮影した海上の景観を表示する表示画面を有し、レーダ装置及び船舶航行支援装置の一方の表示画面上で相手船の位置を指定する操作を行った場合、カメラ装置が相手船を含む方向の景観を拡大して撮影し、船舶航行支援装置の表示画面上に相手船を拡大して表示する。

特許文献１に記載されている監視装置によれば、例えばレーダ装置の表示画面上で相手船を特定すると、船舶航行支援装置のレーダ映像上での相手船が特定される。そして、その相手船の予測航路における相手船妨害ゾーンを見れば、衝突する可能性があるか否かがわかる。したがって、レーダ装置の表示画面上で操船計画を立てることができる。また、特定された相手船を、カメラ装置により拡大して撮影し、船舶航行支援装置の表示画面上に相手船を拡大して表示することにより、その相手船がどのような船舶であるかを知ることができる。

なお、特許文献１に記載されている船舶航行支援装置は、自動衝突予防援助装置（ＡＲＰＡ（Ａｕｔｏｍａｔｉｃ Ｒａｄａｒ Ｐｌｏｔｔｉｎｇ Ａｉｄ））とも呼ばれる。

特許第４７０９６８４号公報

しかしながら、特許文献１に記載の監視装置はレーダを用いて接近する物標の位置を特定する。そのため、例えばレーダで検出し難い物標の場合、船舶への物標の接近を検出することができないことがあるという課題がある。

本開示は、上記課題を解決するためになされたものであって、船舶に接近する物標を検出することができる情報処理装置、監視装置、情報処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本開示に係る情報処理装置は、船舶に設置された撮影部で撮影された撮影画像を取得する取得部と、前記撮影画像で画像認識された物標における前記撮影部に対する最近点を特定する特定部と、前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定する第一接近判定部と、前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度が、同じまま又は小さくなるか否かを判定する第一角度判定部と、を備え、前記第一角度は、前記最近点を向く方向が前記撮影部の撮影軸に対して傾く角度である。

本開示に係る情報処理方法は、船舶に設置された撮影部で撮影された撮影画像を取得するステップと、前記撮影画像で画像認識された物標における前記撮影部に対する最近点を特定するステップと、前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定するステップと、前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度が、同じまま又は小さくなるか否かを判定するステップと、を含み、前記第一角度は、前記最近点を向く方向が前記撮影部の撮影軸に対して傾く角度である。

本開示に係るプログラムは、船舶に設置された撮影部で撮影された撮影画像を取得するステップと、前記撮影画像で画像認識された物標における前記撮影部に対する最近点を特定するステップと、前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定するステップと、前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度が、同じまま又は小さくなるか否かを判定するステップと、をコンピュータに実行させるプログラムであって、前記第一角度は、前記最近点を向く方向が前記撮影部の撮影軸に対して傾く角度である。

本開示の情報処理装置、監視装置、情報処理方法及びプログラムによれば、船舶に接近する物標を検出することができる。

本開示の実施形態に係る監視装置の構成例を示すブロック図である。 本開示の実施形態に係る情報処理装置の機能的構成例を示すブロック図である。 本開示の実施形態に係るカメラの撮影画像の例を示す模式図である。 本開示の実施形態に係る情報処理装置を説明するための模式図である。 本開示の実施形態に係る情報処理装置を説明するための模式図である。 本開示の実施形態に係る情報処理装置を説明するための模式図である。 本開示の実施形態に係る情報処理装置を説明するための模式図である。 本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。

（監視装置の構成）
以下、本開示の実施形態に係る情報処理装置、監視装置、情報処理方法及びプログラムについて、図１～図１２を参照して説明する。図１は、本開示の実施形態に係る監視装置の構成例を示すブロック図である。図２は、本開示の実施形態に係る情報処理装置の機能的構成例を示すブロック図である。図３は、本開示の実施形態に係るカメラの撮影画像の例を示す模式図である。図４～図７は、本開示の実施形態に係る情報処理装置を説明するための模式図である。図８～図１１は、本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。そして、図１２は、本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

図１に示すように本開示の実施形態に係る監視装置１００は、情報処理装置１と、カメラ２とを備える。情報処理装置１は、例えばノートＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォン等のコンピュータと、その周辺装置等を用いて構成することができる。情報処理装置１は、処理装置１１と、入力装置１２と、表示装置１３と、スピーカ１４とを備える。処理装置１１は、ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックスプロセッシングユニット）等を含む。

入力装置１２は、例えば、キーボード、マウス、表示装置１３と一体的に構成されたタッチパネル、音声認識装置等を含む。表示装置１３は、例えば、液晶ディスプレイ、有機ＥＬ（エレクトロルミネッセンス）ディスプレイ等である。スピーカ１４は、警報音や合成音声信号等を出力する。

カメラ２は、例えば図３に示すように、船舶２００の周辺の海上３００を撮影できるように船舶２００に設置されている。図３に示す撮影画像２ａには、船舶２００の前方やや左を航行する他の船舶４００が含まれている。なお、カメラ２の取り付けは、前方真正面に限らず、３６０°任意の方向とすることができる。また、監視装置１００は、複数のカメラ２を備えていてもよい。また、カメラ２は、３６０°全方向を撮影するものであってもよい。また、カメラ２は、可視光カメラや、赤外線カメラ、あるいは、それらを組み合わせたものとすることができる。カメラ２は、例えば、所定の周期で繰り返し画像を撮影し、撮影した撮影画像を示す情報を情報処理装置１へ所定の通信回線を介して送信する。なお、本実施形態では、撮影画像２ａが含む各画素の位置の水平方向がＸ方向、垂直方向がＹ方向であるとする。また、カメラ２は、本開示に係る撮影部の一例である。

監視装置１００は、後述するようにして、カメラ２で撮影された撮影画像を情報処理装置１で画像認識し、画像認識された物標の船舶への接近を、画像上の物標の位置の挙動にて判定することで、物標の接近を検出する。ここで、検出対象とする物標は、例えば、他の船舶、ブイ、漂流物等である。

（情報処理装置の機能的構成）
次に図２等を参照して、情報処理装置１の機能的構成について説明する。情報処理装置１は、情報処理装置１を構成するコンピュータ、周辺装置等のハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせで構成される機能的構成として以下の各部を備える。すなわち、情報処理装置１は、取得部１０１、画像認識部１０２、特定部１０３、第一接近判定部１０４、第一角度判定部１０５、第一継続判定部１０６、第二接近判定部１０７、第二角度判定部１０８、第二継続判定部１０９、警報出力部１１０、キャンセル部１１１、設定部１１２、及び表示部１１３を備える。

取得部１０１は、船舶２００に設置されたカメラ２で撮影された撮影画像２ａを例えば所定の周期で繰り返し取得する。

画像認識部１０２は、撮影画像２ａに対して画像認識処理を行い、所定の特徴を有する物標（以下、図面を参照する場合等において、船舶４００を物標の例として説明する）を認識し、例えば図６に示すように船舶４００を囲む認識枠ＲＦ１を特定する。認識枠ＲＦ１は、４つの角がすべて直角な矩形（長方形）である。認識枠ＲＦ１は、例えば、下辺の左端部の座標（ＸＲ１、ＹＲ１）と、右端部の座標（ＸＲ２、ＹＲ２）と、上辺の左端部の座標（ＸＲ３、ＹＲ３）とで特定することができる。あるいは、認識枠ＲＦ１は、例えば、下辺の左端部の座標（ＸＲ１、ＹＲ１）と、２つの辺の長さで特定することができる。画像認識部１０２における画像認識処理の仕方に限定はなく、例えば、パターンマッチングや学習済み機械学習モデルを用いた画像認識処理によって、他の船舶、ブイ、漂流物等の物標を認識し、認識した物標を囲む認識枠ＲＦ１を特定する。

また、画像認識部１０２は、物標を画像認識した場合、物標を識別する認識符号を物標毎に付与する。そして、画像認識部１０２は、連続する複数の撮影画像２ａにおいて同一の物標を特定し、各認識符号に対応付けて各物標の座標の変化を記録する。また、画像認識部１０２は、撮影画像２ａに物標が含まれているか否かの判定処理等を行うことができる。

特定部１０３は、撮影画像２ａで画像認識された船舶４００におけるカメラ２に対する最近点を特定する。最近点は、撮影画像２ａ上で船舶４００の認識枠ＲＦ１内でカメラ２に最も近くなる点である。図７に示す例では、最近点ＭＮは、認識枠ＲＦ１の下辺の左端部の座標（ＸＲ１、ＹＲ１）の点又は右端部の座標（ＸＲ２、ＹＲ２）の点のうち、撮影画像２ａの下端の中心ＣＢから垂直方向（Ｙ方向）に延びるカメラ２の撮影軸ＰＡに近い方の点である。この場合、最近点ＭＮは、右端部の座標（ＸＲ２、ＹＲ２）の点である。

第一接近判定部１０４は、最近点ＭＮが、撮影画像２ａにおける船舶２００側の領域である第一接近領域内か否かを判定する。本実施形態では、物標が船舶２００に接近しているか否かの判定を、２種類の接近領域を設けて判定する。図４に示す例では、撮影画像２ａ内に第一接近領域ＦＲと、第二接近領域ＳＲが設定されている。第一接近領域ＦＲは、一点鎖線で示す境界線ＦＬより下側の領域である。第二接近領域ＳＲは、二点鎖線で示す境界線ＳＬより下側の領域である。なお、第一接近領域ＦＲと第二接近領域ＳＲは、撮影画像２ａの下端から所定距離の領域である。また、第二接近領域ＳＲは、第一接近領域ＦＲより船舶２００寄りである領域である。

なお、第一接近領域ＦＲと第二接近領域ＳＲの設定は、例えば、パラメーターとして入力して任意に設定できるようにすることが望ましい。搭載する船舶２００によりカメラ２の取り付け高さは異なる。そのため、第一接近領域ＦＲと第二接近領域ＳＲまでの船舶２００からの撮影画像２ａ上の距離は、船舶２００毎に変化する。第二接近領域ＳＲは、例えば、撮影画像２ａの下端からの画素数（Ｐ１～Ｐ５）を定間隔（Ｘ１～Ｘ５）で複数点（図４は５点の例を示す）分、パラメーターとして入力することで設定することができる。第一接近領域ＦＲについても同様に設定することができる。なお、第一接近領域ＦＲは、第二接近領域ＳＲを包含する領域であれば、第一接近領域ＦＲと第二接近領域ＳＲの設定の仕方に限定はない。

第一角度判定部１０５は、第一接近領域ＦＲ内と判定された最近点ＭＮに関する撮影画像２ａにおける第一角度θ１（図７）が、同じまま又は小さくなるか否かを判定する。第一角度θ１は、最近点ＭＮを向く方向がカメラ２の撮影軸ＰＡに対して傾く角度である。なお、本実施形態では、最近点ＭＮを向く方向は、撮影画像２ａの下端の中心ＣＢから最近点ＭＮに延びる方向である。また、本実施形態では、第一角度判定部１０５による角度についての判定を、一定の角度範囲を有する角度領域を基準として実行する。図５は角度領域の設定例を示す。図５に示す例では、撮影画像２ａの下端の中心ＣＢを中心として、撮影軸ＰＡの方向を０°として左右に各々９０°で定義し、５°刻みで、左側の角度領域ＲＬ１～ＲＬ１８と、右側の角度領域ＲＲ１～ＲＲ１８を設定している。第一角度判定部１０５は、図７に示すように、最近点ＭＮが同一の領域（図７の例では角度領域ＲＬ３）に位置している場合、第一角度θ１が同じままであると判定する。また、第一角度判定部１０５は、最近点ＭＮが位置する領域が、例えば角度領域ＲＬ３から角度領域ＲＬ２に移動した場合、第一角度θ１が小さくなったと判定する。なお、各角度領域は、角度領域の最大角度を含み、角度領域の最小角度を含まない。例えば、角度領域ＲＬ１は、０°より大きく５°以下の角度領域である。なお、０°は、角度領域ＲＬ１と角度領域ＲＲ１のいずれにも含まれず、第一角度判定部１０５は、第一角度θ１が０°のままである場合を第一角度θ１が同じままであると判定する。第一角度判定部１０５による判定によって物標が接近する物標なのか、離れる物標なのかを認識することができる。
なお、０°付近で最近点ＭＮが左端部の座標（ＸＲ１、ＹＲ１）の点と右端部の座標（ＸＲ２、ＹＲ２）の点とで頻繁に入れ替わる場合、両方を最近点として評価して、より安全な判断を行えるようにしてもよい。

第一継続判定部１０６は、第一角度θ１が同じまま又は小さくなるとの判定が、所定時間以上継続することを判定する。

第二接近判定部１０７は、最近点ＭＮが、第二接近領域ＳＲ内か否かを判定する。

第二角度判定部１０８は、第二接近領域ＳＲ内と判定された最近点ＭＮに関する撮影画像２ａにおける第二角度が、同じまま又は小さくなるか否かを判定する。第二角度は、第二接近領域ＳＲ内に位置する最近点ＭＮを向く方向がカメラ２の撮影軸ＰＡに対して傾く角度である。第二角度は、最近点ＭＮが第二接近領域ＳＲ内に位置する場合の図７に示す第一角度θ１に対応する。なお、第二角度判定部１０８は、図５を参照して説明した第一角度判定部１０５が基準として用いるものと同一の角度領域ＲＬ１～ＲＬ１８及びＲＲ１～ＲＲ１８を判定の基準として用いてもよいし、異なる角度領域を基準としてもよい。

第二継続判定部１０９は、第二角度が同じまま又は小さくなるとの判定が、所定時間以上継続することを判定する。第二継続判定部１０９が判定の基準とする所定時間は、通常、第一継続判定部１０６が判定の基準とする所定時間より短く設定される。

警報出力部１１０は、第一接近判定部１０４の判定結果と、第一角度判定部１０５の判定結果と、第一継続判定部１０６の判定結果とに基づき、第一接近領域ＦＲに係る警報信号を出力する。警報出力部１１０は、さらに、第二接近判定部１０７の判定結果と、第二角度判定部１０８の判定結果と、第二継続判定部１０９の判定結果とに基づき、第二接近領域ＳＲに係る警報信号を、第一接近領域ＦＲに係る警報信号よりも優先的に出力する。

警報出力部１１０は、船舶４００の最近点ＭＮが第一接近領域ＦＲ内に入り、第一角度θ１が同一角度領域内に位置する（あるいは同一角度である）又は第一角度θ１が小さくなる状態が、所定時間継続した場合、第一接近領域ＦＲ用の警報を出力する。例えば、表示装置１３で表示されている船舶４００の画像の周辺に接近を示す画像を表示したり、スピーカ１４から警報音や警報音声を出力したりする。また、警報出力部１１０は、船舶４００の最近点ＭＮが第二接近領域ＳＲ内に入り、第二角度が同一角度領域内に位置する（あるいは同一角度である）又は第二角度が小さくなる状態が、所定時間継続した場合、第二接近領域ＳＲ用の警報を出力する。例えば、表示装置１３で表示されている船舶４００の画像の周辺に接近を示す画像を表示したり、スピーカ１４から警報音や警報音声を出力したりする。なお、第二接近領域ＳＲ用の警報は、第一接近領域ＦＲ用の警報より、より緊迫性が高いことを示す警報とすることが望ましい。第二接近領域ＳＲ用の警報は、例えば画像表示の大きさを大きくしたり、画像を点滅させる周期を短くしたり、警報音の鳴動の周期を短くしたりする。また、警報出力部１１０は、第一接近領域ＦＲに係る警報信号が警報を発する条件を満たす場合でも、第二接近領域ＳＲに係る警報信号が警報を発する条件を満たすとき、第一接近領域ＦＲに係る警報を発せず、第二接近領域ＳＲに係る警報のみを出力する。

なお、警報出力部１１０は、例えば画像上で警報を出力する場合、複数の物標があるときには、複数の物標に対する警報を並行して出力することができる。

キャンセル部１１１は、画像認識された物標毎に警報信号をキャンセルする。キャンセル部１１１は、例えば、図６に示す撮影画像２ａにおいて、認識枠ＲＦ１内がクリックされた場合、警報をキャンセルするためのボタン等を表示し、ボタンがクリックされた場合、当該船舶４００の警報をキャンセルする。警報のキャンセルは、例えば、図６に示すように認識枠ＲＦ１が表示された後はいつでも行うことができるようにする。警報が発せられた後でもよく、警報が発せられる前でもよい。警報がキャンセルされた場合、当該物標に対しては警報が発せられなくなる。なお、警報のキャンセルは、キャンセルを取り消せるようにしてもよい。また、複数の物標に対して一括して警報のキャンセルや取り消しを行えるようにしてもよい。

設定部１１２は、入力装置１２に対する入力操作に応じて、第一接近領域ＦＲ、第二接近領域ＳＲ、角度領域、（継続判定のための）所定時間の新規の設定や、設定の変更を行う。

表示部１１３は、例えば図６に示すように、撮影画像２ａに対して、認識枠ＲＦ１、境界線ＦＬ、境界線ＳＬ、警報信号等を示す画像を重畳させて、表示装置１３に表示する。

（情報処理装置の動作例）
図８～図１１を参照して情報処理装置１の動作例について説明する。図８に示す処理は、例えば、カメラ２のフレーム周期に合わせて１又は複数フレーム毎に繰り返し実行される。図９に示す処理は、操作者の操作に応じて任意のタイミングで実行される。図１０及び図１１に示す処理は、例えば図８に示す処理の周期より長い所定の周期で繰り返し実行される。なお、図１０及び図１１に示すフローは、結合子Ｃ１及びＣ２で互いに結合している。

図８に示す処理が開始されると、まず、取得部１０１が、撮影画像を取得する（ステップＳ１１）。次に、画像認識部１０２が、物標を画像認識する（ステップＳ１２）。次に、画像認識部１０２が、撮影画像２ａに物標が含まれているか否かを判定する（ステップＳ１３）。撮影画像２ａに物標が含まれている場合（ステップＳ１３：ＹＥＳ）、画像認識部１０２が、新規の物標があるか否かを判定する（ステップＳ１４）。新規の物標がある場合（ステップＳ１４：ＹＥＳ）、画像認識部１０２が、新規の物標に認識符号を付与する（ステップＳ１５）。

新規の物標が無い場合（ステップＳ１４：ＮＯ）又はステップＳ１５の後、表示部１１３が撮影画像２ａに各物標を囲む認識枠ＲＦ１を重畳する（ステップＳ１６）。次に、警報出力部１１０が、警報出力の設定状態に応じて警報を出力する（ステップＳ１７）。本実施形態では、警報出力の設定状態として、物標毎に、出力、非出力、キャンセルの３つの状態を設定する。また、出力と非出力については、第一接近領域ＦＲ用の警報信号の出力及び非出力と第二接近領域ＳＲ用の警報信号の出力及び非出力の設定状態がある。警報出力部１１０は、キャンセルに設定されていない、警報信号の出力設定がある場合、設定状態に応じて、第一接近領域ＦＲ用の警報信号又は第二接近領域ＳＲ用の警報信号を出力する。

物標が無い場合（ステップＳ１３：ＮＯ）又はステップＳ１７の後、表示部１１３が撮影画像２ａ上に第一接近領域ＦＲと第二接近領域ＳＲを示す画像を重畳する（ステップＳ１８）。次に、表示部１１３が、表示装置１３の表示画面上に画像を表示して（ステップＳ１９）、図８に示す処理を終了する。

また、図９に示す処理では、キャンセル部１１１が、警報のキャンセル操作がある場合（ステップＳ２１：ＹＥＳ）、指定された物標の警報をキャンセルする（ステップＳ２２）。

また、図１０及び図１１に示す処理では、例えば特定部１０３が、警報をキャンセルされていない物標があるか否かを判定する（ステップＳ１０１）。警報をキャンセルされていない物標がある場合（ステップＳ１０１：ＹＥＳ）、例えば特定部１０３が、キャンセルされていないすべての物標を判定済みか否かを判定する（ステップＳ１０２）。警報をキャンセルされていない物標がない場合（ステップＳ１０１：ＮＯ）、又は、キャンセルされていないすべての物標を判定済みの場合（ステップＳ１０２：ＹＥＳ）、例えば特定部１０３が、図１０及び図１１に示す処理を終了する。キャンセルされていないすべての物標を判定済みでない場合（ステップＳ１０２：ＮＯ）、例えば特定部１０３が、判定する物標を選択する（ステップＳ１０３）。次に、特定部１０３が、選択した物標の最近点を特定する（ステップＳ１０４）。

次に、第二接近判定部１０７が、最近点が第二接近領域内か否かを判定する（ステップＳ１０５）。最近点が第二接近領域内である場合（ステップＳ１０５：ＹＥＳ）、第二角度判定部１０８が、最近点の角度領域が同じままか、または、小さくなっているか否かを判定する（ステップＳ１０６）。最近点が第二接近領域内でない場合（ステップＳ１０５：ＮＯ）、第二接近判定部１０７が、当該物標に対する第二接近領域の警報出力の状態を非出力に設定する（ステップＳ１０９）。最近点の角度領域が同じままでなく、かつ、小さくなっていない場合（ステップＳ１０６：ＮＯ）、第二角度判定部１０８が、当該物標に対する第二接近領域の警報出力の状態を非出力に設定する（ステップＳ１０９）。

最近点の角度領域が同じままか、または、小さくなっている場合（ステップＳ１０６：ＹＥＳ）、第二継続判定部１０９が、上記状態が設定された第二時間以上継続したか否かを判定する（ステップＳ１０７）。上記状態は、ステップＳ１０５がＹＥＳかつステップＳ１０６がＹＥＳの状態である。

上記状態が設定された第二時間以上継続した場合（ステップＳ１０７：ＹＥＳ）、第二継続判定部１０９が、当該物標に対する第二接近領域の警報出力の状態を出力に設定する（ステップＳ１０８）。上記状態が設定された第二時間以上継続していない場合（ステップＳ１０７：ＮＯ）、第二継続判定部１０９が、当該物標に対する第二接近領域の警報出力の状態を非出力に設定する（ステップＳ１０９）。

ステップＳ１０８又はステップＳ１０９の後、第一接近判定部１０４が、最近点が第一接近領域内か否かを判定する（ステップＳ１１０）。最近点が第一接近領域内である場合（ステップＳ１１０：ＹＥＳ）、第一角度判定部１０５が、最近点の角度領域が同じままか、または、小さくなっているか否かを判定する（ステップＳ１１１）。最近点が第一接近領域内でない場合（ステップＳ１１１：ＮＯ）、第一接近判定部１０４が、当該物標に対する第一接近領域の警報出力の状態を非出力に設定する（ステップＳ１１５）。最近点の角度領域が同じままでなく、かつ、小さくなっていない場合（ステップＳ１１１：ＮＯ）、第一角度判定部１０５が、当該物標に対する第一接近領域の警報出力の状態を非出力に設定する（ステップＳ１１５）。

最近点の角度領域が同じままか、または、小さくなっている場合（ステップＳ１１１：ＹＥＳ）、第一継続判定部１０６が、上記状態が設定された第一時間以上継続したか否かを判定する（ステップＳ１１２）。上記状態は、ステップＳ１１０がＹＥＳかつステップＳ１１１がＹＥＳの状態である。

上記状態が設定された第一時間以上継続した場合（ステップＳ１１２：ＹＥＳ）、例えば第一継続判定部１０６が、第二接近領域の警報出力状態が出力に設定されているか否かを判定する（ステップＳ１１３）。第二接近領域の警報出力状態が出力に設定されていない場合（ステップＳ１１３：ＮＯ）、例えば第一継続判定部１０６が、当該物標に対する第一接近領域の警報出力の状態を出力に設定する（ステップＳ１１４）。

上記状態が設定された第一時間以上継続していない場合（ステップＳ１１２：ＮＯ）、又は、第二接近領域の警報出力状態が出力に設定されている場合（ステップＳ１１３：ＹＥＳ）、例えば第一継続判定部１０６が、当該物標に対する第一接近領域の警報出力の状態を非出力に設定する（ステップＳ１１５）。

ステップＳ１１４又はステップＳ１１５の後、例えば特定部１０３が、キャンセルされていないすべての物標を判定済みか否かを判定する（ステップＳ１０２）。

以上の処理によって、情報処理装置１は、船舶に接近する物標を検出することができる。また、検出結果に応じて警報信号を出力することができる。

（作用効果及び補足説明）
本実施形態は、物標（他船、ブイ、漂流物）までの距離の計算を行わずに、画像認識された物標の最も近い画素の画面上の位置の挙動にて接近を判定して警報する。その際、情報処理装置１は、次の条件が満たされた場合に警報を出力する。まず、例えば、第一接近領域ＦＲの境界線ＦＬ以下の画像範囲内に画像検知物標の一部が入ることを条件とする。次に、図７に示すように、撮影画像（監視画面）の下端の中心ＣＢと物標の最も近い点の角度（画面中央縦方向を０°として左右に各々９０°で定義）を計算して、或る角度刻みの角度領域の角度が同じまま、または、小さくなる状態が、所定時間以上継続する場合を条件とする。これらの条件が満たされた場合、情報処理装置１は、警報信号（第一接近領域ＦＲ用の第一次接近警報）を出力する。その後、画像検知物標全部が境界線ＦＬより上の範囲内、または、角度領域の角度が大きくなれば警報消失とする。なお、所定時間は、例えば、数秒単位で、可変で設定可能とする。

また、本実施形態では、情報処理装置１は、第一継続判定部１０６を備えることにより、所定時間に亘って接近傾向にある物標を判定できる。
このため、情報処理装置１は、警報が必要な物標を特定できる。

また、本実施形態では、情報処理装置１は、第二接近判定部１０７を備えることにより、第一接近領域ＦＲに係る判定と独立して、第二接近領域ＳＲに係る判定を行うことができる。
このため、第二接近判定部１０７により、第一接近領域ＦＲに係る判定で追いつかない程、船舶２００に急接近する物標を、第一接近領域ＦＲに係る判定で警報できる。

また、本実施形態では、情報処理装置１は、第二角度判定部１０８を備えることにより、画像認識された最近点の挙動にて物標の接近を判定できる。

また、本実施形態では、情報処理装置１は、第二継続判定部１０９を備えることにより、所定時間に亘って接近傾向にある物標を判定できる。
このため、情報処理装置１は、警報が必要な物標を特定できる。

また、本実施形態では、情報処理装置１において、第二継続判定部１０９の判定における所定時間が、第一継続判定部１０６における所定時間より短く設定されるため、本態様によれば、第一接近領域ＦＲに係る判定で追いつかない程、船舶２００に急接近する物標を、第一接近領域ＦＲに係る判定で警報できる。

また、本実施形態では、第二接近領域ＳＲに係る警報信号を、第一接近領域ＦＲに係る警報信号よりも優先的に出力するため、第一接近領域ＦＲに係る警報よりも、第二接近領域内に係る警報を優先できる。
このため、情報処理装置１は、船舶２００に急接近する物標を優先的に警報することができる。

また、本実施形態では、情報処理装置１は、キャンセル部１１１を備えることにより、操作者は、同じ船団で自船と近距離で作業している船などで必ずしも警報が必要でない場合に警報対象から外すことができる。

第二接近領域ＳＲの境界線ＳＬ以下も同様の処理として、判定時間の設定は境界線ＦＬと独立して可能として、警報信号（第二接近領域ＳＲ用の第二次接近警報）を出力する。警報消失は境界線ＦＬと同じ処理とする。

同一の画像検知物標に対して、境界線ＦＬ以下の画像範囲内の警報出力判定中に境界線ＳＬ以下の画像範囲内での警報出力の条件が成立した場合、境界線ＦＬ以下の画像範囲内の警報出力判定は非出力に設定される。画像検知物標の最も近い点が境界線ＳＬ以下の画像範囲外に出た時点より、再び境界線ＦＬ以下の画像範囲内の警報出力判定を行う。

ところで、船舶の衝突事故回避は、目視に加えて、レーダ、ＡＩＳ（Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ；自動船舶識別装置）によることが一般的である。レーダで検知しにくい漁船・プレジャーボートなどの小型船舶、ブイ及び漂流物などの物標や、ＡＩＳ非搭載の船舶もあり、そのような物標の検知は目視に依るところが大きい。本実施形態の監視装置１００によれば、目視による監視作業を支援することができる。本実施形態によれば、物標検知におけるヒューマンエラーを補い、また、労力負担軽減を図ることができる。

なお、本実施形態に係る監視装置１００は、洋上で揺れ動く船舶に監視カメラ等のカメラを装備する場合の監視画像の動揺対策として、１）ジンバルやスタビライザーによる機械的な補正、２）カメラ本体内蔵電子回路や画像処理ソフトウェアにて電子演算による補正、３）ＩＭＵ（慣性計測装置）などで船体動揺を計測して画像認識物標までの距離計算の補正を組み合わせて適用可能である。

（その他の実施形態）
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。

（コンピュータ構成）
図１２は、上記実施形態に係るコンピュータの構成を示す概略ブロック図を示す。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の情報処理装置１は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

＜付記＞
上記実施形態に記載の情報処理装置１は、例えば以下のように把握される。

（１）第１の態様に係る情報処理装置１は、船舶２００に設置された撮影部（カメラ２）で撮影された撮影画像を取得する取得部１０１と、前記撮影画像で画像認識された物標における前記撮影部（カメラ２）に対する最近点を特定する特定部１０３と、前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域ＦＲ内か否かを判定する第一接近判定部１０４と、前記第一接近領域ＦＲ内と判定された前記最近点に関する前記撮影画像における第一角度θ１が、同じまま又は小さくなるか否かを判定する第一角度判定部１０５と、を備え、前記第一角度θ１は、前記最近点を向く方向が前記撮影部（カメラ２）の撮影軸ＰＡに対して傾く角度である。
本態様及び以下の各態様によれば、情報処理装置１は、物標までの距離の計算を行わずに、画像認識された物標の最も近い画素の画面上の位置の挙動にて接近を判定する。
このため、情報処理装置１は、船舶２００に接近する物標を検出することができる。

（２）第２の態様に係る情報処理装置１は、（１）の情報処理装置１であって、前記第一接近領域ＦＲが、前記撮影画像の下端から所定距離の領域である。

（３）第３の態様に係る情報処理装置１は、（１）又は（２）の情報処理装置１であって、前記最近点を向く方向が、前記撮影画像の下端の中心ＣＢから前記最近点に延びる方向である。

（４）第４の態様に係る情報処理装置１は、（１）から（３）のいずれかの情報処理装置１であって、前記第一角度θ１が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第一継続判定部１０６をさらに備える。
本態様によれば、所定時間に亘って接近傾向にある物標を判定できる。
このため、情報処理装置１は、警報が必要な物標を特定できる。

（５）第５の態様に係る情報処理装置１は、（１）から（４）のいずれかの情報処理装置１であって、前記最近点が、前記第一接近領域ＦＲより前記船舶寄りである第二接近領域ＳＲ内か否かを判定する第二接近判定部１０７をさらに備える。
本態様によれば、第一接近領域ＦＲに係る判定と独立して、第二接近領域ＳＲに係る判定を行うことができる。
このため、第一接近領域ＦＲに係る判定で追いつかない程、船舶２００に急接近する物標を、第一接近領域ＦＲに係る判定で警報できる。

（６）第６の態様に係る情報処理装置１は、（５）の情報処理装置１であって、前記第二接近領域内と判定された前記最近点に関する前記撮影画像における第二角度が、同じまま又は小さくなるか否かを判定する第二角度判定部１０８をさらに備える。
本態様によれば、情報処理装置１は、画像認識された最近点の挙動にて物標の接近を判定できる。

（７）第７の態様に係る情報処理装置１は、（６）の情報処理装置１であって、前記第二角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第二継続判定部１０９をさらに備える。
本態様によれば、所定時間に亘って接近傾向にある物標を判定できる。
このため、情報処理装置１は、警報が必要な物標を特定できる。

（８）第８の態様に係る情報処理装置１は、（４）の情報処理装置１であって、前記最近点が、前記第一接近領域ＦＲより前記船舶寄りである第二接近領域ＳＲ内か否かを判定する第二接近判定部１０７と、前記第二接近領域ＳＲ内と判定された前記最近点に関する前記撮影画像における第二角度が、同じまま又は小さくなるか否かを判定する第二角度判定部１０８と、前記第二角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第二継続判定部１０９と、をさらに備え、前記第二継続判定部１０９の判定における所定時間は、前記第一継続判定部１０６における所定時間より短く設定される。
本態様によれば、第一接近領域ＦＲに係る判定で追いつかない程、船舶２００に急接近する物標を、第一接近領域ＦＲに係る判定で警報できる。

（９）第９の態様に係る情報処理装置１は、（４）の情報処理装置１であって、前記第一接近判定部１０４の判定結果と、前記第一角度判定部１０５の判定結果と、前記第一継続判定部１０６の判定結果とに基づき、前記第一接近領域ＦＲに係る警報信号を出力する警報出力部１１０をさらに備える。

（１０）第１０の態様に係る情報処理装置１は、（９）の情報処理装置１であって、前記最近点が、前記第一接近領域ＦＲより前記船舶寄りである第二接近領域ＳＲ内か否かを判定する第二接近判定部１０７と、前記第二接近領域内と判定された前記最近点に関する前記撮影画像における第二角度が、同じまま又は小さくなるか否かを判定する第二角度判定部１０８と、前記第二角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第二継続判定部１０９と、をさらに備え、前記警報出力部１１０が、さらに、前記第二接近判定部１０７の判定結果と、前記第二角度判定部１０８の判定結果と、前記第二継続判定部１０９の判定結果とに基づき、前記第二接近領域ＳＲに係る警報信号を、前記第一接近領域ＦＲに係る警報信号よりも優先的に出力する。
本態様によれば、第一接近領域ＦＲに係る警報よりも、第二接近領域ＳＲ内に係る警報を優先できる。
このため、情報処理装置１は、船舶２００に急接近する物標を優先的に警報することができる。

（１１）第１１の態様に係る情報処理装置１は、（９）又は（１０）の情報処理装置１であって、前記画像認識された物標毎に前記警報信号をキャンセルするキャンセル部１１１をさらに備える。
本態様によれば、操作者は、同じ船団で自船と近距離で作業している船などで必ずしも警報が必要でない場合に警報対象から外すことができる。

（１２）第１２の態様に係る監視装置１００は、（１）から（１０）のいずれかの情報処理装置１と、前記撮影部（カメラ２）と、を備える。
本態様によれば、監視装置１００は、物標までの距離の計算を行わずに、画像認識された物標の最も近い画素の画面上の位置の挙動にて接近を判定する。
このため、監視装置１００は、船舶２００に接近する物標を検出することができる。

（１３）第１３の態様に係る情報処理方法は、船舶２００に設置された撮影部（カメラ２）で撮影された撮影画像を取得するステップと、前記撮影画像で画像認識された物標における前記撮影部（カメラ２）に対する最近点を特定するステップと、前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定するステップと、前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度θ１が、同じまま又は小さくなるか否かを判定するステップと、を含み、前記第一角度θ１は、前記最近点を向く方向が前記撮影部（カメラ２）の撮影軸ＰＡに対して傾く角度である。
本態様によれば、情報処理方法は、物標までの距離の計算を行わずに、画像認識された物標の最も近い画素の画面上の位置の挙動にて接近を判定する。
このため、情報処理方法は、船舶２００に接近する物標を検出することができる。

（１４）第１４の態様に係るプログラムは、船舶２００に設置された撮影部（カメラ２）で撮影された撮影画像を取得するステップと、前記撮影画像で画像認識された物標における前記撮影部（カメラ２）に対する最近点を特定するステップと、前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定するステップと、前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度θ１が、同じまま又は小さくなるか否かを判定するステップと、をコンピュータ９０に実行させるプログラムであって、前記第一角度θ１は、前記最近点を向く方向が前記撮影部（カメラ２）の撮影軸ＰＡに対して傾く角度である。
本態様によれば、プログラムは、物標までの距離の計算を行わずに、画像認識された物標の最も近い画素の画面上の位置の挙動にて接近を判定する。
このため、プログラムは、船舶２００に接近する物標を検出することができる。

１ 情報処理装置
２ カメラ
２ａ 撮影画像
１１ 処理装置
１２ 入力装置
１３ 表示装置
１４ スピーカ
９０ コンピュータ
９１ プロセッサ
９２ メインメモリ
９３ ストレージ
９４ インタフェース
１００ 監視装置
１０１ 取得部
１０２ 画像認識部
１０３ 特定部
１０４ 第一接近判定部
１０５ 第一角度判定部
１０６ 第一継続判定部
１０７ 第二接近判定部
１０８ 第二角度判定部
１０９ 第二継続判定部
１１０ 警報出力部
１１１ キャンセル部
１１２ 設定部
１１３ 表示部
２００ 船舶
３００ 海上
４００ 船舶
ＣＢ 中心
ＦＬ 境界線
ＦＲ 第一接近領域
ＭＮ 最近点
Ｐ１ 画素数
Ｐ２ 画素数
Ｐ３ 画素数
Ｐ４ 画素数
Ｐ５ 画素数
ＰＡ 撮影軸
ＲＦ１ 認識枠
ＲＬ１～１８ 角度領域
ＲＲ１～１８ 角度領域
ＳＬ 境界線
ＳＲ 第二接近領域
Ｘ１～５ 定間隔
ＸＲ１～３ 座標
ＹＲ１～３ 座標
θ１ 第一角度

Claims (14)

1. 船舶に設置された撮影部で撮影された撮影画像を取得する取得部と、
   前記撮影画像で画像認識された物標における前記撮影部に対する最近点を特定する特定部と、
   前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定する第一接近判定部と、
   前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度が、同じまま又は小さくなるか否かを判定する第一角度判定部と、
   を備え、
   前記第一角度は、前記最近点を向く方向が前記撮影部の撮影軸に対して傾く角度である
   情報処理装置。
2. 前記第一接近領域が、前記撮影画像の下端から所定距離の領域である
   請求項１に記載の情報処理装置。
3. 前記最近点を向く方向が、前記撮影画像の下端の中心から前記最近点に延びる方向である
   請求項１又は２に記載の情報処理装置。
4. 前記第一角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第一継続判定部を
   さらに備える請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記最近点が、前記第一接近領域より前記船舶寄りである第二接近領域内か否かを判定する第二接近判定部を
   さらに備える請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記第二接近領域内と判定された前記最近点に関する前記撮影画像における第二角度が、同じまま又は小さくなるか否かを判定する第二角度判定部を
   さらに備える請求項５に記載の情報処理装置。
7. 前記第二角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第二継続判定部を
   さらに備える請求項６に記載の情報処理装置。
8. 前記最近点が、前記第一接近領域より前記船舶寄りである第二接近領域内か否かを判定する第二接近判定部と、
   前記第二接近領域内と判定された前記最近点に関する前記撮影画像における第二角度が、同じまま又は小さくなるか否かを判定する第二角度判定部と、
   前記第二角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第二継続判定部と、を
   さらに備え、
   前記第二継続判定部の判定における所定時間は、前記第一継続判定部における所定時間より短く設定される
   請求項４に記載の情報処理装置。
9. 前記第一接近判定部の判定結果と、前記第一角度判定部の判定結果と、前記第一継続判定部の判定結果とに基づき、前記第一接近領域に係る警報信号を出力する警報出力部を
   さらに備える請求項４に記載の情報処理装置。
10. 前記最近点が、前記第一接近領域より前記船舶寄りである第二接近領域内か否かを判定する第二接近判定部と、
    前記第二接近領域内と判定された前記最近点に関する前記撮影画像における第二角度が、同じまま又は小さくなるか否かを判定する第二角度判定部と、
    前記第二角度が同じまま又は小さくなるとの前記判定が、所定時間以上継続することを判定する第二継続判定部と、を
    さらに備え、
    前記警報出力部が、さらに、前記第二接近判定部の判定結果と、前記第二角度判定部の判定結果と、前記第二継続判定部の判定結果とに基づき、前記第二接近領域に係る警報信号を、前記第一接近領域に係る警報信号よりも優先的に出力する
    請求項９に記載の情報処理装置。
11. 前記画像認識された物標毎に前記警報信号をキャンセルするキャンセル部を
    さらに備える請求項９又は１０に記載の情報処理装置。
12. 請求項１から１１のいずれか一項の情報処理装置と、
    前記撮影部と、
    を備える監視装置。
13. 船舶に設置された撮影部で撮影された撮影画像を取得するステップと、
    前記撮影画像で画像認識された物標における前記撮影部に対する最近点を特定するステップと、
    前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定するステップと、
    前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度が、同じまま又は小さくなるか否かを判定するステップと、
    を含み、
    前記第一角度は、前記最近点を向く方向が前記撮影部の撮影軸に対して傾く角度である
    情報処理方法。
14. 船舶に設置された撮影部で撮影された撮影画像を取得するステップと、
    前記撮影画像で画像認識された物標における前記撮影部に対する最近点を特定するステップと、
    前記最近点が、前記撮影画像における前記船舶側の領域である第一接近領域内か否かを判定するステップと、
    前記第一接近領域内と判定された前記最近点に関する前記撮影画像における第一角度が、同じまま又は小さくなるか否かを判定するステップと、
    をコンピュータに実行させるプログラムであって、
    前記第一角度は、前記最近点を向く方向が前記撮影部の撮影軸に対して傾く角度である
    プログラム。

Images