JP2023059077A - 情報処理装置、対象物検知装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】船舶から撮影した画像により対象物までの距離を特定する。【解決手段】情報処理装置は、船舶に設置された撮影部で撮影された撮影画像を取得する取得部と、撮影画像において対象物を特定する対象特定部と、撮影部の俯角を特定する俯角特定部と、撮影画像と俯角とに基づき、船舶と対象物との距離を特定する距離特定部と、を備える。【選択図】図１

Description

本開示は、情報処理装置、対象物検知装置、情報処理方法およびプログラムに関する。

特許文献１には、海上を撮影した画像に含まれる船を検出する画像認識モデルを用いて、画像データから船の有無や船の種類を検出する情報処理装置が開示されている。

特開２０２１－７７２０２号公報

しかしながら、特許文献１に記載の情報処理装置は、検出した船までの距離および方位、検出した船の進行方位、速度を特定する構成を有していないという課題がある。

本開示は、上記課題を解決するためになされたものであって、船舶から撮影した画像により対象物までの距離を特定することができる情報処理装置、対象物検知装置、情報処理方法およびプログラムを提供することを目的とする。

上記課題を解決するために、本開示に係る情報処理装置は、船舶に設置された撮影部で撮影された撮影画像を取得する取得部と、前記撮影画像において対象物を特定する対象特定部と、前記撮影部の俯角を特定する俯角特定部と、前記撮影画像と前記俯角とに基づき、前記船舶と前記対象物との距離を特定する距離特定部と、を備える。

本開示に係る対象物検知装置は、前記情報処理装置と、前記撮影部と、を備える。

本開示に係る情報処理方法は、船舶に設置された撮影部で撮影された撮影画像を取得するステップと、前記撮影画像において対象物を特定するステップと、前記撮影部の俯角を特定するステップと、前記撮影画像と前記俯角とに基づき、前記船舶と前記対象物との距離を特定するステップと、を含む。

本開示に係るプログラムは、船舶に設置された撮影部で撮影された撮影画像を取得するステップと、前記撮影画像において対象物を特定するステップと、前記撮影部の俯角を特定するステップと、前記撮影画像と前記俯角とに基づき、前記船舶と前記対象物との距離を特定するステップと、をコンピュータに実行させる。

本開示の情報処理装置、対象物検知装置、情報処理方法およびプログラムによれば、船舶から撮影した画像により対象物までの距離を特定することができる。

本開示の実施形態に係る対象物検知装置の概略構成を示すブロック図である。 本開示の実施形態に係る撮影部の画像範囲を模式的に示す平面図である。 本開示の実施形態に係る動揺センサの構成例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を示すフローチャートである。 本開示の実施形態に係る画像解析サーバの動作例を示すフローチャートである。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。 本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。

（対象物検知装置の構成）
以下、本開示の実施形態に係る情報処理装置、対象物検知装置、情報処理方法およびプログラムについて、図１～図１４を参照して説明する。図１は、本開示の実施形態に係る対象物検知装置の概略構成を示すブロック図である。図２は、本開示の実施形態に係る撮影部の画像範囲を模式的に示す平面図である。図３は、本開示の実施形態に係る動揺センサの構成例を説明するための模式図である。図４および図５は、本開示の実施形態に係る画像解析サーバの動作例を示すフローチャートである。図６～図１３は、本開示の実施形態に係る画像解析サーバの動作例を説明するための模式図である。図１４は、本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

図１に示すように対象物検知装置１０は、画像解析サーバ１と、撮影部２と、動揺センサ３と、画像解析結果表示用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）４と、ハブ５と、複数の通信ケーブル５１とを備える。画像解析サーバ１は、本開示の情報処理装置の一構成例である。画像解析サーバ１は、撮影部２と、動揺センサ３と、画像解析結果表示用ＰＣ４に、ハブ５と複数の通信ケーブル５１を介して通信接続されている。また、画像解析サーバ１は、通信ケーブル６１を介して、自動操船システム６に通信接続されている。対象物検知装置１０と自動操船システム６は、船舶１００に搭載されている。対象物検知装置１０は、所定の検知範囲内に位置する他の船舶、ブイ、漁具、その他の物体等の対象物を識別し、船舶１００から対象物までの距離、位置等を算出して、算出結果や対象物を撮影した画像を画像解析結果表示用ＰＣ４や船舶１００の自動操船システム６等へ出力する。

撮影部２は、複数のカメラ２１と複数のカメラ２２を備える。カメラ２１とカメラ２２は画角が異なる。カメラ２１とカメラ２２は、例えば赤外線カメラである。複数のカメラ２１と複数のカメラ２２は、通信ケーブル５１およびハブ５を介して画像解析サーバ１と通信接続され、複数のカメラ２１と複数のカメラ２２が撮影した撮影画像は画像解析サーバ１へ随時送信される。複数のカメラ２１と複数のカメラ２２は、船舶１００の船橋や外部の周辺を見渡すことが可能な場所に設置される。船体に対するカメラ２１および２２の設置方向は、対象物検知装置１０の検知範囲とカメラ２１および２２の画角を考慮して設置される。複数台のカメラ２１とカメラ２２を設置する場合と撮影方向は、各カメラ２１および２２の画像範囲が可能な限り連続する様に設置する。対象物検知装置１０の対象物までの検知距離と対象物の大きさに適合する仕様のカメラを選択する。対象物検知装置１０の検知範囲に応じた画角を有するカメラ、カメラ台数が設定される。

図２は、撮影部２の画像範囲を模式的に示す。図２に示す例は、撮影部２が、画角の異なる複数のカメラを組み合わせたカメラシステムとして構成され、６台のカメラ２１と２台のカメラ２２を備える。６台のカメラ２１は、水平方向の画角（視野角）が８．６度の遠距離用カメラであり、各カメラ２１の画像範囲（撮影範囲）は画像範囲２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅおよび２１Ｆである。２台のカメラ２２は、水平方向の画角が６９．０度の近距離用カメラであり、各カメラ２２の画像範囲は画像範囲２２Ａおよび２１Ｂである。

船舶の場合、衝突回避のための対象物との必要検知距離は、数キロメートルから数十メートルの範囲と広範囲となる。また水平方向視野も、前方数十度が必要である。一般に、工学カメラの物理的限界により、遠距離用は視野角数度の狭い視野となり、近距離用は比較的視野角が広くなる。本実施形態は、船舶１００の周辺監視として必要な、遠距離から近距離迄をカバーするために、遠距離用カメラと近距離用カメラを複数設置し、視野範囲を確保している。

動揺センサ３は、船舶１００の動揺（ヒーブ・ロール・ピッチ等）（以下、船体動揺情報ともいう）を検出し、検出値を画像解析サーバ１へ送信する。動揺センサ３は、４台のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ； 全球測位衛星システム）受信機３１と、各ＧＮＳＳ受信機３１のアンテナ３１ａ、３１ｂ、３１ｃおよび３１ｄと、慣性計測装置３２と、図示していないコントローラとを備える。

図３に示すように、４台のＧＮＳＳ受信機３１のうちの３台のＧＮＳＳ受信機３１のアンテナ３１ｂ、３１ｃおよび３１ｄは、例えば、アンテナ３１ｂを基準として船体座標系のピッチ軸方向にアンテナ３１ｃが設置され、ロール軸方向にアンテナ３１ｄが設置される。アンテナ３１ｂ、３１ｃおよび３１ｄに接続される３台のＧＮＳＳ受信機３１は、アンテナ３１ｂに接続されるＧＮＳＳ受信機３１をＭｏｖｉｎｇ－ＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ） Ｂａｓｅ、アンテナ３１ｃおよび３１ｄに接続される２台のＧＮＳＳ受信機３１をＭｏｖｉｎｇ－ＲＴＫ Ｒｏｖｅｒとして、三次元相対位置ベクトルＲｒと三次元相対位置ベクトルＲｐを測位する。動揺センサ３は、三次元相対位置ベクトルＲｒと三次元相対位置ベクトルＲｐに基づいて、船舶１００のロール角とピッチ角とヨー角を算出する。また、アンテナ３１ａに接続されるＧＮＳＳ受信機３１は、ワールド（Ｗｏｒｌｄ）座標系における三次元絶対位置座標Ｐｗを測位する。動揺センサ３は、ロール角とピッチ角と三次元絶対位置座標Ｐｗからヒーブ（上下揺）を算出する。なお、慣性計測装置３２は、例えば、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ジャイロ・加速度センサであり、短時間姿勢変化情報を取得するために用いられる。

後述する対象物までの距離算出においては、カメラ２１および２２の水面上設置高さがパラメーターの一つとなっている。カメラ２１および２２は、船舶上部に固定されているが、船舶１００の載貨状態などによりその喫水が変化し、それに伴ってカメラ２１および２２の水面からの高さは変化する。従って、演算パラメーターのカメラ２１および２２の高さは常に補正が必要で、それを動揺センサ３により算出したヒーブ実測値をもとにリアルタイムで補正する。また、動揺センサ３で算出したロール・ピッチを、後述する水平線検出不可の場合における仮想水平線位置の算出に使用し、対象物までの距離、対象物の方位、対象物の速度と進行方向の算出精度を担保する。なお、水平線検出可能であれば、画像解析のみで水平線位置を基準とした高精度な距離算出が可能であるため、船体動揺に関する補正は特に不要である。

一方、画像解析サーバ１は、プロセッサ、メモリ等のハードウェアと、プロセッサが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、取得部１１と、対象特定部１２と、俯角特定部１３と、距離特定部１４とを備える。

取得部１１は、船舶１００に設置された撮影部２で撮影された撮影画像を取得する。また、取得部１１は、動揺センサ３が出力した船体動揺情報を取得する。

対象特定部１２は、撮影画像において対象物を特定する。対象特定部１２は、例えば学習済み機械学習モデルを用いて画像認識を行い、対象物や水平線の位置や領域（枠）を特定する。学習済み機械学習モデルは、例えば、船舶、ブイ、漁具、その他の物体等の対象物を含む複数の画像を、対象物の識別情報等でラベル付けした学習用データセットを用いて教師あり学習で学習したモデルであり、画像情報を入力し、対象物の有無、撮影画像上の対象物の位置および領域を表す情報を出力するモデルである。

俯角特定部１３は、撮影部２の俯角を特定する。その際、俯角特定部１３は、撮影画像における水平線と対象物との位置関係に基づき、俯角を特定する。また、俯角特定部１３は、撮影画像において水平線が検出できない場合、仮想水平線を設定し、仮想水平線と対象物との位置関係に基づき、俯角を特定する。例えば撮影方向が陸側を向いているような場合等には撮影画像内に水平線が含まれないことがある。このような場合に、俯角特定部１３は、仮想的に水平線を設定する。なお、俯角特定部１３は、船舶１００の動揺を検出する動揺センサ３の検出値に基づき、俯角を特定する。また、俯角特定部１３は、撮影部２の設置高さに基づき、俯角を特定する。

距離特定部１４は、撮影画像と俯角とに基づき、船舶１００と対象物との距離を特定する。また、距離特定部１４は、複数のカメラ２１および２２に亘る対象物を、特定した距離を含む位置情報に基づき統合する。

（対象物検知装置の動作）
次に、図４および図５に示すフローチャート等を参照して、図１に示す対象物検知装置１０の動作例について説明する。なお、図４に示すフローと図５に示すフローは、結合子ＡおよびＢで互いに接続されている。図４および図５に示す処理は、所定の周期で繰り返し実行される。また、各カメラ２１および２２の設置高さはいずれも水面（海面）から２５ｍであるとする。また、説明で用いる撮影画像の例は、横６４０画素（画角：８．６度）、縦５１２画素（画角：６．６度）のカメラ２１による撮影画像であるとする。

図４および図５に示す処理が開始されると、対象物検知装置１０では、まず、画像解析サーバ１の取得部１１が、撮影部２が撮影した複数の（複数のカメラ２１および２２の）撮影画像を取得する（ステップＳ１０１）。次に、取得部１１が、動揺センサ３が出力した船体動揺情報を取得する（ステップＳ１０２）。

次に、対象特定部１２が、複数の撮影画像のうちの１つの撮影画像において対象物の有無、位置および領域を特定する（ステップＳ１０３）。対象特定部１２は、例えば、図６に示すような撮影画像ＩＭＧ１を学習済み機械学習モデルへ入力し、撮影画像ＩＭＧ１に含まれる対象物（船（ＳＨＩＰ）、ブイ（ＢＵＯＹ）等）の位置と領域を表す情報を特定する。

次に、対象特定部１２は、対象物を特定できたか否かを判断する（ステップＳ１０４）。対象物が特定されなかった場合（ステップＳ１０４：Ｎｏ）、対象特定部１２は、複数の撮影画像のすべてを処理したか否かを判断する（ステップＳ１１３）。複数の撮影画像のすべてを処理していなかった場合（ステップＳ１１３：Ｎｏ）、対象特定部１２は、複数の撮影画像のうちの次の撮影画像において対象物の有無、位置および領域を特定する（ステップＳ１０３）。

一方、対象物が特定された場合（ステップＳ１０４：Ｙｅｓ）、対象特定部１２は、当該撮影画像において水平線を検出する（ステップＳ１０５）。対象特定部１２は、例えば、図６に示すような撮影画像ＩＭＧ１に対して画像認識を行い、撮影画像ＩＭＧ１に含まれる水平線（ＨＯＲＩＺＯＮ）の位置と領域を表す情報を特定する。

次に、俯角特定部１３は、水平線が検出されたか否かを判断する（ステップＳ１０６）。当該撮影画像で水平線が検出された場合（ステップＳ１０６：Ｙｅｓ）、俯角特定部１３は、地球半径と動揺センサ３が検出したヒーブより水平線撮影俯角θｈを算出する（ステップＳ１０７）。

図７に示すように、海面を基準とするカメラ２１および２２の高さは、設置高さ２５ｍにヒーブの絶対値を加算または減算した値となる。また、水平線撮影俯角θｈは下式で算出される。

θｈ＝ｃｏｓ^－１（地球半径／（地球半径＋カメラ設置高±ヒーブ））

次に、俯角特定部１３は、図８に示すように、撮影画像ＩＭＧ２上で水平線と対象物ＯＪ１の垂直距離ｄＨを測定し、水平線撮影方向と対象物撮影方向の成す角θｄに換算する（ステップＳ１０８）。

次に、俯角特定部１３は、図９に示すように、水平線撮影俯角θｈと、水平線撮影方向と対象物撮影方向の成す角θｄを加算し、対象物撮影俯角θｔを算出する（ステップＳ１０９）。

次に、距離特定部１４が、図９に示すように、対象物撮影俯角θｔと撮影部高さとヒーブに基づき対象物ＯＪ１までの距離を下式で算出する（ステップＳ１１０）。

対象物までの距離＝（カメラ設置高±ヒーブ）／ｔａｎ（対象物撮影俯角θｔ）

他方、当該撮影画像で水平線が検出されなかった場合（ステップＳ１０６：Ｎｏ）、俯角特定部１３は、図１０に示すように、地球半径と動揺センサ３が検出したヒーブおよびピッチより仮想水平線撮影俯角θｈ’を下式で算出する（ステップＳ１２１）。

θ’＝ｃｏｓ^－１（地球半径／（地球半径＋カメラ設置高±ヒーブ））

仮想水平線撮影俯角θｈ’＝θ’±ピッチ

次に、俯角特定部１３は、図１１に示すように、撮影画像ＩＭＧ３上で仮想水平線撮影俯角θｈ’に相当する位置ｄＨｒ’に仮想水平線（破線）を追加し、撮影画像内の基準点を中心として動揺センサ３が検出したロール分回転する（回転後の仮想水平線（鎖線））（ステップＳ１２２）。

ここでは、水平線を検出不可の場合においても、仮に映るとした場合の位置として推定し、距離算出における基準線として用いる。なお、カメラを複数台設置する場合、ある一つのカメラの仮想水平線を基準とし、各カメラの撮影画角および設置関係から、他カメラ内の仮想水平線位置を推定する。また、仮想水平線位置は、水平線が検出可能な状況で、撮影画像に映る水平線位置と仮想水平線位置および挙動が可能なかぎり一致するよう、予め校正作業を行っておくことが望ましい。

次に、俯角特定部１３は、図１１に示すように、撮影画像ＩＭＧ３上で仮想水平線と対象物ＯＪ１の垂直距離ｄＨ’を測定し、仮想水平線撮影方向と対象物撮影方向の成す角θｄ’に換算する（ステップＳ１２３）。

次に、俯角特定部１３は、図１２に示すように、仮想水平線撮影俯角θｈ’と、仮想水平線撮影方向と対象物撮影方向の成す角θｄ’を加算し、対象物撮影俯角θｔ’を算出する（ステップＳ１２４）。

次に、距離特定部１４が、図１２に示すように、対象物撮影俯角θｔと撮影部高さとヒーブに基づき対象物ＯＪ１までの距離を下式で算出する（ステップＳ１２５）。

対象物までの距離＝（カメラ設置高±ヒーブ）／ｔａｎ（対象物撮影俯角θｔ’）

ステップＳ１１０またはステップＳ１２５で対象物までの距離を算出した後、距離特定部１４は、対象物の方位を算出する（ステップＳ１１１）。対象物の方位は、投影されているカメラの船体に対する方位、カメラの画角、船体の動揺情報をもとに、撮影画像中の対象物の位置から算出される。

次に、距離特定部１４は、対象物の進行方向および速度を算出する（ステップＳ１１２）。対象物の進行方向および速度は、一定の時間間隔での撮影画像中の対象物の移動距離と、対象物と本船の距離（例えば、ステップＳ１１０またはステップＳ１２５で算出された対象物までの距離）と、により連続的に計算される。また、その際の揺らぎの安定化のために、各時間の計算値は、演算処理により適宜平均化される。

次に、対象特定部１２が、複数の撮影画像のすべてを処理したか否かを判断する（ステップＳ１１３）。一方、複数の撮影画像のすべてを処理していなかった場合（ステップＳ１１３：Ｎｏ）、対象特定部１２は、複数の撮影画像のうちの次の撮影画像において対象物の有無、位置および領域を特定する（ステップＳ１０３）。他方、複数の撮影画像のすべてを処理していた場合（ステップＳ１１３：Ｙｅｓ）、距離特定部１４が、対象物検知結果の統合処理を行う（ステップＳ１１４）。

ステップＳ１１４において、距離特定部１４は、同一の物体が複数のカメラに映る場合、対象物の位置情報がある程度近いことと画像認識による識別結果をふまえ、可能な限り単一の物体として検知結果を統合する。例えば、図１３に示すように、隣り合う撮影画像ＩＭＧ１１と撮影画像ＩＭＧ１２において、対象物ＯＪ１１に対する検知枠Ｆ１と、対象物ＯＪ１２に対する検知枠Ｆ２の測位情報（方位・距離）が一定範囲内の場合、距離特定部１４は、一つの物標（対象物ＯＪ２）（同一ＩＤ（識別符号））として扱う。また、距離特定部１４は、画面渡り中は移動方向の先頭と後尾から全体の重心を算出する。

次に、距離特定部１４は、対象物の情報（対象物有無、対象物のＩＤ、距離、方位、速度、進行方向、種別（船舶、ブイ等）等）や撮影画像を、画像解析結果表示用ＰＣ４や自動操船システム６等に出力して、図４および図５に示す処理を終了する。

（作用効果）
以上のように本実施形態によれば、船舶から撮影した画像により対象物までの距離を特定することができる。

以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

〈コンピュータ構成〉
図１４は、本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の画像解析サーバ（情報処理装置）１は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのカスタムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ)、ＧＡＬ(Ｇｅｎｅｒｉｃ Ａｒｒａｙ Ｌｏｇｉｃ)、ＣＰＬＤ(Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ)、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

ストレージ９３の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

＜付記＞
本開示の実施形態に記載の画像解析サーバ１は、例えば以下のように把握される。

（１）第１の態様に係る画像解析サーバ１（情報処理装置）は、船舶１００に設置された撮影部２で撮影された撮影画像を取得する取得部１１と、前記撮影画像において対象物を特定する対象特定部１２と、前記撮影部２の俯角を特定する俯角特定部１３と、前記撮影画像と前記俯角とに基づき、前記船舶１００と前記対象物との距離を特定する距離特定部１４と、を備える。この態様によれば、画像解析サーバ１（情報処理装置）は、船舶１００から撮影した画像により対象物までの距離を特定することができる。

（２）第２の態様の画像解析サーバ１（情報処理装置）は、（１）の画像解析サーバ１（情報処理装置）であって、前記俯角特定部１３が、前記撮影画像における水平線と前記対象物との位置関係に基づき、前記俯角を特定する。この態様によれば、画像解析サーバ１（情報処理装置）は、船舶１００から撮影した画像により対象物までの距離を精度良く特定することができる。

（３）第３の態様の画像解析サーバ１は、（１）の画像解析サーバ１（情報処理装置）であって、前記俯角特定部１３が、前記撮影画像において水平線が検出できない場合、仮想水平線を設定し、前記仮想水平線と前記対象物との位置関係に基づき、前記俯角を特定する。この態様によれば、画像解析サーバ１（情報処理装置）は、水平線が撮影画像に含まれない場合であっても、船舶１００から撮影した画像により対象物までの距離を精度良く特定することができる。

（４）第４の態様の画像解析サーバ１（情報処理装置）は、（１）から（３）のいずれかの画像解析サーバ１（情報処理装置）であって、前記俯角特定部１３が、前記船舶１００の動揺を検出する動揺センサ３の検出値に基づき、前記俯角を特定する。この態様によれば、画像解析サーバ１（情報処理装置）は、船舶１００から撮影した画像により対象物までの距離を精度良く特定することができる。

（５）第５の態様の画像解析サーバ１（情報処理装置）は、（１）から（４）のいずれかの画像解析サーバ１（情報処理装置）であって、前記俯角特定部１３が、前記撮影部２の設置高さに基づき、前記俯角を特定する。

（６）第６の態様の画像解析サーバ１（情報処理装置）は、（１）から（５）のいずれかの画像解析サーバ１（情報処理装置）であって、前記撮影部２が、画角の異なる複数のカメラ２１、２２を備える。

（７）第７の態様の画像解析サーバ１（情報処理装置）は、（１）から（５）のいずれかの画像解析サーバ１（情報処理装置）であって、前記撮影部２が複数のカメラ２１、２２を備え、前記距離特定部１４が、前記複数のカメラ２１、２２に亘る前記対象物を前記特定した距離を含む位置情報に基づき統合する。

（８）第８の態様に係る対象物検知装置１０は、（１）から（７）のいずれかの画像解析サーバ１（情報処理装置）と、前記撮影部２と、を備える。この態様によれば、対象物検知装置１０は、船舶１００から撮影した画像により対象物までの距離を特定することができる。

（９）第９の態様に係る情報処理方法は、船舶１００に設置された撮影部２で撮影された撮影画像を取得するステップと、前記撮影画像において対象物を特定するステップと、前記撮影部２の俯角を特定するステップと、前記撮影画像と前記俯角とに基づき、前記船舶１００と前記対象物との距離を特定するステップと、を含む。この態様によれば、情報処理方法は、船舶１００から撮影した画像により対象物までの距離を特定することができる。

（１０）第１０の態様に係るプログラムは、船舶１００に設置された撮影部２で撮影された撮影画像を取得するステップと、前記撮影画像において対象物を特定するステップと、前記撮影部２の俯角を特定するステップと、前記撮影画像と前記俯角とに基づき、前記船舶１００と前記対象物との距離を特定するステップと、をコンピュータに実行させる。この態様によれば、プログラムは、船舶１００から撮影した画像により対象物までの距離を特定することができる。

１…画像解析サーバ（情報処理装置）
２…撮影部
３…動揺センサ
４…画像解析結果表示用ＰＣ
５…ハブ
６…自動操船システム
１０…対象物検知装置
１１…取得部
１２…対象特定部
１３…俯角特定部
１４…距離特定部
２１…カメラ
２１Ａ…画像範囲
２１Ｂ…画像範囲
２１Ｃ…画像範囲
２１Ｄ…画像範囲
２１Ｅ…画像範囲
２１Ｆ…画像範囲
２２…カメラ
２２Ａ…画像範囲
３１…ＧＮＳＳ受信機
３１ａ…アンテナ
３１ｂ…アンテナ
３１ｃ…アンテナ
３１ｄ…アンテナ
３２…慣性計測装置
５１…通信ケーブル
６１…通信ケーブル
９０…コンピュータ
９１…プロセッサ
９２…メインメモリ
９３…ストレージ
９４…インタフェース
１００…船舶
Ｆ１…検知枠
Ｆ２…検知枠
ＩＭＧ１…撮影画像
ＩＭＧ２…撮影画像
ＩＭＧ３…撮影画像
ＩＭＧ１１…撮影画像
ＩＭＧ１２…撮影画像
ＯＪ１…対象物
ＯＪ２…対象物
ＯＪ１１…対象物
ＯＪ１２…対象物
Ｐｗ…三次元絶対位置座標
Ｒｐ…三次元相対位置ベクトル
Ｒｒ…三次元相対位置ベクトル

Claims (10)

1. 船舶に設置された撮影部で撮影された撮影画像を取得する取得部と、
   前記撮影画像において対象物を特定する対象特定部と、
   前記撮影部の俯角を特定する俯角特定部と、
   前記撮影画像と前記俯角とに基づき、前記船舶と前記対象物との距離を特定する距離特定部と、
   を備える情報処理装置。
2. 前記俯角特定部が、前記撮影画像における水平線と前記対象物との位置関係に基づき、前記俯角を特定する
   請求項１に記載の情報処理装置。
3. 前記俯角特定部が、前記撮影画像において水平線が検出できない場合、仮想水平線を設定し、前記仮想水平線と前記対象物との位置関係に基づき、前記俯角を特定する
   請求項１に記載の情報処理装置。
4. 前記俯角特定部が、前記船舶の動揺を検出する動揺センサの検出値に基づき、前記俯角を特定する
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記俯角特定部が、前記撮影部の設置高さに基づき、前記俯角を特定する
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記撮影部が、画角の異なる複数のカメラを備える
   請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記撮影部が複数のカメラを備え、
   前記距離特定部が、前記複数のカメラに亘る前記対象物を前記特定した距離を含む位置情報に基づき統合する
   請求項１から５のいずれか１項に記載の情報処理装置。
8. 請求項１から７のいずれか１項に記載の情報処理装置と、
   前記撮影部と、
   を備える対象物検知装置。
9. 船舶に設置された撮影部で撮影された撮影画像を取得するステップと、
   前記撮影画像において対象物を特定するステップと、
   前記撮影部の俯角を特定するステップと、
   前記撮影画像と前記俯角とに基づき、前記船舶と前記対象物との距離を特定するステップと、
   を含む情報処理方法。
10. 船舶に設置された撮影部で撮影された撮影画像を取得するステップと、
    前記撮影画像において対象物を特定するステップと、
    前記撮影部の俯角を特定するステップと、
    前記撮影画像と前記俯角とに基づき、前記船舶と前記対象物との距離を特定するステップと、
    をコンピュータに実行させるプログラム。

Images