JP2019097114A

JP2019097114A - 船舶追尾システム

Info

Publication number: JP2019097114A
Application number: JP2017226963A
Authority: JP
Inventors: 石田　仁; Hitoshi Ishida; 仁石田; 毅琴浦; Takeshi Kotoura; 貴一三國; Kiichi Mikuni
Original assignee: Penta Ocean Construction Co Ltd
Current assignee: Penta Ocean Construction Co Ltd
Priority date: 2017-11-27
Filing date: 2017-11-27
Publication date: 2019-06-20
Anticipated expiration: 2037-11-27
Also published as: JP6894356B2

Abstract

【課題】レーダが船舶等の水上の物体を一時的に見失った場合でも、ユーザが当該物体の位置を継続的に知ることを可能とする。【解決手段】方向指示手段１３０１は、カメラの撮像方向が、レーダが検知した水上の物体の位置を向くように、カメラの旋回角及び俯仰角の変更を指示する。画像認識手段１３０２は、カメラが撮像した画像から船舶を認識する。方向指示手段１３０１は、画像認識手段１３０２が認識した船舶が画像の中央位置に近づくように、カメラの旋回角及び俯仰角の変更を指示する。位置特定手段１３０３は、レーダにより検知された物体の位置に基づき当該物体の地球上の位置を特定するとともに、カメラの方向とカメラから船舶までの距離に基づき当該船舶の地球上の位置を特定する。判定手段１３０４は、位置特定手段１３０３により特定された位置に基づき、レーダにより検知された物体がカメラにより追尾されている船舶であるか否かを判定する。【選択図】図２

Description

本発明は船舶等の物体の移動を監視する技術に関する。

船舶の衝突等の事故を防止するために、船舶の航行を監視したいというニーズがある。そのため、船舶の航行の監視を支援する技術が提案されている。例えば、特許文献１及び特許文献２には、レーダで検知した船舶等の物標に向くようにカメラの撮像方向を変更する技術が提案されている。また、特許文献２には、主カメラと副カメラにより異なる位置から同じ船舶を撮像し、当該船舶を画像追尾しながら、主カメラと副カメラの撮像方向の交点位置を物標の位置として特定する点が記載されている。

特開２０００−１５２２２０号公報特開２００５−２７７７０５号公報

船舶が小型であるような場合、レーダが船舶の検知に失敗することがある。特許文献１に記載の技術による場合、ユーザはレーダが見失った船舶の位置を知ることができない。また、特許文献２には、一時的に見失った船舶が再度、レーダにより検知された場合の処理について記載がない。そのため、特許文献２に記載の技術による場合、一時的に見失った船舶が再度、レーダにより検知されると、既に当該船舶を撮像している主カメラと副カメラとは別に、新たな主カメラと副カメラによって当該船舶が二重に撮像されるなどの不都合が生じる。

上記の事情に鑑み、本発明は、レーダが船舶等の水上の物体を一時的に見失った場合でも、ユーザが当該物体の位置を継続的に知ることを可能とする技術を提供する。

上記の目的を達成するため、本発明は、カメラと、水上の物体を検知するレーダと、前記レーダにより検知された物体の位置に前記カメラの撮像方向が向くように前記カメラの方向を変更する方向変更手段と、前記カメラにより撮像された画像において物体の認識を行う画像認識手段と、前記カメラの方向に基づき前記画像認識手段により認識された物体の位置を特定する位置特定手段と、前記レーダにより検知された物体の位置と前記位置特定手段により特定された物体の位置に基づき、前記レーダにより検知された物体が前記カメラにより撮像されている物体であるか否かを判定する判定手段と、前記画像認識手段により認識された物体の位置と前記カメラにより撮像された画像を表示する表示手段とを備え、前記画像認識手段は、前記方向変更手段により方向の変更が行われた後に前記カメラにより撮像された画像において物体を認識した場合、前記カメラにより撮像される後続の画像の各々において当該物体の認識を行い、前記方向変更手段は、前記カメラにより撮像された画像において前記画像認識手段により物体が認識された場合、画像における当該物体が画像の中央位置に近づくように前記カメラの方向を変更する物体追尾システムを第１の態様として提案する。

上記の第１の態様に係る物体追尾システムによれば、レーダにより検知された物体を追尾するカメラの方向に基づき物体の位置が特定されるため、レーダが物体を見失っても、ユーザは当該物体の位置を継続的に知ることができる。また、上記の第１の態様に係るシステムによれば、レーダにより検知された物体がカメラにより撮像されている物体であるか否かが判定されるため、レーダが一時的に物体を見失っても、同じ物体が異なるカメラにより二重に撮像される等の不都合が生じない。

また、上記の第１の態様に係る物体追尾システムにおいて、前記カメラと前記方向変更手段の数は複数であり、前記レーダにより新たに検知された物体が複数の前記カメラのいずれにも撮像されていないと前記判定手段が判定した場合、複数の前記カメラのうち船舶を撮像していないカメラの中から前記新たに検知された物体を撮像するカメラを選択するカメラ選択手段を備え、前記カメラ選択手段により選択されたカメラに対応する前記方向変更手段は、前記新たに検知された物体の位置に前記選択されたカメラの撮像方向が向くように前記選択されたカメラの方向を変更する、という構成が本発明の第２の態様として採用されてもよい。

上記の第２の態様に係る物体追尾システムによれば、レーダにより複数の船舶が検知された場合、ユーザはそれらの複数の船舶の各々の位置を継続的に知ることができる。

また、上記の第１の態様に係る物体追尾システムにおいて、前記レーダにより検知された物体の移動のベクトルを特定するベクトル特定手段と、前記レーダにより検知された物体の位置と当該物体に関し前記ベクトル特定手段により特定されたベクトルに基づき、当該物体の警戒度を特定する警戒度特定手段とを備える、という構成が本発明の第３の態様として採用されてもよい。

上記の第３の態様に係る物体追尾システムによれば、レーダにより検知された物体の警戒度が特定される。

また、上記の第３の態様に係る物体追尾システムにおいて、前記レーダにより複数の物体が検知された場合、当該複数の物体の各々に関し前記警戒度特定手段により特定された警戒度に基づき、当該複数の物体の中から前記カメラの撮像対象とする物体を選択する撮像対象選択手段を備え、前記方向変更手段は、前記撮像対象選択手段により選択された物体の位置に前記カメラの撮像方向が向くように前記カメラの方向を変更する、という構成が本発明の第４の態様として採用されてもよい。

上記の第４の態様に係る物体追尾システムによれば、警戒すべき船舶がカメラにより撮像される。

また、上記の第１乃至第４のいずれかの態様に係る物体追尾システムにおいて、前記画像認識手段は、前記カメラにより撮像された画像において船舶の認識を行う、という構成が本発明の第５の態様として採用されてもよい。

上記の第５の態様に係る物体追尾システムによれば、レーダにより検知された物体が船舶であるか否かが分かる。

本発明によれば、レーダが船舶等の水上の物体を一時的に見失った場合でも、ユーザは当該物体の位置を継続的に知ることができる。

一実施形態に係る船舶追尾システムのハードウェア構成を示すブロック図。一実施形態に係る管理装置の機能構成を示すブロック図。一実施形態に係る管理装置が用いる船舶データベースのデータ構成を示した図。一実施形態に係る管理装置が用いる位置データベースのデータ構成を示した図。一実施形態に係る管理装置が用いる航行状態データベースのデータ構成を示した図。一実施形態に係る管理装置が行う処理のフロー図。一実施形態に係る管理ユニット１３が表示する船舶監視画面を例示した図。

［実施形態］
以下に本発明の一実施形態に係る船舶追尾システム１を説明する。以下の説明において、船舶追尾システム１は港湾に設置され、港湾内の工事領域及びその周辺の領域を航行する船舶を監視するために用いられるものとする。

図１は、船舶追尾システム１のハードウェア構成を示すブロック図である。船舶追尾システム１は、レーダユニット１１と、ｎ個（ただし、ｎは自然数）のカメラユニット１２、すなわち、カメラユニット１２−１、カメラユニット１２−２、・・・、カメラユニット１２−ｎと、管理ユニット１３を備える。

レーダユニット１１、複数のカメラユニット１２、管理ユニット１３の設置位置は限定されず、例えば、これらが陸上の構造物に設置されてもよいし、巡視艇等の水上の構造物に設置されてもよい。

レーダユニット１１は、レーダ１１１と、ＧＮＳＳ（Global Navigation Satellite System）１１２と、通信部１１３を備える。レーダ１１１は、発射した電波の反射波により物体を検知するとともに、当該物体の位置を測定する。レーダ１１１としては、例えばＰＰＩスコープ（Plan Position Indicator scope）が用いられるが、他の方式のレーダが用いられてもよい。ＧＮＳＳ１１２は、複数の航法衛星から送信される航法信号を受信し、受信した航法信号に基づきレーダ１１１の地球上における位置を測定する。

通信部１１３は、無線又は有線により管理ユニット１３との間でデータ通信を行う。通信部１１３が管理ユニット１３に送信するデータには、レーダ１１１が測定した物体の位置を示すデータ、ＧＮＳＳ１１２が測定したレーダ１１１の位置を示すデータが含まれる。

カメラユニット１２の各々は、カメラ１２１と、二軸雲台１２２と、ＧＮＳＳ１２３と、通信部１２４を備える。カメラ１２１は、撮像を行い、撮像した画像を表すデータを生成する。本実施形態において、カメラ１２１はオートフォーカス機能を備え、被写体までの距離を測定することができる。

二軸雲台１２２は、管理ユニット１３から送信される制御データに従い、カメラ１２１の方向を変更する。ＧＮＳＳ１２３は、複数の航法衛星から送信される航法信号を受信し、受信した航法信号に基づきカメラ１２１の地球上における位置を測定する。

通信部１２４は、無線又は有線により管理ユニット１３との間でデータ通信を行う。通信部１２４が管理ユニット１３に送信するデータには、カメラ１２１が撮像した画像を表すデータ及び被写体までの距離を示すデータ、ＧＮＳＳ１２３が測定したカメラ１２１の位置を示すデータが含まれる。また、通信部１２４が管理ユニット１３から受信するデータには、二軸雲台１２２に対する制御データが含まれる。

管理ユニット１３は、コンピュータ１３１と、ディスプレイ１３２と、操作装置１３３を備える。コンピュータ１３１は、メモリ１３１１と、プロセッサ１３１２と、通信部１３１３を備える。メモリ１３１１は、プログラム及び各種データを記憶する。プロセッサ１３１２は、メモリ１３１１に記憶されているプログラムに従い各種データ処理を行う。

通信部１３１３は、無線又は有線によりレーダユニット１１及びカメラユニット１２の各々との間でデータ通信を行う。

ディスプレイ１３２は、コンピュータ１３１から出力されるデータが表す画像を表示する。操作装置１３３は、ユーザの管理ユニット１３に対する操作を受け付ける。操作装置１３３としては、例えば、キーボード、マウス等が用いられる。なお、ディスプレイ１３２と操作装置１３３が一体となったタッチスクリーン等が用いられてもよい。

図２は、管理ユニット１３が備えるコンピュータ１３１により実現される管理装置１３０の機能構成を示すブロック図である。すなわち、プロセッサ１３１２はメモリ１３１１に記憶されている本実施形態に係るプログラムに従うデータ処理を行うことにより、図２に示す構成を備える管理装置１３０として動作する。

以下に、管理装置１３０が備える構成部の説明を行う。方向指示手段１３０１は、レーダ１１１により検知された物体の位置に、カメラ選択手段１３０６により選択されたカメラユニット１２のカメラ１２１の撮像方向が向くように、基準方向に対するカメラ１２１の旋回角及び俯仰角を算出し、算出した旋回角及び俯仰角を示す制御データを、通信手段１３１４を介してカメラユニット１２に送信する。

なお、方向指示手段１３０１は、カメラ１２１の旋回角及び俯仰角の算出において、レーダ１１１から送信されてきた物体の位置（レーダ１１１の位置を基準とする相対位置）を示すデータと、予めレーダユニット１１から送信され記憶手段１３１０に記憶されているレーダ１１１の位置（地球上の位置）を示すデータと、予めカメラユニット１２から送信され記憶手段１３１０に記憶されているカメラ１２１の位置（地球上の位置）を示すデータを用いる。

方向指示手段１３０１と、方向指示手段１３０１により生成される制御データに従いカメラ１２１の方向を変更する二軸雲台１２２は、レーダ１１１により検知された物体の位置にカメラ１２１の撮像方向が向くようにカメラ１２１の方向を変更する方向変更手段を構成する。

画像認識手段１３０２は、カメラ１２１により撮像された画像において船舶の認識を行う。具体的には、画像認識手段１３０２は、まず、画像に写っている物体を認識し、認識した物体の画像から抽出した特徴情報と、予め記憶手段１３１０に記憶されている船舶データベースに格納されている船舶の特徴情報とのマッチングを試み、マッチングが成功すれば、画像に写っている物体が、マッチした特徴情報に対応する船舶であると認識する。なお、ここでマッチングとは必ずしも２つの特徴情報が一致することを意味せず、２つの特徴情報の類似度が所定の条件を満たすことを意味する。

図３は、船舶データベースのデータ構成を示した図である。船舶データベースは、船舶の種類毎に、船舶を識別する船舶名、船舶の画像から抽出された特徴情報、船舶情報（例えば、船舶のサイズ、馬力、最大船速等）を示すデータを格納している。

位置特定手段１３０３は、レーダ１１１により検知された、レーダ１１１の位置を基準とする物体の位置と、予めレーダ１１１から送信され記憶手段１３１０に記憶されているデータが示すレーダ１１１の地球上の位置に基づき、レーダ１１１により検知された物体の地球上の位置を特定する。

また、位置特定手段１３０３は、画像認識手段１３０２により認識された船舶の地球上の位置を、当該船舶を撮像したカメラ１２１の方向（旋回角及び俯仰角）と、当該カメラ１２１が当該船舶を撮像した際に計測した被写体（船舶）までの距離とに基づき特定する。

なお、位置特定手段１３０３は、画像認識手段１３０２により認識された船舶の地球上の位置の特定において、当該船舶を撮像したカメラ１２１に方向指示手段１３０１が送信した制御データと、カメラ１２１から送信されてきたカメラ１２１から被写体までの距離を示すデータと、予めカメラユニット１２から送信され記憶手段１３１０に記憶されているカメラ１２１の位置（地球上の位置）を示すデータを用いる。

以下、レーダ１１１により検知された位置を用いて位置特定手段１３０３が特定した物体の地球上の位置を「レーダ１１１により特定された物体の位置」と呼び、カメラ１２１の方向と被写体までの距離を用いて位置特定手段１３０３が特定した船舶の地球上の位置を「カメラ１２１により特定された船舶の位置」と呼ぶ。

位置特定手段１３０３により特定された物体の位置を示すデータは、記憶手段１３１０に記憶されている位置データベースに時系列で格納される。

図４は、位置データベースのデータ構成を示した図である。位置データベースには、位置特定手段１３０３により位置が特定された物体の各々に応じたテーブルが含まれる。位置データベースに含まれる各テーブルには、物体を識別する物体ＩＤ（Identifier）と、当該物体が画像認識手段１３０２により船舶と認識された場合にその船舶の種類を示す船舶名が対応付けられている。

位置データベースに含まれる各テーブルには、物体の位置の特定が行われる毎に、位置の特定が行われた時刻、レーダ１１１により特定された物体の位置、カメラ１２１により特定された船舶の位置を示すデータが格納されていく。なお、本実施形態においては、画像認識手段１３０２により船舶と認識されなかった物体はカメラ１２１により撮像されない。従って、画像認識手段１３０２により船舶と認識されなかった物体に応じたテーブルには、カメラ１２１により特定された船舶の位置を示すデータは格納されない。

判定手段１３０４は、位置データベースに格納されているデータが示すレーダ１１１により特定された物体の位置とカメラ１２１により特定された船舶の位置に基づき、レーダ１１１により検知された物体がいずれかのカメラ１２１により撮像されている船舶であるか否かを判定する。

表示指示手段１３０５は、画像認識手段１３０２により認識された船舶の位置と、カメラ１２１により撮像された画像を含む船舶監視画面を表す画像データを生成し、生成した画像データをディスプレイ１３２に出力する。船舶監視画面については後述する。表示指示手段１３０５とディスプレイ１３２は、画像認識手段１３０２により認識された船舶の位置とカメラ１２１により撮像された画像を表示する表示手段を構成する。

カメラ選択手段１３０６は、レーダ１１１により新たに検知された物体がいずれのカメラ１２１にも撮像されていないと判定手段１３０４が判定した場合、船舶を撮像していないカメラ１２１があれば、それらのカメラ１２１の中から新たに検知された物体を撮像するカメラ１２１を任意に選択する。

ベクトル特定手段１３０７は、位置データベースに格納されているデータに基づき、レーダ１１１により検知された船舶の移動のベクトルを特定する。

警戒度特定手段１３０８は、レーダ１１１により検知された船舶の位置と、当該船舶に関しベクトル特定手段１３０７により特定されたベクトルに基づき、当該船舶の警戒度を特定する。本実施形態において、警戒度は、港湾における危険領域に船舶が入る危険性の高さを意味する。

警戒度特定手段１３０８は、例えば以下の式１に従い、警戒度Ｒを算出する。ただし、Ｖは船舶の速度が大きい程、大きな値を示す指標値であり、Ｌは船舶から危険領域までの距離が大きい程、大きな値を示す指標値、Ｄは船舶の航行方向が危険領域に向かう方向に近い程、大きな値を示す指標値である。

式１に従い算出される警戒度Ｒは、船舶の速度が大きい程、大きな値を示し、船舶が危険領域から離れている程、小さな値を示し、船舶の航行方向が危険領域に向かう方向に近い程、大きな値を示す。

警戒度特定手段１３０８が警戒度Ｒを算出するために、記憶手段１３１０には、画像認識手段１３０２により認識された船舶の航行方向、速度、危険領域からの距離を格納する航行状態データベースが記憶されている。図５は、航行状態データベースのデータ構成を示した図である。航行状態データベースには、船舶を識別する船舶ＩＤ、航行方向、速度、危険領域からの距離、警戒度が格納される。

航行状態データベースに格納されるデータが示す航行方向と速度は、ベクトル特定手段１３０７により特定された航行方向と速度である。航行状態データベースに格納されるデータが示す危険領域からの距離は、予め記憶手段１３１０に記憶されているデータが示す危険領域の位置と、位置データベースに格納されているデータが示す船舶の位置に基づき、警戒度特定手段１３０８が算出したものである。航行状態データベースに格納されるデータが示す警戒度は、警戒度特定手段１３０８が式１に従い算出したものである。

撮像対象選択手段１３０９は、レーダ１１１により複数の物体が検知された場合、これら複数の物体の各々に関し警戒度特定手段１３０８により特定された警戒度Ｒに基づき、これら複数の物体の中からカメラ１２１の撮像対象とする物体を選択する。具体的には、撮像対象選択手段１３０９は、レーダ１１１により検知され、画像認識手段１３０２により船舶と認識された物体の数がカメラ１２１の数より多い場合、それらの船舶の中から、警戒度Ｒが高い方から順にカメラ１２１の数だけ撮像対象とする船舶を選択する。

方向指示手段１３０１は、撮像対象選択手段１３０９により選択された撮像対象の船舶のうち、現在いずれかのカメラ１２１により撮像されている船舶に関しては、当該カメラ１２１の撮像方向が継続して撮像対象の船舶の位置に向くように、当該カメラ１２１に制御データを送信する。一方、撮像対象選択手段１３０９により選択された撮像対象の船舶のうち、現在いずれのカメラ１２１にも撮像されていない船舶に関しては、撮像対象でなくなった船舶をそれまで撮像していたカメラ１２１の撮像方向が新たに撮像対象となった船舶の位置に向くように、当該カメラ１２１に制御データを送信する。

記憶手段１３１０は、上述したように各種データを記憶する。通信手段１３１４は、レーダユニット１１及びカメラユニット１２の各々との間で各種データの送受信を行う。

以下に、管理装置１３０の動作を説明する。図６は、所定の周期でレーダ１１１により検知した物体の各々に関し管理装置１３０が行う処理のフロー図である。以下、レーダ１１１により特定され、図６のフローに従う処理の対象となった物体を物体Ｘと呼ぶ。

まず、位置特定手段１３０３は物体Ｘの地球上の位置を特定する（ステップＳ１０１）。

続いて、判定手段１３０４は、ステップＳ１０１において特定された物体Ｘの位置と、位置データベースに格納されているデータが示す物体の位置に基づき、物体Ｘが既に位置データベースに登録されている物体であるか否かを判定する（ステップＳ１０２）。例えば、位置データベースに含まれるいずれかのテーブルが示す物体の最新の位置が、ステップＳ１０１において特定された物体Ｘの位置から所定距離以内であれば、判定手段１３０４はこれらの物体が同一であり、物体Ｘは既に位置データベースに登録されている、と判定する。

ステップＳ１０２において、物体Ｘがまだ位置データベースに登録されていないと判定された場合（ステップＳ１０２：ＮＯ）、管理装置１３０は物体Ｘに関するテーブルを位置データベースに新規登録する（ステップＳ１０３）。具体的には、管理装置１３０は、物体Ｘにユニークな物体ＩＤを割り当て、位置データベースに当該物体ＩＤに対応する新たなテーブルを追加する。

続いて、管理装置１３０は、新規登録したテーブルに新たなデータ行を追加し、「時刻」欄に現在時刻を示すデータを、「レーダによる位置」欄にステップＳ１０１において特定した物体Ｘの位置を示すデータを格納する（ステップＳ１０４）。

ステップＳ１０２において、物体Ｘが位置データベースに登録されていると判定された場合（ステップＳ１０２：ＹＥＳ）、管理装置１３０は物体Ｘに関するテーブルに新たなデータ行を追加し、「時刻」欄に現在時刻を示すデータを、「レーダによる位置」欄にステップＳ１０１において特定した物体Ｘの位置を示すデータを格納する（ステップＳ１０５）。

続いて、ベクトル特定手段１３０７は物体Ｘの移動のベクトルを特定し、特定したベクトルを示すデータを航行状態データベースに格納する（ステップＳ１０６）。

ステップＳ１０４又はステップＳ１０６に続いて、警戒度特定手段１３０８は上述した式１に従い物体Ｘの警戒度Ｒを特定し、特定した警戒度Ｒを示すデータを航行状態データベースに格納する（ステップＳ１０７）。なお、ステップS１０４に続いて実行されるステップＳ１０７においては、物体Ｘが検知された直後であり、物体Ｘの位置は特定されているが物体Ｘの移動のベクトルは特定されていない。この場合、警戒度特定手段１３０８は警戒度Ｒの値として「０」等の既定値を採用する。

続いて、カメラ選択手段１３０６は、いずれの船舶も撮像していないカメラ１２１が有るか否かを判定する（ステップＳ１０８）。いずれの船舶も撮像していないカメラ１２１が無い場合（ステップＳ１０８：ＮＯ）、撮像対象選択手段１３０９は物体Ｘが撮像対象であるか否かを判定する（ステップＳ１０９）。物体Ｘが撮像対象でないと判定された場合（ステップＳ１０９：ＮＯ）、管理装置１３０は図６のフローに従う処理を終了する。

ステップＳ１０８において、いずれの船舶も撮像していないカメラ１２１が有ると判定された場合（ステップＳ１０８：ＹＥＳ）、又は、ステップＳ１０９において、物体Ｘが撮像対象であると判定された場合（ステップＳ１０９：ＹＥＳ）、管理装置１３０は、位置データベースの物体Ｘのテーブルを参照し、物体Ｘが現在、いずれかのカメラ１２１により撮像されているか否かを判定する（ステップＳ１１０）。

ステップＳ１１０の判定において、物体Ｘが現在、いずれのカメラ１２１にも撮像されていないと判定された場合（ステップＳ１１０：ＮＯ）、カメラ選択手段１３０６は物体Ｘを撮像するためのカメラ１２１を選択する（ステップＳ１１１）。

続いて、方向指示手段１３０１は、ステップＳ１１１において選択されたカメラ１２１の撮像方向が物体Ｘの位置を向くような旋回角と俯仰角を特定し、特定した旋回角及び俯仰角を示す制御データを、ステップＳ１１１において選択されたカメラ１２１を備えるカメラユニット１２に送信する（ステップＳ１１２）。制御データを受信したカメラユニット１２の二軸雲台１２２は、管理ユニット１３から受信した制御データに従い、カメラ１２１の方向を変更する。

続いて、画像認識手段１３０２は撮像方向が物体Ｘの位置に向けられたカメラ１２１により撮像された画像に写っている物体の認識を行う（ステップＳ１１３）。続いて、判定手段１３０４はステップＳ１１３で認識された物体が船舶であるか否かを判定する（ステップＳ１１４）。

ステップＳ１１３において認識された物体が船舶でなかった場合（ステップＳ１１４：ＮＯ）、管理装置１３０は図６のフローに従う処理を終了する。この場合、物体Ｘはカメラ１２１により追尾されない。

ステップＳ１１３において認識された物体が船舶であった場合（ステップＳ１１４：ＹＥＳ）、画像認識手段１３０２は位置データベースの物体Ｘに対応するテーブルに、認識された船舶の種類を示す船舶名を対応付けて記憶する（ステップＳ１１５）。

ステップＳ１１０の判定において、物体Ｘが現在、いずれかのカメラ１２１に撮像されていると判定された場合（ステップＳ１１０：ＹＥＳ）、画像認識手段１３０２はそのカメラ１２１により撮像された画像に写っている物体の認識を行う（ステップＳ１１６）。

ステップＳ１１５又はステップＳ１１６に続いて、方向指示手段１３０１は、ステップＳ１１３又はステップＳ１１６において認識された物体Ｘが画像の中央位置に近づくようなカメラ１２１の旋回角と俯仰角を特定し、特定した旋回角及び俯仰角を示す制御データを、物体Ｘを撮像しているカメラ１２１を備えるカメラユニット１２に送信する（ステップＳ１１７）。制御データを受信したカメラユニット１２の二軸雲台１２２は、管理ユニット１３から受信した制御データに従い、カメラ１２１の方向を変更する。その結果、物体Ｘがカメラ１２１により追尾される。その後、管理装置１３０は図６のフローに従う処理を終了する。

管理装置１３０は、例えば、所定時間の経過毎に、位置データベースと航行状態データベースから不要なデータを削除する。具体的には、管理装置１３０は、位置データベースに含まれるテーブルのうち、最後に位置が特定された時刻から所定時間が経過しているものを削除する。また、管理装置１３０は、位置データベースから削除したテーブルに船舶ＩＤが対応付けられていた場合、当該船舶ＩＤに対応するデータを航行状態データベースから削除する。

管理装置１３０の表示指示手段１３０５は、位置データベース及び航行状態データベースに格納されているデータを用いて、船舶監視画面を表す画像データを生成し、ディスプレイ１３２に出力する。ディスプレイ１３２は、管理装置１３０から入力される画像データが表す船舶監視画面を表示する。図７は、ディスプレイ１３２により表示される船舶監視画面を例示した図である。

図７において、Ａは港湾の構造物であり、その他は海である。Ｂは工事中等の理由により、一般の船舶が立ち入ると危険な領域（以下、「危険領域Ｂ」という）を示す。海上に示されるマークＰ１〜Ｐ１１は、レーダ１１１により検知されている物体（船舶）か、もしくは、レーダ１１１により検知された後、レーダ１１１によっては見失われたが、カメラ１２１により追尾されている船舶の位置を示す。マークＰ１〜Ｐ１１に付加されている矢印は、これらのマークに応じた船舶の移動のベクトルを示す。

マークＰ１〜Ｐ１１は、例えば、警戒度Ｒが所定の閾値より高ければ赤色、それ以外は緑色のように、警戒度Ｒに応じた表示態様で表示される。従って、ユーザは警戒すべき船舶と、その位置及び移動のベクトルを容易に知ることができる。

また、マークＰ１〜Ｐ１１のうち、カメラ１２１により追尾されている船舶に応じたものは太線、それ以外は細線のように、カメラ１２１による追尾の有無に応じた表示態様で表示される。ユーザは、カメラ１２１により追尾されている船舶に応じたマークをクリック等することで、当該船舶の画像を当該船舶の情報（全長、最大船速等）と共に表示させることができる。なお、表示指示手段１３０５は、ユーザにより指定された船舶の情報を、船舶データベースから読み出して船舶監視画面に表示させる。

なお、ユーザによるクリック等の操作に応じることなく、カメラ１２１により撮像されている画像や船舶の情報が常時、船舶監視画面に表示されてもよい。

上述した船舶追尾システム１によれば、レーダ１１１が船舶を一時的に見失った場合でも、画像により当該船舶を追尾するカメラ１２１の方向等により当該船舶の位置が継続して特定される。また、レーダ１１１が一時的に見失った船舶が再度、レーダ１１１により検知された場合、レーダ１１１により特定された船舶の位置とカメラ１２１により特定された船舶の位置により、それらの船舶が同一であるか否かが判定されるため、複数のカメラ１２１により同じ船舶を追尾してしまう等の不都合が生じない。

［変形例］
上述の実施形態は本発明の一具体例であって、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。

上述した実施形態において、位置特定手段１３０３はカメラ１２１が備えるオートフォーカス機能により計測される被写体までの距離を用いてカメラ１２１により撮像されている船舶の位置を特定する。カメラ１２１から被写体までの距離の測定方法はこれに限られない。例えば、カメラ１２１がステレオカメラであれば、両眼視差によりカメラ１２１が特定する被写体までの距離が船舶の位置の特定に用いられてもよい。また、船舶追尾システム１がレーザ測距センサを備え、レーザ測距センサにより計測されたカメラ１２１から被写体までの距離が船舶の位置の特定に用いられてもよい。

上述した実施形態において、船舶追尾システム１は海上を航行する船舶の監視に用いられるが、船舶追尾システム１が河川、湖沼等を航行する船舶の監視に用いられてもよい。

上述した実施形態の説明において用いた式、データ構成等は例示であって、本発明はこれらにより限定されない。例えば、上述した実施形態において、警戒度Ｒは式１に従い算出されるものとしたが、物体Ｘの位置と移動のベクトルに基づき現在の移動のベクトルが維持された場合に物体Ｘが危険領域Ｂに到達するまでの時間を算出し、算出した時間に応じた警戒度Ｒを特定する等、他の方法が採用されてもよい。

上述した実施形態において管理ユニット１３のコンピュータ１３１が行うものとした処理の一部が、レーダユニット１１又はカメラユニット１２により行われてもよい。例えば、カメラユニット１２が画像認識手段を備え、画像認識がカメラユニット１２において行われてもよい。

上述した実施形態において、管理装置１３０はコンピュータ１３１により実現されるものとしたが、管理装置１３０が専用装置として構成されてもよい。

１…船舶追尾システム、１１…レーダユニット、１２…カメラユニット、１３…管理ユニット、１１１…レーダ、１１２…ＧＮＳＳ、１１３…通信部、１２１…カメラ、１２２…二軸雲台、１２３…ＧＮＳＳ、１２４…通信部、１３０…管理装置、１３１…コンピュータ、１３２…ディスプレイ、１３３…操作装置、１３０１…方向指示手段、１３０２…画像認識手段、１３０３…位置特定手段、１３０４…判定手段、１３０５…表示指示手段、１３０６…カメラ選択手段、１３０７…ベクトル特定手段、１３０８…警戒度特定手段、１３０９…撮像対象選択手段、１３１０…記憶手段、１３１４…通信手段、１３１１…メモリ、１３１２…プロセッサ、１３１３…通信部。

Claims

カメラと、
水上の物体を検知するレーダと、
前記レーダにより検知された物体の位置に前記カメラの撮像方向が向くように前記カメラの方向を変更する方向変更手段と、
前記カメラにより撮像された画像において物体の認識を行う画像認識手段と、
前記カメラの方向に基づき前記画像認識手段により認識された物体の位置を特定する位置特定手段と、
前記レーダにより検知された物体の位置と前記位置特定手段により特定された物体の位置に基づき、前記レーダにより検知された物体が前記カメラにより撮像されている物体であるか否かを判定する判定手段と、
前記画像認識手段により認識された物体の位置と前記カメラにより撮像された画像を表示する表示手段と
を備え、
前記画像認識手段は、前記方向変更手段により方向の変更が行われた後に前記カメラにより撮像された画像において物体を認識した場合、前記カメラにより撮像される後続の画像の各々において当該物体の認識を行い、
前記方向変更手段は、前記カメラにより撮像された画像において前記画像認識手段により物体が認識された場合、画像における当該物体が画像の中央位置に近づくように前記カメラの方向を変更する
物体追尾システム。
前記カメラと前記方向変更手段の数は複数であり、
前記レーダにより新たに検知された物体が複数の前記カメラのいずれにも撮像されていないと前記判定手段が判定した場合、複数の前記カメラのうち船舶を撮像していないカメラの中から前記新たに検知された物体を撮像するカメラを選択するカメラ選択手段
を備え、
前記カメラ選択手段により選択されたカメラに対応する前記方向変更手段は、前記新たに検知された物体の位置に前記選択されたカメラの撮像方向が向くように前記選択されたカメラの方向を変更する
請求項１に記載の物体追尾システム。
前記レーダにより検知された物体の移動のベクトルを特定するベクトル特定手段と、
前記レーダにより検知された物体の位置と当該物体に関し前記ベクトル特定手段により特定されたベクトルに基づき、当該物体の警戒度を特定する警戒度特定手段と
を備える請求項１に記載の物体追尾システム。
前記レーダにより複数の物体が検知された場合、当該複数の物体の各々に関し前記警戒度特定手段により特定された警戒度に基づき、当該複数の物体の中から前記カメラの撮像対象とする物体を選択する撮像対象選択手段
を備え、
前記方向変更手段は、前記撮像対象選択手段により選択された物体の位置に前記カメラの撮像方向が向くように前記カメラの方向を変更する
請求項３に記載の物体追尾システム。
前記画像認識手段は、前記カメラにより撮像された画像において船舶の認識を行う
請求項１乃至４のいずれか１項に記載の物体追尾システム。