JP2023124259A - 物標監視装置、操船システム、物標監視方法、及びプログラム - Google Patents

Abstract

【課題】場面に適した画像認識が可能な物標監視装置を提供する。【解決手段】物標監視装置は、船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得する画像取得部と、画像が昼間に撮像されたか夜間に撮像されたか判定する場面判定部と、画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、画像に含まれる物標を検出する昼間用画像認識部と、画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、画像に含まれる物標を検出する夜間用画像認識部と、を備える。【選択図】図４

Description

本発明は、物標監視装置、操船システム、物標監視方法、及びプログラムに関する。

特許文献１には、工事用船舶の周辺水域の画像データを逐次取得するカメラ装置を設置し、周辺水域の画像データを演算装置に逐次入力して、演算装置には、工事用船舶以外の工事用船舶である他の工事用船舶を含む複数種類の船の画像データと船以外の画像データとを教師データとして機械学習された予測モデルを予め記憶しておき、演算装置を用いて、予測モデルと周辺水域の画像データとに基づいて周辺水域の画像データに、予め設定された監視対象種類の船が存在しているか否かを逐次判定する技術が開示されている。

特開２０２１－１８７２８２号公報

ところで、２４時間に亘って海上の物標を監視するＡＩ画像認識システムを構築する際に、昼間又は夜間などの様々な場面で撮像された様々な画像を認識可能な１つの学習済みモデルを作成することは、学習コストが高く、精度向上が困難である。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、場面に適した画像認識が可能な物標監視装置、操船システム、物標監視方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の物標監視装置は、船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得する画像取得部と、前記画像が昼間に撮像されたか夜間に撮像されたか判定する場面判定部と、前記画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する昼間用画像認識部と、前記画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する夜間用画像認識部とを備える。これによると、場面に適した画像認識が可能となる。

上記態様において、前記場面判定部は、場面判定用の学習済みモデルを用いて、前記画像が昼間に撮像されたか夜間に撮像されたか判定してもよい。これによると、場面判定用の学習済みモデルを用いることで、場面判定の精度向上を図ることが可能となる。

上記態様において、前記夜間用画像認識部は、前記夜間用の学習済みモデルにより検出され、且つ所定以上の輝度を有する物標候補を、前記物標として検出してもよい。夜間用の学習済みモデルのみでは、独立した単一の光を物標として検出できないおそれがあるが、所定以上の輝度を有するというルールを組み合わせることで、夜間に撮像された画像であっても物標検出の精度向上を図ることが可能となる。

上記態様において、前記昼間用画像認識部は、前記昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出するとともに、前記物標の種類を判別してもよい。これによると、物標の検出だけでなく、物標の種類の判別が可能となる。

上記態様において、前記夜間用画像認識部は、前記夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出するとともに、物標であるか否か判別してもよい。夜間に撮像された画像では物標の種類の判別が困難であるため、物標の種類ではなく、物標であるか否か判別することで、夜間に撮像された画像に適した学習済みモデルを用いることが可能となる。

上記態様において、前記場面判定部は、さらに、前記画像が日の出又は日の入の時間帯に撮像されたか判定し、前記画像が日の出又は日の入の時間帯に撮像されたと判定された場合に、日出入用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する日出入用画像認識部をさらに備えてもよい。日の出又は日の入の時間帯は海面の反射が強いため、昼間用又は夜間用の学習済みモデルでは物標検出の精度が十分でないおそれがあるが、日出入用の学習済みモデルを用いることで、日の出又は日の入の時間帯に撮像された画像であっても物標検出の精度向上を図ることが可能となる。

上記態様において、前記日出入用画像認識部は、前記日出入用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出するとともに、前記物標の種類を判別してもよい。これによると、物標の検出だけでなく、物標の種類の判別が可能となる。

上記態様において、前記場面判定部は、さらに、前記画像が逆光で撮像されたか判定し、前記画像が逆光で撮像されたと判定された場合に、前記学習済みモデルに入力される前の前記画像に対してガンマ補正又はコントラスト調整を行う前処理部をさらに備えてもよい。これによると、逆光で撮像された画像であっても物標検出の精度向上を図ることが可能となる。

上記態様において、前記場面判定部は、さらに、前記画像が霧中で撮像されたか判定し、前記画像が霧中で撮像されたと判定された場合に、前記学習済みモデルに入力される前の前記画像に対して画像鮮明化処理を行う前処理部をさらに備えてもよい。これによると、霧中で撮像された画像であっても物標検出の精度向上を図ることが可能となる。

上記態様において、前記昼間用の学習済みモデルは、昼間に撮像された画像を含む学習用画像を入力データとし、前記学習用画像に含まれる物標の画像内位置及び種類を教師データとして、機械学習により生成された学習済みモデルであってもよい。これによると、昼間に撮像された画像に適した学習済みモデルを用いることが可能となる。

上記態様において、前記夜間用の学習済みモデルは、夜間に撮像された画像を含む学習用画像を入力データとし、前記学習用画像に含まれる物標の画像内位置を教師データとして、機械学習により生成された学習済みモデルであってもよい。これによると、夜間に撮像された画像に適した学習済みモデルを用いることが可能となる。

上記態様において、前記日出入用の学習済みモデルは、日の出又は日の入の時間帯に撮像された画像を含む学習用画像を入力データとし、前記学習用画像に含まれる物標の画像内位置及び種類を教師データとして、機械学習により生成された学習済みモデルであってもよい。これによると、日の出又は日の入の時間帯に撮像された画像に適した学習済みモデルを用いることが可能となる。

また、本発明の他の態様の操船システムは、上記物標監視装置と、前記物標監視装置により検出された物標に基づいて操船判断を行う操船判断部と、前記操船判断に基づいて前記船舶の操船制御を行う操船制御部と、を備える。これによると、場面に適した画像認識により検出された物標に基づく操船判断及び操船制御が可能となる。

また、本発明の他の態様の物標監視方法は、船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得し、前記画像が昼間に撮像されたか夜間に撮像されたか判定し、前記画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出し、前記画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する。これによると、場面に適した画像認識が可能となる。

また、本発明の他の態様のプログラムは、船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得すること、前記画像が昼間に撮像されたか夜間に撮像されたか判定すること、前記画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出すること、及び、前記画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出すること、をコンピュータに実行させる。これによると、場面に適した画像認識が可能となる。

物標監視システムの構成例を示す図である。 物標監視装置の構成例を示す図である。 物標管理ＤＢの内容例を示す図である。 画像処理部の構成例を示す図である。 場面判定用の学習済みモデルによる認識例を示す図である。 昼間用の学習済みモデルによる認識例を示す図である。 夜間用の学習済みモデルによる認識例を示す図である。 日出入用の学習済みモデルによる認識例を示す図である。 物標監視方法の手順例を示す図である。 前処理の手順例を示す図である。 画像認識処理の手順例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

図１は、物標監視システム１００の構成例を示すブロック図である。物標監視システム１００は、船舶に搭載されるシステムである。以下の説明では、物標監視システム１００が搭載された船舶を「自船」といい、その他の船舶を「他船」という。

物標監視システム１００は、物標監視装置１、表示部２、レーダー３、ＡＩＳ４、カメラ５、ＧＮＳＳ受信機６、ジャイロコンパス７、ＥＣＤＩＳ８、無線通信部９、及び操船制御部を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。

物標監視装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。物標監視装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

表示部２は、物標監視装置１により生成された表示用画像を表示する。表示部２は、レーダー画像、カメラ画像、又は電子海図なども表示する。

表示部２は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。

レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表すＴＴデータ（Target Tracking Data）を生成する。

ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。

カメラ５は、自船から外部を撮像して画像データを生成するデジタルカメラである。カメラ５は、例えば自船のブリッジに船首方位を向いて設置される。カメラ５は、パン・チルト機能及び光学ズーム機能を有するカメラ、いわゆるＰＴＺカメラであってもよい。

ＧＮＳＳ受信機６は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス７は、自船の船首方位を検出する。ジャイロコンパスに限らず、ＧＰＳコンパスが用いられてもよい。

ＥＣＤＩＳ（Electronic Chart Display and Information System）８は、ＧＮＳＳ受信機６から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ＥＣＤＩＳ８は、電子海図上に自船の計画航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。

無線通信部９は、例えば極超短波、超短波帯、中短波帯、又は短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。

操船制御部１０は、自動操船を実現するための制御装置であり、自船の操舵機を制御する。また、操船制御部１０は、自船のエンジンを制御してもよい。

本実施形態において、物標監視装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置と一体であってもよい。すなわち、物標監視装置１の機能が他の装置で実現されてもよい。

なお、本実施形態では、物標監視装置１は自船に搭載され、自船の周囲に存在する他船等の物標を監視するために用いられるが、用途はこれに限られない。例えば、物標監視装置１は陸上の管制に設置され、管制海域に存在する船舶を監視するために用いられてもよい。

図２は、物標監視装置１の構成例を示すブロック図である。物標監視装置１の制御部２０は、画像取得部１１、画像処理部１２、表示制御部１３、及び操船判断部１４を備えている。これらの機能部は、制御部２０がプログラムに従って情報処理を実行することによって実現される。なお、操船判断部１４は、物標監視装置１の外部にあってもよい。

物標監視装置１の制御部２０は、物標管理ＤＢ（データベース）１９をさらに備えている。物標管理ＤＢ１９は、物標監視装置１のメモリに設けられる。

画像取得部１１は、自船に設置されたカメラ５により撮像された他船等の海上の物標を含む画像を取得する。画像取得部１１は、カメラ５から時系列の画像を逐次取得し、画像処理部１２に逐次提供する。時系列の画像は、例えば動画像データに含まれる静止画像（フレーム）である。

画像処理部１２は、画像取得部１１により取得された画像に対して画像認識等の所定の画像処理を行い、画像から認識された物標の物標データを生成し、物標管理ＤＢ１９に登録する。画像処理部１２の詳細については後述する。

物標管理ＤＢ１９は、画像処理部１２により生成された物標データを管理するデータベースである。物標管理ＤＢ１９には、画像処理部１２により生成された物標データだけでなく、レーダー３により生成されたＴＴデータ又はＡＩＳ４により受信されたＡＩＳデータ等の他の物標データが統合されてもよい。

表示制御部１３は、物標管理ＤＢ１９に登録された物標データに基づいて、物標を表すオブジェクトを含む表示用画像を生成し、表示部２に出力する。表示用画像は、例えばレーダー画像、電子海図、又はそれらを合成した画像であり、物標を表すオブジェクトは、物標の実際の位置に対応する画像内の位置に配置される。

操船判断部１４は、物標管理ＤＢ１９に登録された物標データに基づいて操船判断を行い、物標を避ける必要があると判断した場合に、操船制御部１０に避航操船を行わせる。具体的には、操船制御部１０は、避航操船アルゴリズムにより物標を避けるための避航航路を算出し、自船が避航航路に従うように操舵機又はエンジン等を制御する。

図３は、物標管理ＤＢ１９の内容例を示す図である。物標管理ＤＢ１９は、例えば「物標ＩＤ」「種類」、「画像内位置」、「実位置」、「速度」、及び「針路」等のフィールドを含んでいる。物標管理ＤＢ１９は、その他に、例えば物標の大きさ及び検出からの経過時間などをさらに含んでもよい。

「種類」は、カメラ５により撮像された画像から判別される物標の種類を表す。物標の種類は、例えばタンカー、プレジャーボード、漁船などの船種である。物標の種類は、例えばブイ等の海上設置物をさらに含んでもよい。

「画像内位置」は、画像内の物標が存在する位置を表す。「実位置」は、物標の画像内位置に基づいて算出される、現実空間における物標の位置を表す。実位置は、まず自船に対する物標の相対位置を画像内位置から算出し、自船の位置を用いて物標の絶対位置に変換することで算出される。なお、「位置」は、レーダー３により検出された物標の相対位置又はＡＩＳ４により受信された物標の実位置を統合して算出してもよく、或いはそれに代えてもよい。「速度」及び「針路」は、物標の実位置の時間的変化に基づいて算出される物標の速度及び針路を表す。

物標管理ＤＢ１９には、カメラ５により撮像された画像から認識された物標の物標データだけでなく、別途設置されたＰＺＴカメラ、定点固定カメラ、３６０度カメラ、又は赤外線カメラにより撮像された画像から認識された物標の物標データがさらに登録されてもよい。

図４は、画像処理部１２の構成例を示す図である。画像処理部１２は、場面判定部２１、前処理部２２、昼間用画像認識部２３、夜間用画像認識部２４、及び日出入用画像認識部２５を備えている。これらの機能部は、制御部２０がプログラムに従って情報処理を実行することによって実現される。

画像処理部１２は、判定用モデル保持部３１、昼間用モデル保持部３３、夜間用モデル保持部３４、及び日出入用モデル保持部３５をさらに備えている。これらの記憶部は、物標監視装置１のメモリに設けられる。

場面判定部２１は、判定用モデル保持部３１に保持された場面判定用の学習済みモデルを用いて、画像取得部１１により取得された画像が昼間に撮像されたか、夜間に撮像されたか、又は日の出若しくは日の入の時間帯に撮像されたか判定する。場面判定部２１は、さらに、画像が逆光で撮像されたか、画像が霧中で撮像されたか判定する。

図５に示すように、自船に搭載されたカメラ５により撮像された画像Ｐが場面判定用の学習済みモデルＤＭに入力されると、画像Ｐが撮像された場面を表す判定結果が場面判定用の学習済みモデルＤＭから出力される。

場面判定用の学習済みモデルＤＭは、例えば畳み込みニューラルネットワーク（ＣＮＮ）等の画像判別モデルである。場面判定用の学習済みモデルＤＭは、学習用画像を入力データとし、学習用画像に関連付けられたクラスを教師データとして、機械学習により生成された学習済みモデルである。

学習用画像は、昼間に撮像された海上の画像、夜間に撮像された海上の画像、日の出又は日の入の時間帯（以下、「日出入時」ともいう）に撮像された海上の画像、逆光で撮像された海上の画像、及び霧中で撮像された海上の画像などを含んでいる。学習用画像は、敵対的生成ネットワーク（ＧＡＮ）又は 3 Dimensional Computer Graphics（３ＤＣＧ）により生成された海上の画像を含んでもよい。

学習用画像に関連付けられるクラスは、「昼間」、「夜間」、「日出入」、「逆光」、及び「霧」を含んでいる。

場面判定用の学習済みモデルＤＭの出力層は、クラスに対応する要素を備えている。「昼間」、「夜間」、及び「日出入」に対応する要素は、例えばソフトマックス関数により確度の合計が１になるように設定される。場面判定部２１は、「昼間」、「夜間」、及び「日出入」のうち、最も確度が高いクラスを適用する。

すなわち、場面判定部２１は、「昼間」の確度が最も高い場合に画像Ｐが昼間に撮像されたと判定し、「夜間」の確度が最も高い場合に画像Ｐが夜間に撮像されたと判定し、「日出入」の確度が最も高い場合に画像Ｐが日出入時に撮像されたと判定する。

また、「逆光」及び「霧」に対応する要素は、例えばシグモイド関数により０以上１以下の確度を出力するように設定される。場面判定部２１は、「逆光」の確度が閾値以上である場合に画像Ｐが逆光で撮像されたと判定し、「霧」の確度が閾値以上である場合に画像Ｐが霧中で撮像されたと判定する。

これに限らず、場面判定部２１は、画像Ｐの撮像時刻及び自船の現在位置に基づいて算出される日の出時刻及び日の入時刻に応じて、画像Ｐが昼間に撮像されたか、夜間に撮像されたか、又は日出入時に撮像されたか判定してもよい。

日の出の時間帯は、日の出時刻を含む所定長さの期間であり、日の入の時間帯は、日の入時刻を含む所定長さの期間である。昼間は、日の出時刻から日の入時刻までの期間から、日の出の時間帯及び日の入の時間帯を除いた期間である。夜間は、日の入時刻から日の出時刻までの期間から、日の出の時間帯及び日の入の時間帯を除いた期間である。

また、場面判定部２１は、自船に設けられた照度センサにより検知される周囲の明るさに応じて、画像Ｐが昼間に撮像されたか、夜間に撮像されたか、又は日出入時に撮像されたか判定してもよい。

前処理部２２は、場面判定部２１により画像Ｐが逆光で撮像されたと判定された場合に、画像Ｐに対してガンマ補正又はコントラスト調整を行い、後段の昼間用、夜間用、又は日出入用の学習済みモデルへの入力に適した画像に加工する。

また、前処理部２２は、場面判定部２１により画像Ｐが霧中で撮像されたと判定された場合に、画像Ｐに対してＤｅｆｏｇ処理等の画像鮮明化処理を行い、後段の昼間用、夜間用、又は日出入用の学習済みモデルへの入力に適した画像に加工する。

昼間用画像認識部２３は、場面判定部２１により画像Ｐが昼間に撮像されたと判定された場合に、昼間用モデル保持部３３に保持された昼間用の学習済みモデルを用いて、画像Ｐに含まれる物標を検出する。

また、昼間用画像認識部２３は、画像Ｐから検出された物標の種類を判別する。物標の種類は、例えばタンカー、プレジャーボード、漁船などの船種である。物標の種類は、例えばブイ等の海上設置物であってもよい。

昼間用の学習済みモデルは、例えば SSD（Single Shot MultiBox Detector）又は YOLO（You Only Look Once）等の物体検出モデルであり、画像に含まれる物標を囲む境界ボックスを出力する。これに限らず、昼間用の学習済みモデルは、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルであってもよい。

昼間用の学習済みモデルは、昼間に撮像された海上の画像を含む学習用画像を入力データとし、学習用画像に含まれる物標の画像内位置及び種類を教師データとして、機械学習により生成された学習済みモデルである。学習用画像は、敵対的生成ネットワーク（ＧＡＮ）又は３ＤＣＧにより生成された昼間の海上の画像を含んでもよい。

物標の画像内位置は、画像Ｐ内の物標を含む矩形状の領域の座標で特定される。物標の画像内位置には、例えば「タンカー」、「プレジャーボード」、「漁船」、「ブイ」等の物標の種類を表すクラス及び推定確度が関連付けられる。

図６は、昼間用の学習済みモデルによる昼間に撮像された画像ＤＰの認識例を示す図である。同図に示すように、昼間に撮像された画像ＤＰに含まれる他船等の物標ＳＨは、矩形状の境界ボックスＢＢによって囲まれる。境界ボックスＢＢには、物標の種類及び推定の確度が記載されたラベルＣＦが付加される。

夜間用画像認識部２４は、場面判定部２１により画像Ｐが夜間に撮像されたと判定された場合に、夜間用モデル保持部３４に保持された夜間用の学習済みモデルを用いて、画像Ｐに含まれる物標を検出する。

また、夜間用画像認識部２４は、画像Ｐから検出された物標の種類ではなく、物標であるか否か判別する。すなわち、夜間用画像認識部２４は、夜間用の学習済みモデルから出力される推定の確度が閾値以上である場合に、物標であると判別する。

夜間用の学習済みモデルは、上記昼間用の学習済みモデルと同様に、例えば SSD 又は YOLO 等の物体検出モデルであってもよいし、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルであってもよい。

夜間用の学習済みモデルは、夜間に撮像された海上の画像を含む学習用画像を入力データとし、学習用画像に含まれる物標の画像内位置を教師データとして、機械学習により生成された学習済みモデルである。夜間用の学習済みモデルは、灯火の配置パターンもパラメータとして学習する。学習用画像は、敵対的生成ネットワーク（ＧＡＮ）又は３ＤＣＧにより生成された夜間の海上の画像を含んでもよい。物標の画像内位置には、物標を表すクラスが関連付けられる。

図７は、夜間用の学習済みモデルによる夜間に撮像された画像ＮＰの認識例を示す図である。同図に示すように、夜間に撮像された画像ＮＰにおいては、他船等の物標が発する光Ｌしかほぼ見えない状態となる。このような画像ＮＰに夜間用の学習済みモデルを適用すると、物標の光Ｌが矩形状の境界ボックスＢＢによって囲まれ、境界ボックスＢＢには、物標であること及び推定の確度が記載されたラベルＣＦが付加される。

さらに、夜間用画像認識部２４は、夜間用の学習済みモデルにより検出され、且つ所定以上の輝度を有する物標候補を、物標として検出する。すなわち、夜間用の学習済みモデルを適用しただけでは、独立した単一の光を物標として検出できないおそれがあるが、所定以上の輝度を有するというルールを組み合わせることで、夜間に撮像された画像ＮＰであっても物標検出の精度向上を図ることが可能となる。

日出入用画像認識部２５は、場面判定部２１により画像が日出入時に撮像されたと判定された場合に、日出入用モデル保持部３５に保持された日出入用の学習済みモデルを用いて、画像Ｐに含まれる物標を検出する。また、日出入用画像認識部２５は、上記昼間用画像認識部２３と同様に、画像Ｐから検出された物標の種類を判別する。

日出入用の学習済みモデルは、上記昼間用及び夜間用の学習済みモデルと同様に、例えば SSD 又は YOLO 等の物体検出モデルであってもよいし、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルであってもよい。

日出入用の学習済みモデルは、日出入時に撮像された海上の画像を含む学習用画像を入力データとし、学習用画像に含まれる物標の画像内位置及び種類を教師データとして、機械学習により生成された学習済みモデルである。学習用画像は、敵対的生成ネットワーク（ＧＡＮ）又は３ＤＣＧにより生成された日出入時の海上の画像を含んでもよい。

図８は、日出入用の学習済みモデルによる日出入時に撮像された画像ＳＰの認識例を示す図である。同図に示すように、日出入時に撮像された画像ＳＰに含まれる他船等の物標ＳＨは、矩形状の境界ボックスＢＢによって囲まれる。境界ボックスＢＢには、物標の種類及び推定の確度が記載されたラベルＣＦが付加される。

日出入時に撮像された画像ＳＰには海面の反射があるため、昼間用又は夜間用の学習済みモデルでは物標検出の精度が十分でないおそれがあるが、日出入用の学習済みモデルを別途用意することで、日出入時に撮像された画像ＳＰであっても物標検出の精度向上を図ることが可能となる。

図９は、物標監視システム１００において実現される物標監視方法の手順例を示す図である。図１０は、前処理ルーチンの手順例を示す図である。図１１は、画像認識処理ルーチンの手順例を示す図である。物標監視装置１の制御部２０は、プログラムに従って同図に示す情報処理を実行する。

まず、制御部２０は、カメラ５により生成された画像Ｐを取得する（Ｓ１１、画像取得部１１としての処理）。

次に、制御部２０は、場面判定用の学習済みモデルを用いて、取得された画像Ｐが昼間に撮像されたか、夜間に撮像されたか、又は日の出若しくは日の入の時間帯に撮像されたか、さらには、画像が逆光で撮像されたか、画像が霧中で撮像されたか判定する（Ｓ１２、場面判定部２１としての処理）。

次に、制御部２０は、前処理のルーチンを実行する（Ｓ１３、前処理部２２としての処理）。

図１０に示すように、前処理のルーチンにおいて、制御部２０は、画像Ｐが逆光で撮像されたと判定された場合に（Ｓ２１：ＹＥＳ）、画像Ｐに対してガンマ補正又はコントラスト調整を行う（Ｓ２２）。

また、制御部２０は、画像Ｐが霧中で撮像されたと判定された場合に（Ｓ２３：ＹＥＳ）、画像Ｐに対してＤｅｆｏｇ処理等の画像鮮明化処理を行う（Ｓ２４）。

以上により前処理のルーチンが終了し、図９に示すメインルーチンに戻る。

次に、制御部２０は、画像認識処理のルーチンを実行する（Ｓ１４）。

図１１に示すように、画像認識処理のルーチンにおいて、制御部２０は、画像Ｐが昼間に撮像されたと判定された場合には（Ｓ３１：ＹＥＳ）、昼間用の学習済みモデルを用いて、画像Ｐに含まれる物標を検出するとともに物標の種類を判別する（Ｓ３２、昼間用画像認識部２３としての処理）。

また、制御部２０は、画像Ｐが夜間に撮像されたと判定された場合には（Ｓ３３：ＹＥＳ）、夜間用の学習済みモデルを用いて画像Ｐに含まれる物標候補を検出するとともに、所定以上の輝度を有する物標候補を、物標として抽出する（Ｓ３４，Ｓ３５、夜間用画像認識部２４としての処理）。

また、制御部２０は、画像Ｐが日出入時に撮像されたと判定された場合には（Ｓ３６：ＹＥＳ）、日出入用の学習済みモデルを用いて、画像Ｐに含まれる物標を検出するとともに物標の種類を判別する（Ｓ３７、日出入用画像認識部２５としての処理）。

以上により画像認識処理のルーチンが終了し、図９に示すメインルーチンも終了する。その後、制御部２０は、画像Ｐから検出された物標の物標データを生成し、物標管理ＤＢ１９に登録する。

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

１ 物標監視装置、２ 表示部、３ レーダー、４ ＡＩＳ、５ カメラ、６ ＧＮＳＳ受信機、７ ジャイロコンパス、８ ＥＣＤＩＳ、９ 無線通信部、１０ 操船制御部、１１ 画像取得部、１２ 画像処理部、１３ 表示制御部、１４ 操船判断部、１９ 物標管理ＤＢ、２０ 制御部、２１ 場面判定部、２２ 前処理部、２３ 昼間用画像認識部、２４ 夜間用画像認識部、２５ 日出入用画像認識部、３１ 判定用モデル保持部、３３ 昼間用モデル保持部、３４ 夜間用モデル保持部、３５ 日出入用モデル保持部、１００ 物標監視システム

Claims (15)

1. 船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得する画像取得部と、
   前記画像が昼間に撮像されたか夜間に撮像されたか判定する場面判定部と、
   前記画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する昼間用画像認識部と、
   前記画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する夜間用画像認識部と、
   を備える、物標監視装置。
2. 前記場面判定部は、場面判定用の学習済みモデルを用いて、前記画像が昼間に撮像されたか夜間に撮像されたか判定する、
   請求項１に記載の物標監視装置。
3. 前記夜間用画像認識部は、前記夜間用の学習済みモデルにより検出され、且つ所定以上の輝度を有する物標候補を、前記物標として検出する、
   請求項１または２に記載の物標監視装置。
4. 前記昼間用画像認識部は、前記昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出するとともに、前記物標の種類を判別する、
   請求項１ないし３の何れかに記載の物標監視装置。
5. 前記夜間用画像認識部は、前記夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出するとともに、物標であるか否か判別する、
   請求項１ないし４の何れかに記載の物標監視装置。
6. 前記場面判定部は、さらに、前記画像が日の出又は日の入の時間帯に撮像されたか判定し、
   前記画像が日の出又は日の入の時間帯に撮像されたと判定された場合に、日出入用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する日出入用画像認識部をさらに備える、
   請求項１ないし５の何れかに記載の物標監視装置。
7. 前記日出入用画像認識部は、前記日出入用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出するとともに、前記物標の種類を判別する、
   請求項６に記載の物標監視装置。
8. 前記場面判定部は、さらに、前記画像が逆光で撮像されたか判定し、
   前記画像が逆光で撮像されたと判定された場合に、前記学習済みモデルに入力される前の前記画像に対してガンマ補正又はコントラスト調整を行う前処理部をさらに備える、
   請求項１ないし７の何れかに記載の物標監視装置。
9. 前記場面判定部は、さらに、前記画像が霧中で撮像されたか判定し、
   前記画像が霧中で撮像されたと判定された場合に、前記学習済みモデルに入力される前の前記画像に対して画像鮮明化処理を行う前処理部をさらに備える、
   請求項１ないし８の何れかに記載の物標監視装置。
10. 前記昼間用の学習済みモデルは、昼間に撮像された画像を含む学習用画像を入力データとし、前記学習用画像に含まれる物標の画像内位置及び種類を教師データとして、機械学習により生成された学習済みモデルである、
    請求項１ないし９の何れかに記載の物標監視装置。
11. 前記夜間用の学習済みモデルは、夜間に撮像された画像を含む学習用画像を入力データとし、前記学習用画像に含まれる物標の画像内位置を教師データとして、機械学習により生成された学習済みモデルである、
    請求項１ないし１０の何れかに記載の物標監視装置。
12. 前記日出入用の学習済みモデルは、日の出又は日の入の時間帯に撮像された画像を含む学習用画像を入力データとし、前記学習用画像に含まれる物標の画像内位置及び種類を教師データとして、機械学習により生成された学習済みモデルである、
    請求項６または７に記載の物標監視装置。
13. 前記請求項１ないし１２の何れかに記載された物標監視装置と、
    前記物標監視装置により検出された物標に基づいて操船判断を行う操船判断部と、
    前記操船判断に基づいて前記船舶の操船制御を行う操船制御部と、
    を備える操船システム。
14. 船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得し、
    前記画像が昼間に撮像されたか夜間に撮像されたか判定し、
    前記画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出し、
    前記画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出する、
    物標監視方法。
15. 船舶に設置されたカメラにより撮像された海上の物標を含む画像を取得すること、
    前記画像が昼間に撮像されたか夜間に撮像されたか判定すること、
    前記画像が昼間に撮像されたと判定された場合に、昼間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出すること、及び、
    前記画像が夜間に撮像されたと判定された場合に、夜間用の学習済みモデルを用いて、前記画像に含まれる前記物標を検出すること、
    をコンピュータに実行させるためのプログラム。
    
    

Images