JP2020013274A - 表示プログラム、表示装置及び表示方法 - Google Patents

Abstract

【課題】確認が必要な対象物を含む画像データを表示する。【解決手段】表示プログラムは、複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力し、前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶し、特定の検出対象であることの判定結果を出力する際に、該特定の検出対象についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示する、処理をコンピュータに実行させる。【選択図】図６

Description

本発明は、表示プログラム、表示装置及び表示方法に関する。

従来より、学習済みモデルを用いて、画像データに含まれる対象物を判別する判別技術が知られている。学習済みモデルとは、既知の対象物を含む画像データ（いわゆる教師データ）を用いて機械学習されたモデルである。

かかる学習済みモデルを用いて対象物を判別する際の確信度を向上させるには、より多くの教師データを収集して機械学習させることが必要となる。

特開２０１１−８１７３５号公報

ここで、機械学習に用いる教師データは、例えば、対象物を含む画像データを人（確認者）が確認し、確認結果を画像データと対応付けて格納することで収集される。このため、機械学習に用いる教師データを効率的に収集するには、確認が必要な対象物を含む画像データを優先して確認者に表示することが有効である。

一つの側面では、確認が必要な対象物を含む画像データを表示することを目的としている。

一態様によれば、表示プログラムは、
複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力し、
前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶し、
特定の検出対象であることの判定結果を出力する際に、該特定の検出対象についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示する、処理をコンピュータに実行させる。

確認が必要な対象物を含む画像データを表示することが可能になる。

情報収集システムのシステム構成の一例を示す図である。 情報収集システムの適用例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 サーバ装置の学習部の処理の具体例を示す図である。 情報表示装置のハードウェア構成の一例を示す図である。 情報表示装置の機能構成の一例を示す図である。 情報表示装置の判別対象抽出部の処理の具体例を示す図である。 情報表示装置の実行部の処理の具体例を示す図である。 情報表示装置の距離データ取得部の処理の具体例を示す図である。 情報表示装置の優先順位決定部の処理の具体例を示す図である。 優先順位決定処理の流れを示す第１のフローチャートである。 情報表示装置の表示画像生成部及び表示制御部の処理の具体例を示す図である。 優先順位決定処理の流れを示す第２のフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜情報収集システムのシステム構成＞
はじめに、第１の実施形態に係る情報表示装置を備える、情報収集システムのシステム構成について説明する。図１は、情報収集システムのシステム構成の一例を示す図である。

図１に示すように、情報収集システム１００は、対象物検知装置１１０、情報表示装置１２０、サーバ装置１３０を有する。

対象物検知装置１１０は、判別する対象物（対象）を検知する装置であり、対象物を検知することで得た検知データを、情報表示装置１２０に送信する。対象物検知装置１１０は、判別する対象物を、例えば、所定周期ごとに複数回検知し、複数の検知データを、順次、情報表示装置１２０に送信する。

情報表示装置１２０には、対象物表示プログラムがインストールされており、当該プログラムが実行されることで、情報表示装置１２０は、対象物表示部１２１として機能する。

対象物表示部１２１は、対象物検知装置１１０より送信された複数の検知データそれぞれに含まれる複数の対象物を判別する。なお、対象物表示部１２１では、予め、教師データを用いて機械学習された学習済みモデル等を含む学習結果をサーバ装置１３０から取得しておき、それぞれの検知データを、取得した学習結果に入力して対象物の判別を行う。

また、対象物表示部１２１は、複数の検知データそれぞれに含まれる複数の対象物を判別した際に算出した確信度を取得し、取得した確信度を用いて対象物を表示する際の優先順位を決定する。

更に、対象物表示部１２１は、決定した優先順位に基づいて対象物を表示し、優先順位が高い対象物について、確認者１４０による確認結果を受け付け、教師データとしてサーバ装置１３０に送信する。

このように、情報表示装置１２０において、優先順位が高い対象物（確認者１４０による確認が必要な対象物）を優先して確認者１４０に確認させることで、サーバ装置１３０では、対象物の判別に有効な教師データを効率的に収集することができる。

サーバ装置１３０には、学習プログラムと状況データ取得プログラムとがインストールされており、当該プログラムが実行されることで、サーバ装置１３０は、学習部１３１、状況データ取得部１３２として機能する。

学習部１３１は、教師データ格納部１３３より教師データを読み出し、学習モデルを機械学習させることで、学習済みモデルを生成する。また、学習部１３１は、生成した学習済みモデル等を含む学習結果を情報表示装置１２０に送信する。更に、学習部１３１は、学習結果を送信したことに応じて情報表示装置１２０より教師データを取得し、教師データ格納部１３３に格納する。

状況データ取得部１３２は、対象物検知装置１１０と対象物との位置関係を示すデータ（状況データと称す）を取得し、情報表示装置１２０に送信する。

＜情報収集システムの適用例＞
次に、情報収集システム１００の適用例について説明する。図２は、情報収集システムの適用例を示す図である。図２に示すように、情報収集システム１００は、例えば、対象物検知装置１１０の一例である撮像装置１１０’と、情報表示装置１２０とを、偵察機２００に搭載させることで、海上を航行する船舶（対象物）を監視するシステムに適用できる。

偵察機２００の飛行中、撮像装置１１０’は、点線２０１で示す範囲を撮影範囲として、船舶２１１〜２１３を異なる方向、異なる距離から複数回撮影する。撮像装置１１０’は、複数回の撮影により得られた複数の検知データ（撮影画像データ）を、情報表示装置１２０に送信する。

なお、図２に示す適用例の場合、サーバ装置１３０から送信される学習結果には、学習済みモデルと、データ量情報とが含まれるものとする。データ量情報とは、学習モデルを機械学習させる際に用いられた教師データのデータ量（船舶ごとのデータ量）を示す情報である。

また、図２に示す適用例の場合、サーバ装置１３０から送信される状況データには、撮像装置１１０’を搭載する偵察機２００と船舶２１１〜２１３とを含む衛星写真データが含まれていてもよいものとする。なお、サーバ装置１３０から送信される状況データは、衛星写真データに限定されず、レーダ照射装置により測定された距離データであってもよい。また、状況データは、サーバ装置１３０から送信されるものに限定されず、例えば、偵察機２００自体にレーダ照射装置を搭載し、該レーダ照射装置により測定された距離データであってもよい。また、測定される距離データは、偵察機２００の撮像装置１１０’からの距離データであることが望ましい。

更に、図２に示す適用例の場合、情報表示装置１２０から送信される教師データには、撮影画像データから抽出され、学習済みモデルに入力された対象画像データのうち、確認者１４０が確認した船舶を含む対象画像データと、確認結果とが含まれるものとする。

＜サーバ装置のハードウェア構成＞
次に、サーバ装置１３０のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成の一例を示す図である。図３に示すように、サーバ装置１３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。

また、サーバ装置１３０は、補助記憶装置３０４、表示装置３０５、操作装置３０６、通信装置３０７、ドライブ装置３０８を有する。なお、サーバ装置１３０の各ハードウェアは、バス３０９を介して相互に接続されている。

ＣＰＵ３０１は、補助記憶装置３０４にインストールされている各種プログラム（例えば、学習プログラム、状況データ取得プログラム等）を実行する演算デバイスである。

ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶装置３０４にインストールされている各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶装置３０４にインストールされている各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置３０４は、各種プログラムや各種プログラムを実行する際に用いられる情報を格納する補助記憶デバイスである。例えば、教師データ格納部１３３は、補助記憶装置３０４において実現される。

表示装置３０５は、サーバ装置１３０の内部状態を表示する表示デバイスである。操作装置３０６は、サーバ装置１３０の管理者がサーバ装置１３０に対して各種指示を入力するための入力デバイスである。

通信装置３０７は、情報表示装置１２０と接続し、情報表示装置１２０とサーバ装置１３０との間で通信を行うための通信デバイスである。

ドライブ装置３０８は記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置３０４にインストールされる各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０８にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０８により読み出されることでインストールされる。あるいは、補助記憶装置３０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

＜サーバ装置の学習部の処理＞
次に、サーバ装置１３０の学習部１３１の処理の具体例について説明する。図４は、サーバ装置の学習部の処理の具体例を示す図である。図４に示すように、学習部１３１は、学習モデル４００を有し、教師データ格納部１３３より読み出した教師データ４１０（物体の種類が既知の画像データ）を入力する。

図４に示すように、学習部１３１が有する学習モデル４００は、ｎ種類の他国の船舶（他国の船舶１〜他国の船舶ｎ）、及び、ｍ種類の自国の船舶（自国の船舶１〜自国の船舶ｍ）が判別されるように機械学習される。学習部１３１は、教師データ４１０を用いて学習モデル４００を機械学習させることで、学習済みモデルを生成する。

また、学習部１３１は、学習モデル４００を機械学習させる際に用いた教師データ４１０の、船舶の種類ごとのデータ量を示すデータ量情報４２０を生成する。図４に示すように、データ量情報４２０には、情報の項目として、“種類”と“画像数”とが含まれる。

“種類”には、学習モデル４００が判別する船舶（検出対象）の種類（他国の船舶１〜他国の船舶ｎ、自国の船舶１〜自国の船舶ｍ）が格納される。また、“画像数”には、各種類の船舶が含まれる教師データの数が格納される。

＜情報表示装置のハードウェア構成＞
次に、情報表示装置１２０のハードウェア構成について説明する。図５は、情報表示装置１２０のハードウェア構成の一例を示す図である。なお、情報表示装置１２０のハードウェア構成は、図３に示したサーバ装置１３０のハードウェア構成と概ね同じであるため、ここでは、相違点を中心に説明する。

補助記憶装置５０４は、各種プログラム（例えば、対象物表示プログラム等）を格納する補助記憶デバイスである。Ｉ／Ｆ（Interface）装置５０７は、撮像装置１１０’と情報表示装置１２０とを接続するための接続デバイスである。

＜情報表示装置の機能構成＞
次に、情報表示装置１２０の対象物表示部１２１の機能構成について説明する。図６は、情報表示装置の機能構成の一例を示す図である。図６に示すように、情報表示装置１２０は、画像データ取得部６０１、判別対象抽出部６０２、実行部６０３、優先順位決定部６０４、表示画像生成部６０５、表示制御部６０６を有する。また、情報表示装置１２０は、学習結果取得部６１１、距離データ取得部６１２、確認結果送信部６１３を有する。

画像データ取得部６０１は、撮像装置１１０’より送信された複数の撮影画像データを取得する。画像データ取得部６０１は、取得した複数の撮影画像データを、複数の入力画像データとして、判別対象抽出部６０２及び表示画像生成部６０５に通知する。

判別対象抽出部６０２は、画像データ取得部６０１より通知された複数の入力画像データそれぞれにおいて、複数の対象物（船舶）を抽出し、複数の対象画像データを生成する。また、判別対象抽出部６０２は、生成した複数の対象画像データ（対象画像データ群）を、実行部６０３及び表示画像生成部６０５に通知する。

実行部６０３は処理部または判別部の一例である。実行部６０３は、サーバ装置１３０より送信された学習済みモデルを、学習結果取得部６１１を介して取得し、取得した学習済みモデルに、複数の対象画像データのそれぞれを入力することで、複数の対象画像データのそれぞれに含まれる船舶を判別する。

また、実行部６０３は、複数の対象画像データのそれぞれにおいて船舶を判別する際に算出した確信度を取得し、判別した対象物（船舶）についての確信度の、入力画像データ間におけるばらつき（標準偏差）を対象物（船舶）ごとに算出する。更に、実行部６０３は、判別した対象物（船舶）ごとの確信度及び標準偏差を優先順位決定部６０４に通知する。

優先順位決定部６０４は、実行部６０３より通知された確信度及び標準偏差を取得する。また、優先順位決定部６０４は、サーバ装置１３０より送信されたデータ量情報を、学習結果取得部６１１を介して取得する。また、優先順位決定部６０４は、サーバ装置１３０より送信された状況データに基づいて距離データ取得部６１２において算出された、偵察機２００と各対象物（船舶）との間の距離を示す距離データを取得する機能を有していてもよい。

また、優先順位決定部６０４は、取得した確信度、標準偏差、データ量情報、距離データを対応付けることで、対象画像データを表示する際の優先順位を決定するための決定用情報を生成する。優先順位決定部６０４では、決定用情報に基づいて、対象画像データを表示する際の優先順位を決定し、優先順位情報を表示画像生成部６０５に通知する。

表示画像生成部６０５は、画像データ取得部６０１より通知された入力画像データ、判別対象抽出部６０２より通知された対象画像データ、優先順位決定部６０４より通知された優先順位情報に基づいて、表示画像データを生成する。なお、表示画像生成部６０５では、対象画像データを、優先順位情報に応じた表示態様で表示するための、表示画像データを生成する。表示画像生成部６０５は、生成した表示画像データを表示制御部６０６に通知する。

表示制御部６０６は、表示画像生成部６０５より通知された表示画像データを表示装置５０５に表示する。表示制御部６０６は、表示画像データを表示装置５０５に表示したことに応じて、確認者１４０が、優先順位の高い対象画像データに含まれる船舶（確認が必要な対象物）を確認し、確認結果を入力した場合に、これを受け付ける。

また、表示制御部６０６は、優先順位の高い対象画像データと、入力された確認結果とを対応付けて、確認結果送信部６１３に通知する。

学習結果取得部６１１は記憶部の一例である。学習結果取得部６１１は、サーバ装置１３０より、学習結果として、学習済みモデルとデータ量情報とを取得して記憶する。また、学習結果取得部６１１は、記憶した学習結果のうち、学習済みモデルを実行部６０３に、データ量情報を優先順位決定部６０４にそれぞれ通知する。

距離データ取得部６１２は、例えば、サーバ装置１３０より、状況データとして衛星写真データ（あるいはレーダデータ等）を取得する。また、距離データ取得部６１２は、例えば、取得した衛星写真データに含まれる、偵察機２００と、船舶２１１〜２１３それぞれとの間の距離を算出し、距離データを生成する。更に、距離データ取得部６１２は、生成した距離データを優先順位決定部６０４に通知する。

確認結果送信部６１３は、表示制御部６０６より通知された対象画像データと、確認結果とを、教師データとして、サーバ装置１３０に送信する。

＜情報表示装置の各部の処理の具体例＞
次に、情報表示装置１２０の各部（ここでは、判別対象抽出部６０２、実行部６０３、距離データ取得部６１２、優先順位決定部６０４、表示画像生成部６０５、表示制御部６０６）の処理の具体例について説明する。

（１）判別対象抽出部の処理の具体例
はじめに、判別対象抽出部６０２の処理の具体例について説明する。図７は、情報表示装置の判別対象抽出部の処理の具体例を示す図である。図７において、入力画像データ７１０は、撮像装置１１０’により複数回撮影されることで得られた複数の撮影画像データのうち、Ｔ_０回目に撮影された撮影画像データである。

図７に示すように、判別対象抽出部６０２では、入力画像データ７１０が通知されると、入力画像データ７１０より、対象物（船舶）を抽出し、対象画像データ７２１、７２２、７２３を取得する。また、判別対象抽出部６０２では、取得した対象画像データ７２１、７２２、７２３を、識別子と対応付けて対象画像データ群７３０に一時的に格納する。

図７に示すように、対象画像データ群７３０には、情報の項目として、“画像ＩＤ”、“対象画像データ”が含まれる。“画像ＩＤ”には、対象画像データを識別するための識別子が格納される。“対象画像データ”には、更に、撮影回数を示す“Ｔ_０、Ｔ_１、・・・”が含まれる。判別対象抽出部６０２では、取得した対象画像データ７２１、７２２、７２３を、“画像ＩＤ”と対応付けて撮影回数に応じた位置に順次格納する。

（２）実行部の処理の具体例
次に、実行部６０３の処理の具体例について説明する。図８は、情報表示装置の実行部の処理の具体例を示す図である。図８に示すように、実行部６０３は、学習結果取得部６１１を介してサーバ装置１３０より取得した学習済みモデル８００を有する。

実行部６０３では、対象画像データ群７３０の“画像ＩＤ”に対応付けて格納された複数の対象画像データを、順次、学習済みモデル８００に入力し、それぞれの対象画像データに含まれる船舶を判別する。

図８の例は、対象画像データ群７３０の“画像ＩＤ”＝“００２”に対応付けて格納された複数の対象画像データ７２２＿Ｔ_０、７２２＿Ｔ_１、・・・が、学習済みモデル８００にそれぞれ入力された様子を示している。また、図８の例に示す確信度（Ｔ_１）は、このうち、対象画像データ７２２＿Ｔ_１が入力されたことで対象物（他国の船舶２）が判別された際に算出された確信度を示している。

また、図８において、グラフ群８１０は、複数の対象画像データを学習済みモデル８００に入力することで対象物を判別した際の各回の確信度を、画像ＩＤごとに分けて示したグラフの集合であり、横軸を判別回数、縦軸を確信度としている。

このうち、グラフ８１１は、“画像ＩＤ”＝“００１”に対応付けて格納された複数の対象画像データ７２１＿Ｔ_０、７２１＿Ｔ_１、・・・を入力することで対象物を判別した際の各回の確信度を示したグラフである。なお、グラフ８１１は、対象画像データ７２１＿Ｔ_０、７２１＿Ｔ_１、・・・を入力することで、対象物が、“他国の船舶１”であると判別された場合を示している。つまり、グラフ８１１は、複数の対象画像データ７２１＿Ｔ_０、７２１＿Ｔ_１、・・・をそれぞれ入力することで対象物（他国の船舶１）を判別した際に算出された確信度の変遷を示している。

“他国の船舶１”については、教師データのデータ量が多いため、図８に示すように、判別回数が進んでも、高い確信度が安定して算出される。

一方、グラフ８１２は、“画像ＩＤ”＝“００２”に対応付けて格納された複数の対象画像データ７２２＿Ｔ_０、７２２＿Ｔ_１、・・・を入力することで対象物を判別した際の各回の確信度を示したグラフである。なお、グラフ８１２は、対象画像データ７２２＿Ｔ_０、７２２＿Ｔ_１、・・・を入力することで、対象物が、“他国の船舶２”であると判別された場合を示している。つまり、グラフ８１２は、複数の対象画像データ７２２＿Ｔ_０、７２２＿Ｔ_１、・・・をそれぞれ入力することで対象物（他国の船舶２）を判別した際に算出された確信度の変遷を示している。

“他国の船舶２”については、教師データのデータ量が少ないため、図８に示すように、判別回数が進むことで、確信度が大きく増減する。実行部６０３では、当該確信度のばらつき（標準偏差σ_１）を算出する。ここで、信頼度の時間変化が大きな対象物では、判定結果そのものが変化してしまう場合がある。具体的には、例えば、グラフ８１２において判別回数が少ない初期には、“他国の船舶１”の確信度が４５％に低下した時、“他国の船舶２”の確信度が５０％となる場合が想定される。この場合、最初に判定した正体を基準としてそのまま標準偏差を算出してもよいし、正体そのものが信頼できないものとして信頼度をゼロとしてもよい。

なお、教師データのデータ量が少なく、かつ、確信度のばらつき（標準偏差σ_１）が大きい対象物とは、教師データの収集が最も必要な対象物を意味する。

また、グラフ８１３は、“画像ＩＤ”＝“００３”に対応付けて格納された複数の対象画像データ７２３＿Ｔ_０、７２３＿Ｔ_１、・・・を入力することで対象物を判別した際の各回の確信度を示したグラフである。なお、グラフ８１３は、対象画像データ７２３＿Ｔ_０、７２３＿Ｔ_１、・・・を入力することで、対象物が、“他国の船舶３”であると判別された場合を示している。つまり、グラフ８１３は、複数の対象画像データ７２３＿Ｔ_０、７２３＿Ｔ_１、・・・をそれぞれ入力することで対象物（他国の船舶３）を判別した際に算出された確信度の変遷を示している。

“他国の船舶３”については、教師データのデータ量が多いが、判別回数が進んでも、高い確信度が算出されない。教師データのデータ量が多いにも関わらず、確信度が低い対象物とは、正体不明の船舶（いわゆる不審船）であり、教師データの収集が２番目に必要な対象物を意味する。

（３）距離データ取得部の処理の具体例
次に、距離データ取得部６１２の処理の具体例について説明する。図８は、情報表示装置の距離データ取得部の処理の具体例を示す図であり、ここでは、距離データ取得部６１２が、衛星写真データを取得する場合について説明する。

図８に示すように、距離データ取得部６１２は、サーバ装置１３０より、状況データとして衛星写真データ９００を所定周期ごとに取得する。また、距離データ取得部６１２は、取得した衛星写真データ９００に含まれる偵察機２００と、船舶２１１〜２１３それぞれとの間の距離を算出し、距離データを生成する。

図９の例は、所定のタイミングにおいて距離データ取得部６１２が、偵察機２００と船舶２１１との間の距離を、“Ｄ_１”と算出した様子を示している。また、所定のタイミングにおいて距離データ取得部６１２が、偵察機２００と船舶２１２との間の距離を、“Ｄ_２”と算出し、偵察機２００と船舶２１３との間の距離を“Ｄ_３”と算出した様子を示している。

（４）優先順位決定部の処理の具体例
次に、優先順位決定部６０４の処理の具体例について説明する。図１０は、情報表示装置の優先順位決定部の処理の具体例を示す図である。図１０に示すように、優先順位決定部６０４は、決定用情報１０００を生成する。

決定用情報１０００には、情報の項目として、“画像ＩＤ”、“実行結果”、“データ量”、“距離データ”が含まれる。“画像ＩＤ”には、対象画像データを識別する識別子が格納される。

“実行結果”には、更に、“他国／自国”、“種類”、“確信度”、“標準偏差”が含まれる。“他国／自国”には、学習済みモデル８００に、対応する対象画像データが入力されたことで、他国の船舶であると判別されたか、自国の船舶であると判別されたかを示す情報が格納される。“種類”には、学習済みモデル８００に、対応する対象画像データが入力されたことで判別された船舶の種類を示す情報が格納される。

“確信度”には、対応する複数の対象画像データがそれぞれ入力されたことで対象物が判別された際に算出された確信度のうち、平均の確信度が格納される。“標準偏差”には、対応する複数の対象画像データが入力されたことで対象物が判別された際に算出された確信度についてのばらつき（標準偏差）が格納される。

“データ量”には、サーバ装置１３０より送信されたデータ量情報が、“実行結果”の“種類”に対応付けて格納される。“距離データ”には、距離データ取得部６１２により算出された距離データが、“実行結果”の“種類”に対応付けて格納される。なお、距離データ取得部６１２により複数の距離データが算出された場合、“距離データ”には、例えば、算出された複数の距離データのうちの平均値または最小値が格納される。

優先順位決定部６０４では、生成した決定用情報１０００に基づいて、対象画像データ群７３０に含まれる複数の対象画像データのうち、各画像ＩＤについて１の対象画像データを表示する場合の、画像ＩＤ間における優先順位を決定する。図１１は、優先順位決定処理の流れを示す第１のフローチャートである。

ステップＳ１１０１において、優先順位決定部６０４は、複数の入力画像データに基づいて、決定用情報１０００を生成したか否かを判定する。ステップＳ１１０１において、決定用情報１０００を生成していないと判定した場合には（ステップＳ１１０１においてＮｏの場合には）、決定用情報１０００の生成が完了するまで待機する。

一方、ステップＳ１１０１において、決定用情報１０００を生成したと判定した場合には（ステップＳ１１０１においてＹｅｓの場合には）、ステップＳ１１０２に進む。

ステップＳ１１０２において、優先順位決定部６０４は、決定用情報１０００に格納された対象物（判別された対象物）をカウントするカウンタｉに“１”を代入する。

ステップＳ１１０３において、優先順位決定部６０４は、ｉ番目の対象物の確信度（決定用情報１０００の“確信度”）が閾値以上か否かを判定する。ここで、優先順位決定部６０４では、ｉ番目の対象物の確信度が閾値以上か否かを判定するにあたり、決定用情報１０００の“データ量”を参照することで、ｉ番目の対象物についてどの程度の量の教師データを用いて機械学習が行われたかを判断する。そして、優先順位決定部６０４は、教師データのデータ量が少ないと判断した場合には、ｉ番目の対象物の確信度を低い値に変更し、変更後の確信度について閾値以上か否かを判定する。

これにより、教師データのデータ量が少ないにも関わらず、偶発的に高い確信度が算出されたことで、ｉ番目の対象物を表示する際の優先順位が低くなってしまうといった事態を回避することができる。なお、ｉ番目の対象物の確信度を低い値に変更する変更方法としては、例えば、教師データのデータ量に応じた係数（１以下の値）を予め設定しておき、対応する係数を確信度に乗算する方法等が挙げられる。

ステップＳ１１０３において、ｉ番目の対象物の確信度が閾値以上であると判定した場合には（ステップＳ１１０３においてＹｅｓの場合には）、ステップＳ１１０４に進む。

ステップＳ１１０４において、優先順位決定部６０４は、ｉ番目の対象物が、自国の船舶であるか否かを判定する。ステップＳ１１０４において、自国の船舶であると判定した場合には（ステップＳ１１０４においてＹｅｓの場合には）、ステップＳ１１０５に進む。

ステップＳ１１０５において、優先順位決定部６０４は、ｉ番目の対象物が、教師データのデータ量が充分にある自国の船舶であると判定する。更に、ステップＳ１１０６において、優先順位決定部６０４は、ｉ番目の対象物を表示する際の優先順位を“低”に決定し、ステップＳ１１０７に進む。

一方、ステップＳ１１０４において、自国の船舶でないと判定した場合には（ステップＳ１１０４においてＮｏの場合には）、ステップＳ１１０９に進む。ステップＳ１１０９において、優先順位決定部６０４は、ｉ番目の対象物が、教師データのデータ量が充分にある他国の船舶であると判定する。更に、ステップＳ１１１０において、優先順位決定部６０４は、ｉ番目の対象物を表示する際の優先順位を“中”に決定し、ステップＳ１１０７に進む。

一方、ステップＳ１１０３において、ｉ番目の対象物の確信度が閾値以上でないと判定した場合には（ステップＳ１１０３においてＮｏの場合には）、ステップＳ１１１１に進む。

ステップＳ１１１１において、優先順位決定部６０４は、ｉ番目の対象物の標準偏差（決定用情報１０００の“標準偏差”）が閾値以下であるか否かを判定する。ステップＳ１１１１において、ｉ番目の対象物の標準偏差が閾値以下であると判定した場合には（ステップＳ１１１１においてＹｅｓの場合には）、ステップＳ１１１２に進む。

ステップＳ１１１２において、優先順位決定部６０４は、ｉ番目の対象物が、正体不明の船舶であると判定する。更に、ステップＳ１１１３において、優先順位決定部６０４は、ｉ番目の対象物を表示する際の優先順位を“高”に決定し、ステップＳ１１０７に進む。

一方、ステップＳ１１１１において、ｉ番目の対象物の標準偏差が閾値以下でないと判定した場合には（ステップＳ１１１１においてＮｏの場合には）、ステップＳ１１１４に進む。

ステップＳ１１１４において、優先順位決定部６０４は、ｉ番目の対象物が、教師データのデータ量が少ない船舶であると判定する。更に、ステップＳ１１１５において、優先順位決定部６０４は、ｉ番目の対象物を表示する際の優先順位を“最高”に決定し、ステップＳ１１０７に進む。

ステップＳ１１０７において、優先順位決定部６０４は、判別された全ての対象物について、優先順位を決定したか否かを判定する。ステップＳ１１０７において、優先順位を決定していない対象物があると判定した場合には（ステップＳ１１０７においてＮｏの場合には）、ステップＳ１１０８に進む。ステップＳ１１０８において、優先順位決定部６０４は、カウンタｉをインクリメントした後、ステップＳ１１０３に戻る。

一方、ステップＳ１１０７において、判別された全ての対象物について、優先順位を決定したと判定した場合には（ステップＳ１１０７においてＹｅｓの場合には）、優先順位決定処理を終了する。

（５）表示画像生成部及び表示制御部の処理の具体例
次に、表示画像生成部６０５の処理の具体例について説明する。図１２は、情報表示装置の表示画像生成部及び表示制御部の処理の具体例を示す図である。表示画像生成部６０５では、画像データ取得部６０１より入力画像データを取得すると、図１２（ａ）に示すように、入力画像データ表示領域１２１０に、取得した入力画像データを配置した表示画像データを生成する。表示画像生成部６０５では、画像データ取得部６０１より、入力画像データを取得するごとに、入力画像データ表示領域１２１０に配置する入力画像データを順次更新する。これにより、表示制御部６０６では、最新の入力画像データを含む表示画像データ１２００を確認者１４０に提供することができる。

また、表示画像生成部６０５では、優先順位決定部６０４より、優先順位情報を取得する。また、表示画像生成部６０５では、優先順位＝“最高”に決定された対象物を含む対象画像データを選択し、拡大処理した後、確認用画像データ１２２１として、確認対象表示領域１２２０に配置する（つまり、表示サイズの大きさを変更して表示する）。更に、表示画像生成部６０５では、優先順位＝“高”に決定された対象物を含む対象画像データを選択し、拡大処理した後、確認用画像データ１２２２として、確認対象表示領域１２２０に配置する（つまり、表示サイズの大きさを変更して表示する）。これにより、図１２（ｂ）に示すように、表示制御部６０６では、複数回の撮影が完了したタイミングで、確認対象表示領域１２２０に確認用画像データが配置された表示画像データ１２００を確認者１４０に提供することができる。

なお、優先順位＝“最高”に決定された対象物を含む対象画像データを拡大処理する際の拡大率は、優先順位＝“高”に決定された対象物を含む対象画像データを拡大処理する際の拡大率よりも高く設定されているものとする。また、確認対象表示領域１２２０において、複数の確認用画像データが重ねて表示される場合、優先順位＝“最高”に決定された対象物を含む対象画像データに基づく確認用画像データが最前面に表示されるものとする。このように、優先順位＝“最高”に決定された対象物を含む対象画像データは、確認対象表示領域１２２０において、他の対象画像データよりも強調表示された確認用画像データとして表示される。

なお、確認用画像データを確認対象表示領域１２２０に表示するようにしたのは、仮に、入力画像データ表示領域１２１０に表示すると、対象物が大きく表示された場合に、距離が近いのか、強調表示されているのかが区別しにくくなるためである。

確認対象表示領域１２２０に表示された確認用画像データに対して、確認者１４０による確認結果が入力されると、表示制御部６０６では、入力された確認結果を、確認用画像データと対応付けて、確認結果送信部６１３に通知する。また、表示制御部６０６では、当該確認用画像データを、確認対象表示領域１２２０から削除する。

以上の説明から明らかなように、第１の実施形態に係る情報表示装置１２０によれば、確認が必要な対象物を含む対象画像データを、優先して確認者に表示することができる。これにより、確認者は、確認が必要な対象物を早期に確認し、判定結果を関連付けることで、当該対象画像データを新たな教師データとして活用することが可能になる。この結果、教師データを効率的に収集することが可能になる。

［第２の実施形態］
上記第１の実施形態において、優先順位決定部６０４では、生成した決定用情報１０００に基づいて、対象画像データを表示する際の優先順位を決定するにあたり、確信度と標準偏差と、自国と他国の区分と、を用いる場合について説明した。しかしながら、優先順位の決定方法はこれに限定されず、例えば、自国と他国の区分に代えて、距離データを用いるようにしてもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

図１３は、優先順位決定処理の流れを示す第２のフローチャートである。図１１で示したフローチャートとの相違点は、ステップＳ１３０１、Ｓ１３０２、Ｓ１３０３である。

ステップＳ１３０１において、優先順位決定部６０４は、ｉ番目の対象物についての距離データが、所定の閾値以下であるか否かを判定する。ステップＳ１３０１において、所定の閾値以下でないと判定した場合には（ステップＳ１３０１においてＮｏの場合には）、ステップＳ１３０２に進む。

ステップＳ１３０２において、優先順位決定部６０４は、ｉ番目の対象物は、データ量が充分にある離れた位置の船舶と判定し、ステップＳ１１０６に進む。

一方、ステップＳ１３０１において、所定の閾値以下であると判定した場合には（ステップＳ１３０１においてＹｅｓの場合には）、ステップＳ１３０３に進む。

ステップＳ１３０３において、優先順位決定部６０４は、ｉ番目の対象物は、データ量が充分にある近い位置の船舶と判定し、ステップＳ１１１０に進む。

このように、第２の実施形態によれば、距離が短い対象物を含む対象画像データを、優先して確認者に表示することが可能となる。

［その他の実施形態］
上記第１及び第２の実施形態では、対象画像データを表示する際の優先順位を決定するにあたり、確信度と標準偏差以外の他のパラメータとして、自国と他国の区分、距離データを用いたが、これに限定されない。例えば、対象物の移動方向、対象物の属性等を用いてもよい。また、優先順位の決定方法は、図１１及び図１３に示した決定方法に限定されず、例えば、確信度と標準偏差と他のパラメータとを任意の演算式に基づいて組み合わせた決定方法を用いてもよい。

また、上記第１及び第２の実施形態では、判別する対象物が船舶である場合について説明したが、判別する対象物は船舶に限定されず、例えば、車両等であってもよい。

また、上記第１及び第２の実施形態では、判別する対象物（船舶）と撮像装置１１０’の両方が動く場合について説明した。しかしながら、判別する対象物と撮像装置１１０’の一方のみが動き、他方は静止していてもよい（つまり、判別する対象物と撮像装置１１０’との相対的な位置関係が時間経過とともに変化していればよい）。

あるいは、判別する対象物と撮像装置１１０’との相対的な位置関係が時間経過とともに変化しなくても、例えば、判別する対象物の周辺環境（昼→夜、晴れ→雨等）が時間経過とともに変化していてもよい。

また、上記第１及び第２の実施形態では、サーバ装置１３０に対して、１台の情報表示装置１２０が通信する場合について説明したが、サーバ装置１３０と通信する情報表示装置１２０は、複数台であってもよい。

また、上記第１及び第２の実施形態では、情報表示装置１２０とサーバ装置１３０とを別体としたが、両者は一体であってもよい。また、情報表示装置１２０の一部の機能は、サーバ装置１３０において実現されてもよい。あるいは、サーバ装置１３０の一部の機能は、情報表示装置１２０において実現されてもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力し、
前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶し、
特定の検出対象であることの判定結果を出力する際に、該特定の検出対象についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示する、
処理をコンピュータに実行させるための表示プログラム。
（付記２）
前記表示する処理は、機械学習に用いられた教師データの量に関する情報を用いて算出された確信度が低いほど、前記入力画像データに含まれる対象を大きいサイズで表示する、ことを特徴とする付記１に記載の表示プログラム。
（付記３）
前記表示する処理は、更に、前記入力画像データを撮影した撮像装置から前記入力画像データに含まれる対象までの距離データを取得し、距離が短いほど前記入力画像データに含まれる対象を大きいサイズで表示する、ことを特徴とする付記１に記載の表示プログラム。
（付記４）
複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力する処理部と、
前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶する記憶部と、を有し、
前記処理部は、特定の検出対象であることの判定結果を出力する際に、該特定の検出結果についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示することを特徴とする表示装置。
（付記５）
複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力し、
前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶し、
特定の検出対象であることの判定結果を出力する際に、該特定の検出対象についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示する、
処理をコンピュータが実行する表示方法。
（付記６）
複数の物体のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを用いて、複数の入力画像データのそれぞれに含まれる複数の対象物を判別し、
前記複数の入力画像データのそれぞれに含まれる複数の対象物を判別した際の確信度について、入力画像データ間における対象物ごとのばらつきを算出し、前記複数の対象物を表示する際の優先順位を決定する、
処理をコンピュータに実行させるための表示プログラム。
（付記７）
前記優先順位に応じて、前記複数の対象物を表示する際の表示態様を変更することを特徴とする付記６に記載の表示プログラム。
（付記８）
前記優先順位が高いほど、前記対象物を強調表示することを特徴とする付記７に記載の表示プログラム。
（付記９）
複数の物体のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを用いて、複数の入力画像データのそれぞれに含まれる複数の対象物を判別する判別部と、
前記複数の入力画像データのそれぞれに含まれる複数の対象物を判別した際の確信度について、入力画像データ間における対象物ごとのばらつきを算出し、前記複数の対象物を表示する際の優先順位を決定する決定部と
を有することを特徴とする表示装置。
（付記１０）
複数の物体のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを用いて、複数の入力画像データのそれぞれに含まれる複数の対象物を判別し、
前記複数の入力画像データのそれぞれに含まれる複数の対象物を判別した際の確信度について、入力画像データ間における対象物ごとのばらつきを算出し、前記複数の対象物を表示する際の優先順位を決定する、
処理をコンピュータが実行する表示方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：情報収集システム
１１０ ：対象物検知装置
１１０’ ：撮像装置
１２０ ：情報表示装置
１２１ ：対象物表示部
１３０ ：サーバ装置
１３１ ：学習部
１３２ ：状況データ取得部
４００ ：学習モデル
４２０ ：データ量情報
６０１ ：画像データ取得部
６０２ ：判別対象抽出部
６０３ ：実行部
６０４ ：優先順位決定部
６０５ ：表示画像生成部
６０６ ：表示制御部
６１１ ：学習結果取得部
６１２ ：距離データ取得部
６１３ ：確認結果送信部
７３０ ：対象画像データ群
８００ ：学習済みモデル
１０００ ：決定用情報
１２００ ：表示画像データ

Claims (8)

1. 複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力し、
   前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶し、
   特定の検出対象であることの判定結果を出力する際に、該特定の検出対象についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示する、
   処理をコンピュータに実行させるための表示プログラム。
2. 前記表示する処理は、機械学習に用いられた教師データの量に関する情報を用いて算出された確信度が低いほど、前記入力画像データに含まれる対象を大きいサイズで表示する、ことを特徴とする請求項１に記載の表示プログラム。
3. 前記表示する処理は、更に、前記入力画像データを撮影した撮像装置から前記入力画像データに含まれる対象までの距離データを取得し、距離が短いほど前記入力画像データに含まれる対象を大きいサイズで表示する、ことを特徴とする請求項１に記載の表示プログラム。
4. 複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力する処理部と、
   前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶する記憶部と、を有し、
   前記処理部は、特定の検出対象であることの判定結果を出力する際に、該特定の検出結果についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示することを特徴とする表示装置。
5. 複数の検出対象のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを利用して、入力画像データに含まれる対象がいずれの検出対象であるかの判定結果を出力し、
   前記複数の検出対象のそれぞれについて機械学習に利用した教師データの量に関する情報を記憶し、
   特定の検出対象であることの判定結果を出力する際に、該特定の検出対象についてどの程度の量の教師データを用いて機械学習したかに応じて、前記入力画像データに含まれる対象の表示サイズの大きさを変更して表示する、
   処理をコンピュータが実行する表示方法。
6. 複数の物体のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを用いて、複数の入力画像データのそれぞれに含まれる複数の対象物を判別し、
   前記複数の入力画像データのそれぞれに含まれる複数の対象物を判別した際の確信度について、入力画像データ間における対象物ごとのばらつきを算出し、前記複数の対象物を表示する際の優先順位を決定する、
   処理をコンピュータに実行させるための表示プログラム。
7. 複数の物体のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを用いて、複数の入力画像データのそれぞれに含まれる複数の対象物を判別する判別部と、
   前記複数の入力画像データのそれぞれに含まれる複数の対象物を判別した際の確信度について、入力画像データ間における対象物ごとのばらつきを算出し、前記複数の対象物を表示する際の優先順位を決定する決定部と
   を有することを特徴とする表示装置。
8. 複数の物体のそれぞれに関する画像データを教師データとして機械学習された学習済みモデルを用いて、複数の入力画像データのそれぞれに含まれる複数の対象物を判別し、
   前記複数の入力画像データのそれぞれに含まれる複数の対象物を判別した際の確信度について、入力画像データ間における対象物ごとのばらつきを算出し、前記複数の対象物を表示する際の優先順位を決定する、
   処理をコンピュータが実行する表示方法。

Images