JP2023000991A - 学習モデル、信号処理装置、飛翔体、及びプログラム - Google Patents

学習モデル、信号処理装置、飛翔体、及びプログラム Download PDF

Info

Publication number
JP2023000991A
JP2023000991A JP2021207261A JP2021207261A JP2023000991A JP 2023000991 A JP2023000991 A JP 2023000991A JP 2021207261 A JP2021207261 A JP 2021207261A JP 2021207261 A JP2021207261 A JP 2021207261A JP 2023000991 A JP2023000991 A JP 2023000991A
Authority
JP
Japan
Prior art keywords
received signal
learning model
meta information
information
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021207261A
Other languages
English (en)
Other versions
JP2023000991A5 (ja
Inventor
成生 金本
Naruo Kanemoto
成樹 葛岡
Shigeki Kuzuoka
亮 齋藤
Ryo Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Shift Inc
Original Assignee
Space Shift Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Shift Inc filed Critical Space Shift Inc
Priority to JP2021207261A priority Critical patent/JP2023000991A/ja
Publication of JP2023000991A publication Critical patent/JP2023000991A/ja
Publication of JP2023000991A5 publication Critical patent/JP2023000991A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

【課題】観測対象物の状況あるいは観測対象物の周囲の環境の適切な観測を可能にする。学習モデル、信号処理装置、飛翔体、及びプログラムを提供する。【解決手段】学習モデルは、第1対象領域に照射された電磁波が反射された反射電磁波に基づく第1受信信号を入力とし、第1受信信号に対応し、所定の項目を有する第1メタ情報を出力とする教師データを用いて学習され、第2対象領域に照射された電磁波が反射された反射電磁波に基づく第2受信信号が入力され、第2受信信号に対応し、所定の項目を有する第2メタ情報を出力する。【選択図】図1

Description

本発明は、学習モデル、信号処理装置、飛翔体、及びプログラムに関する。
人工衛星,航空機あるいはドローン装置などの飛翔体を使用した地上及び海上を含む地
球表面の状態の観測が広く行われている。人工衛星による観測手法には、光学画像を取得
して行われる観測手法、合成開口レーダ(SAR:Synthetic Apertur
e Radar)技術を使用して得られるレーダ画像いわゆるSAR画像を取得して行わ
れる観測手法、あるいは光学画像とSAR画像とを取得し、両画像を組み合わせて行われ
る観測手法などがある。特許文献1には、SAR画像等のレーダ画像と光学画像とが、地
物の判別が容易になるように合成された合成画像を生成する地物情報判読用画像生成方法
が示される。
特開2009-047516号公報
SAR画像は、レーダ装置を搭載した人工衛星から観測対象物に照射されたマイクロ波
(電磁波)が、観測対象物において反射された電磁波に応じた信号(以降、受信信号と呼
ぶ)に基づいて生成される。SAR画像は、受信信号に対して、所定の圧縮処理が行われ
ることによって生成される。
SAR画像の生成における圧縮処理では、受信信号が周波数領域においてフィルタリン
グされ、受信信号のデータの一部が除かれる。フィルタリングによって、圧縮処理の対象
となる受信信号のデータ量が減少し、圧縮処理における計算の負担が軽減される。一方で
、フィルタリングによる受信信号の除去は、受信信号から検出可能な情報の欠落や情報の
誤検出を生じ得る。情報の欠落や誤検出は、観測対象物の状況あるいは観測対象物の周囲
の環境の観測における精度又は確度に対して影響を与える。
そこで、本発明は、観測対象物の状況あるいは観測対象物の周囲の環境を高精度又は高
確度に観測することを可能にする、学習モデル、信号処理装置、飛翔体、及びプログラム
を提供することを目的とする。
本発明の一態様に係る学習モデルは、第1対象領域に照射された電磁波が反射された反
射電磁波に基づく第1受信信号を入力とし、第1受信信号に対応し、所定の項目を有する
第1メタ情報を出力とする教師データを用いて学習され、第2対象領域に照射された電磁
波が反射された反射電磁波に基づく第2受信信号が入力され、第2受信信号に対応し、所
定の項目を有する第2メタ情報を出力する。
この態様によれば、学習モデルは、受信信号の入力に対して、当該受信信号に対応する
メタ情報を出力するように学習され、動作する。この学習モデルを使用することにより、
例えば、対象領域における移動体や建造物の個数の合計という項目を有するメタ情報を、
受信信号に基づいて取得することが可能となる。受信信号から、例えばSAR画像を介さ
ずに、メタ情報を取得することが可能となるため、受信信号に含まれる情報が欠落しない
。よって、観測対象物の状況を示すメタ情報を高精度又は高確度に観測することが可能と
なる。
上記態様において、学習モデルは、第1受信信号及び第1受信信号に基づいて生成され
た第1生成信号を入力とし、第1メタ情報を出力とする教師データを用いて学習され、第
2受信信号及び第2受信信号に基づいて生成された第2生成信号が入力され、第2メタ情
報を出力してもよい。
この態様によれば、学習モデルにおける教師データには、第1受信信号に基づいて生成
された第1生成信号がさらに含まれる。第1生成信号とは、例えば、第1受信信号に基づ
くSAR画像生成のための信号(SAR信号)である。SAR信号のように、受信信号に
基づいて生成されるデータを入力にさらに含み、メタ情報を出力とする学習モデルを用い
ることで、SAR信号の方が適切に対象物等のメタ情報を観測できる場合において、観測
対象物の状況を高精度又は高確度に観測することが可能となる。
上記態様において、学習モデルは、第1受信信号及び第1対象領域における環境を示す
情報を入力とし、第1メタ情報を出力とする教師データを用いて学習され、第2受信信号
及び第2対象領域における環境を示す情報が入力され、第2メタ情報を出力してもよい。
この態様によれば、学習モデルにおける教師データには、第1対象領域における環境を
示す情報がさらに含まれる。第1対象領域における環境を示す情報とは、例えば、第1対
象領域における天候等の気象条件、あるいは、煙等の人為的要因によって発生する環境条
件である。第2メタ情報の出力の際に、第2対象領域における環境を示す情報を含む入力
を用いることで、第2メタ情報を高精度又は高確度に観測することが可能となる。
上記態様において、学習モデルは、第1対象領域における環境を示す情報を含む第1メ
タ情報を出力とする教師データを用いて学習され、第2対象領域における環境を示す情報
を含む第2メタ情報を出力するようにしてもよい。
この態様による学習モデルを用いることで、観測対象物の周囲の環境である第2対象領
域における環境を示す情報の取得が可能となる。よって、観測対象物の周囲の環境を高精
度又は高確度に観測することが可能となる。
また、他の態様において、信号処理装置は、上記態様の学習モデルが記憶された記憶部
と、第2受信信号を取得する信号取得部と、学習モデルに、前記第2受信信号を入力し、
前記第2メタ情報を推定する推定部と、を備える。
この態様によれば、信号処理装置単体で、信号の取得及び学習モデルを用いた第2メタ
情報の推定を行うことが可能となる。これにより、例えば、地球上空の空間のように外部
との通信に一定の制約がある環境であったとしても、学習モデルを用いたメタ情報の推定
が可能となり、信号処理装置は、観測対象物の状況を高精度又は高確度に観測することが
可能となる。
上記態様において、信号処理装置は、推定部は、第1時刻における第2受信信号及び第
2時刻における第2受信信号を、上記態様の学習モデルに対して入力し、第1時刻におけ
る第2受信信号に対応する第1時刻における第2メタ情報及び前記第2時刻における前記
第2受信信号に対応する前記第2時刻における前記第2メタ情報を推定し、第1時刻にお
ける第2メタ情報と第2時刻における第2メタ情報とに基づいて、第2対象領域における
変化を判定する変化判定部、をさらに備えてもよい。
この態様によれば、第1時刻における第2対象領域の第2メタ情報が第2時刻において
変化した場合に、当該変化の有無が検出可能となる。メタ情報に基づくことにより、信号
処理装置は、観測対象物の状況又は観測対象物の周囲の環境を高精度又は高確度に観測し
つつ、第2対象領域における変化を判定することができる。
上記態様において、信号処理装置は、判定された変化が、所定の条件を満たす場合に、
変化を示す変化情報を出力する変化情報出力部、をさらに備えてもよい。
この態様によれば、信号処理装置は、変化が所定の条件を満たす場合に、変化の有無に
加えて、変化の内容を変化情報として出力する。これにより、変化の詳細を外部の装置に
よって取得することが可能となる。信号処理装置が、条件に基づき、必要に応じて変化情
報を出力することで、信号処理装置と外部との通信量及び信号処理装置における通信に必
要な電力消費を抑制することが可能となる。
また、他の態様において、飛翔体は、上記態様の学習モデルが記憶された記憶部と、第
2受信信号を取得する信号取得部と、学習モデルに、第2受信信号を入力し、第2メタ情
報を推定する推定部と、第2メタ情報に基づく出力信号を外部に出力する信号出力部と、
を備える。
この態様によれば、飛翔体が単体で学習モデルを使用した第2メタ情報の推定を行うこ
とが可能となる。これにより、外部との通信に一定の制約がある環境に置かれる飛翔体が
、外部との通信を伴わずに第2メタ情報の推定が可能となる。これにより、飛翔体の通信
量及び通信に必要な電力消費を抑制することができる。また、飛翔体は、第2メタ情報に
基いて、例えば、第2メタ情報そのものや、第2メタ情報の変化を示す情報を含む出力情
報を外部に出力できる。これにより、SARデータのように容量が大きいデータを外部に
送信せず、SARデータに基づいて観測されるメタ情報と同等の第2メタ情報を外部に送
信することが可能となる。これにより、飛翔体と外部との通信量及び飛翔体による通信に
必要な電力消費を抑制することができる。
また、他の態様において、プログラムは、コンピュータに、上記態様の学習モデルが記
憶された記憶部に入力される第2受信信号を取得する信号取得処理と、学習モデルに、第
2受信信号を入力し、第2メタ情報を推定する推定処理と、を実行させる。これにより、
コンピュータに、観測対象物の状況を示すメタ情報を高精度又は高確度に観測させること
が可能となる。
上記態様において、プログラムは、コンピュータに、第2メタ情報に基づく出力信号を
外部に出力する信号出力処理、をさらに実行させてもよい。これにより、例えば、当該プ
ログラムが記録されたコンピュータを備える飛翔体において、飛翔体と外部との通信量及
び飛翔体による通信に必要な電力消費を抑制することができる。
本発明によれば、観測対象物の状況あるいは観測対象物の周囲の環境の適切な観測を可
能にする、学習モデル、信号処理装置、飛翔体、及びプログラムを提供することができる
本実施形態に係る観測システムのブロック図である。 本実施形態に係る学習モデルを説明する図である。 本実施形態に係る学習モデルの学習を説明する図である。 本実施形態に係る学習モデルの学習に用いられる情報の一例を説明する図である。 本実施形態に係る学習モデルの学習に用いられる情報の一例を説明する図である。 本実施形態に係る学習モデルの学習に用いられる教師データの対応を説明する図である。 本実施形態に係る飛翔体における処理を説明するフローチャートである。 本実施形態に係る信号処理装置によるメタ情報の推定を説明する図である。 本実施形態に係る信号処理装置によって推定されたメタ情報の一例を説明する図である。 本実施形態に係る信号処理装置によるメタ情報の変化の判定を説明する図である。 本実施形態に係る信号処理装置による変化の判定処理を説明するフローチャートである。 学習モデルの学習及び推定の他の態様を説明する図である。 観測システムの他の態様を示すブロック図である。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において
、同一の符号を付したものは、同一又は同様の構成を有する。
図1には、本実施形態に係る観測システム10のブロック図が示される。観測システム
10は、飛翔体100及び観測装置200を備える。飛翔体100は地球上空の空間に配
置され、観測装置200は地球に配置される。本実施形態では、飛翔体100が地球表面
の対象領域Dをレーダによって観測し、飛翔体100において処理された観測信号Oが観
測装置200に送信される。観測信号Oとは、例えば後述される、飛翔体100が取得し
た受信信号又は当該受信信号に対応するメタ情報である。
飛翔体100は、通信アンテナ101、レーダ装置102、及び信号処理装置103を
備える。飛翔体100は、受信信号の取得及び処理が可能な人工衛星であり、宇宙空間に
配置されて地球の周囲を周回する。なお、飛翔体100は静止衛星であってもよい。また
、飛翔体100は、航空機、ヘリコプターもしくはドローン装置などの、地球上空に位置
することが可能な装置であればよい。
通信アンテナ101は、飛翔体100が地球上又は宇宙空間に設けられる外部装置との
通信を行うためのアンテナである。
レーダ装置102は、例えばマイクロ波である電磁波EM1を、地球表面の対象領域D
に対して照射し、対象領域Dにおける観測対象物によって電磁波EM1が反射された反射
電磁波EM2を取得する装置である。レーダ装置102は、例えば、合成開口レーダ(S
AR)である。反射電磁波EM2は、レーダ装置102により、飛翔体100で取り扱い
が可能な、電磁波の変動に基づく受信信号(RAWデータ)として処理及び記録される。
受信信号は、例えば、対象領域Dの所定の座標ごとの信号強度として記録される。レーダ
装置102は、通信アンテナ101を通じて、観測信号Oを観測装置200に送信する。
レーダ装置102には、受信信号の取得処理を制御するためのプロセッサ及び当該制御
に必要なプログラムが記憶される記憶装置が含まれる。
信号処理装置103は、レーダ装置102によって取得された受信信号の処理を行う情
報処理装置である。信号処理装置103は、メモリ等の記憶領域を有し、記憶領域に格納
されたプログラムをプロセッサが実行することによって所定の処理を行うコンピュータで
ある。
信号処理装置103は、記憶部104及び制御部105を有する。記憶部104は、例
えば、RAM等の半導体メモリや、光ディスクである。記憶部104は、信号処理装置1
03での処理に用いられる各種の情報を記憶する。
記憶部104には、学習モデル1041が記憶される。学習モデル1041は、受信信
号を入力とし、受信信号に対応するメタ情報を出力するよう学習されたプログラムである
。メタ情報及び学習モデル1041の詳細については後述する。
制御部105は、信号処理装置103における信号処理を行う。また、制御部105は
、飛翔体100を通じた受信信号の処理結果の送信を制御する。制御部105は、信号取
得部1051、推定部1052、信号出力部1053、変化判定部1054、及び変化情
報出力部1055を有する。
信号取得部1051は、レーダ装置102から受信信号を取得する。
推定部1052は、信号取得部1051によって取得された受信信号を学習モデル10
41に入力し、受信信号に対応するメタ情報を取得する。
信号出力部1053は、通信アンテナ101を通じて、推定部1052が取得したメタ
情報を観測信号Oとして観測装置200に出力する。また、信号出力部1053は、メタ
情報と共に、当該メタ情報に対応する受信信号を観測信号Oとして出力してもよい。
変化判定部1054は、異なる時刻において対象領域Dから取得された受信信号に対応
する複数のメタ情報に基づいて、対象領域Dにおける観測対象物の状況あるいは観測対象
物の周囲の環境の変化を判定する。
変化情報出力部1055は、変化判定部1054によって判定された変化が、所定の条
件を満たす場合に、変化を示す変化情報を出力する。変化情報とは、例えば、メタ情報の
うち、変化したメタ情報が抽出された情報や、対象領域Dのうち変化が生じている領域の
範囲を示す情報である。変化判定部1054及び変化情報出力部1055による処理につ
いては後述する。
観測装置200は、飛翔体100による対象領域Dの観測を制御する制御信号を飛翔体
100に対して送信し、飛翔体100から観測信号Oを取得する装置である。観測装置2
00は、アンテナ及びアンテナによる通信を制御する制御部を含む通信部201を有する
。飛翔体100との情報の送受信は、通信部201を通じて行われる。
信号処理部202は、飛翔体100からの観測信号Oの処理を行う。信号処理部202
は、飛翔体100から取得した観測信号Oに基づいて、例えば対象領域Dにおける観測結
果を画像によって可視化する処理を行う。
図2から図6を参照して、本実施形態に係る学習モデル1041の学習について説明す
る。
図2は、学習モデル1041の学習及び推定を模式的に説明する図である。学習モデル
1041は学習用データLDを教師データとして学習される。学習用データLDには、あ
る対象領域(第1対象領域)への電磁波の照射によって取得された受信信号R0(第1受
信信号)と受信信号R0に対応するメタ情報MD0(第1メタ情報)の組が含まれる。学
習モデル1041は、受信信号R0を入力、メタ情報MD0を出力として学習される。
受信信号R0に対するメタ情報MD0の対応付けのために、受信信号R0はSARデー
タに変換される。受信信号R0は、所定の変換処理を経なければ、観測装置200のユー
ザが理解可能な情報とはならない。SARデータの変換処理は、例えば、観測装置200
によって行われる。SARデータに基づいて解析処理や可視化処理が行われることで、受
信信号R0に基づく観測結果をユーザが理解可能となる。
SARデータは、受信信号R0に対する変換の内容に応じた複数のレベルを有する。S
ARデータとしては、例えば、受信信号R0に対してレンジ圧縮及びシングルルックアジ
マス圧縮が行われた第1レベルのSARデータがある。第1レベルのSARデータは、複
素数の情報であり、対象領域Dにおける反射電磁波EM2の振幅の情報及び位相の情報が
含まれる。第1レベルのSARデータをSAR画像として可視化することによって、ユー
ザによる受信信号R0の内容の把握が可能となる。
他のSARデータとして、受信信号R0に対して、レンジ圧縮及びマルチルックアジマ
ス圧縮が行われた第2レベルのSARデータもある。第2レベルのSARデータによって
、受信信号R0のSAR画像による可視化が幾何学的に補正された状態で可能となる。
他のSARデータとして、受信信号R0に対して、レンジ圧縮、シングルルックアジマ
ス圧縮及びオルソ補正を行った第3レベルのSARデータもある。オルソ補正を加えるこ
とによって、光学画像と重ねることが可能なSAR画像を得ることができる。
上述のように、受信信号R0をSARデータに変換し、SAR画像として可視化するこ
とによって、ユーザが対象領域Dにおける観測結果を理解することが可能となる。ユーザ
は、観測結果の意味を示す情報としてメタ情報MD0を受信信号R0に対応付けることが
できる。あるいは、SAR画像とメタ情報とを対応づける学習モデルを用いて、コンピュ
ータによって、SAR画像に対してメタ情報を関連付けた後に受信信号とメタ情報とを対
応付けてもよい。
メタ情報M0は、例えば、海上の船舶に対する観測においては、船舶及び海象に関する
情報である。具体的には、船舶の情報として、位置、全長、種類の項目に対応する情報が
SAR画像から取得される。また、複素数成分を有するSARデータに基づく位相の情報
を用いて、船舶の速度を取得することが可能となる。また、海象に関する情報として、海
上の風向及び風速をSARデータに基づいて取得することができる。海上の風向及び風速
は、SARデータの後方散乱係数及び実際に計測された風向及び風速のデータに基づいて
算出された相関関係に基づいて推定される。後方散乱係数とは、対象領域の表面で散乱す
る照射された電磁波のうち、照射方向に戻る電磁波の強度に基づく係数である。
受信信号R0に対するメタ情報MD0の対応付けには、SARデータ以外の付加情報を
用いることができる。例えば、船舶に関するメタ情報MD0には、AIS(Automa
tic Identification System:自動識別システム)というシス
テムから取得された、位置、船名、船籍、及び全長等の情報であるAIS情報が含まれて
もよい。受信信号R0が取得された際のAISの情報に基づいて、メタ情報MD0が生成
されてもよい。また、海象に関しては、洋上に設けられたブイから取得された風向、風速
、及び天候をメタ情報MD0としてもよい。
メタ情報MD0は、観測対象に応じて様々な項目を有する。自動車や動物など、陸上の
移動体に対するメタ情報には、移動体の移動軌跡の情報が含まれる。当該情報は、移動体
によって生じる反射電磁波の干渉の変化によるSARデータの変化から取得される。この
場合、メタ情報には、当該移動体に取り付けられたGPS装置に基づく移動軌跡が含まれ
てもよい。
災害時の浸水域が観測対象である場合、メタ情報として浸水域の範囲を、SAR画像に
おける明度の低い領域として取得してもよい。この場合、メタ情報には、航空機や人工衛
星によって取得された光学画像に基づく浸水域の範囲が含まれてもよい。
農作物の管理に用いるメタ情報として、作物の成長度合いをメタ情報としてもよい。作
物の成長度合いは、SARデータの後方散乱係数及び実際に観測された作物の成長度合い
に基づいて算出された相関関係に基づいて推定される。この場合、メタ情報には、光学計
測による分光反射特性や、実際に測定された作物の背丈の情報が含まれてもよい。
建築物に関する検出においては、新規の建築物に関する情報をメタ情報としてもよい。
新規の建築物に関する情報は、SARデータの後方散乱係数及び実際に観測された新規の
建築物に関する情報に基づいて算出された相関関係に基づいて推定される。この場合、光
学画像から検出した建物情報や、地図情報から新規の建築物に関する情報を取得してもよ
い。また、建物の種類に関する情報が地図等に基づいて取得されて、メタ情報とされても
よい。
メタ情報と受信信号との対応付けにあたっては、電磁波のシミュレーションを用いるこ
ともできる。シミュレーションモデルにおいて、電磁波の照射及び反射をシミュレートし
、受信信号及びSARデータを生成することができる。この場合、シミュレーションモデ
ルにおける条件、例えば、船舶数や船舶の形状、移動体の位置の軌跡等のメタ情報が、生
成された受信信号及びSARデータに対応付けられるメタ情報となる。
飛翔体100によって他の対象領域(第2対象領域)に照射された電磁波に基づき、飛
翔体100が取得した受信信号R1(第2受信信号)が、学習済みの学習モデル1041
に対して入力されると、学習モデル1041は、受信信号R1に対応したメタ情報MD1
(第2メタ情報)を出力する。
学習モデル1041は、受信信号R1に加えて、受信信号R1が取得された際の付加情
報が入力され、メタ情報MD1を出力してもよい。例えば、上述の船舶の例においては、
AIS情報及び洋上に設けられたブイからの情報が付加情報であり得る。ここでは、学習
モデル1041は、SARデータと、AIS情報及び洋上に設けられたブイからの情報を
含む付加情報とに基づくメタ情報MD0を用いて学習されたとする。この場合、学習モデ
ル1041を用いたメタ情報MD1の推定の際に、AIS情報又は洋上に設けられたブイ
からの情報のいずれかが付加情報として、学習モデル1041に入力される。学習モデル
1041の入力に、SARデータに加えて付加情報を含めることによって、メタ情報がよ
り高精度又は高確度に観測されるようにしてもよい。
図3から図6を参照して受信信号R0とメタ情報MD0の関係について説明する。本実
施形態においては、海上における船舶及び船舶の周囲の環境である海象の推測を可能とす
る学習モデルを例として説明する。
図3の例では、対象領域Dに対応する受信信号R0に基づいて、対象領域DにおけるS
AR画像IG1が生成される。SAR画像IG1においては、船舶S31,S32,S3
3が検出されている。この場合、図4に示されるように、船舶に関する第1船舶情報及び
海象に関する第1海象情報を含むメタ情報MD01が、SAR画像IG1から取得される
。メタ情報MD01は、受信信号R0に対応付けられる。なお、第1船舶情報及び後述の
第2船舶情報における「船舶ID」の項目は、メタ情報MD01において船舶を識別する
ために用いられる任意の情報である。
また、対象領域Dに対応する受信信号R0が取得された際の対象領域DにおけるAIS
情報に基づいて、図5に示されるようなメタ情報MD02が取得される。メタ情報MD0
2には、船舶に関する第2船舶情報及び海象に関する第2海象情報が含まれる。第2船舶
情報及び第2海象情報は第1船舶情報及び第2海象情報とは異なる項目を有している。メ
タ情報MD02は、受信信号R0に対応付けられる。
AIS情報に基づいた場合、図3の正解イメージIG2に示されるように、船舶S31
からS33に加えて、船舶S34が対象領域Dに存在していることがメタ情報MD02に
よって示される。
学習用データLDとして、受信信号R0に対応付けられるメタ情報MD0は、メタ情報
MD1及びメタ情報MD2に基づいて用意される。メタ情報MD0には、船舶に関して、
第1船舶情報と同様の項目を有するように、第1船舶情報に基づいて第3船舶情報が含ま
れる。また、メタ情報MD0には、海象に関して、第2海象情報と同様の項目を有するよ
うに、第2海象情報に基づいて第3海象情報が含まれる。このように、モデルの生成に用
いるメタ情報MD0は、SAR画像に基づくメタ情報MD01や他の装置からの情報に基
づくメタ情報MD02が組み合わされるようにして生成することができる。また、メタ情
報MD01又はメタ情報MD02のいずれかのメタ情報をそのままメタ情報MD0として
もよい。
学習モデル1041は、上述のように用意された学習用データLDを用いて、例えば、
ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される
。なお、学習モデル1041は、単一の学習モデルとして構成されてもよく、複数の学習
モデルを組み合わせた学習モデルとして構成されてもよい。
図7から図9を参照して、飛翔体100による処理について説明する。
図7のステップS701において、レーダ装置102が、対象領域Dに対して電磁波E
M1を照射する。照射のタイミングは、観測装置200によって制御されたタイミングで
もよく、飛翔体100において予め指定されたタイミングであってもよい。
ステップS702において、信号取得部1051は、レーダ装置102が検出した反射
電磁波EM2に基づく受信信号R1をレーダ装置102から取得する。
ステップS703において、推定部1052は、受信信号R1を学習モデル1041に
入力する。なお、このとき、推定部1052は、受信信号R1に加えて、受信信号R1が
取得された際の付加情報を、あわせて学習モデル1041に入力してもよい。
ステップS704において、推定部1052は、受信信号R1に対応するメタ情報MD
1を学習モデル1041から取得する。
ステップS705において、信号出力部1053は、メタ情報MD1に基づく出力信号
を観測装置200に出力する。メタ情報MD1に基づく出力信号は、メタ情報MD1の全
部や、メタ情報MD1の一部を伝達する信号である。あるいは、出力信号は、メタ情報に
対して情報処理がなされた結果の情報を伝達する信号であってもよい。
図8を参照して、学習モデル1041によるメタ情報の推定を説明する。ここでは、図
6に示されるような対応を有する学習用データLDを用いて学習された学習モデル104
1を使用する場合を説明する。
受信信号R1は、SAR画像IG3に示される状態を示すSARデータに変換され得る
情報である。SAR画像IG3に基づいて生成されるメタ情報では、船舶S81からS8
3に関する情報が含まれる。一方で、実際の状況は、正解イメージIG4に示される状況
であるとする。つまり、船舶S84に関する情報が、受信信号R1のSARデータ化によ
って欠落している。
この場合、信号処理装置103は、受信信号R1を学習モデル1041に入力し、図9
に示すようなメタ情報MD1を取得することができる。メタ情報MD1には4隻の船舶を
示す情報が含まれている。つまり、信号処理装置103によって、SARデータから検出
できないようなメタ情報を検出することが可能になる。
受信信号及び学習モデル1041を用いることで、SARデータの変換による影響を受
けずにメタ情報の推定を行うことができる。これにより、図示はされないが、例えばSA
R画像において検出すべきでない対象が偽像として検出されるような誤検出が生じる場合
であっても、適切にメタ情報を推定することができる。
図10及び図11を参照して、飛翔体100によるメタ情報の変化検出について説明す
る。
図10では、建築物に関するメタ情報の変化の検出について説明する。ある時刻T1(
第1時刻)では建築物が配置イメージIG5に示されるように配置されている。別の時刻
T2(第2時刻)では、同じ領域に、建築物が配置イメージIG6に示されるように配置
されている。配置イメージIG5,IG6は、例えば、空中あるいは宇宙から建築物を上
から観測した光学画像あるいはSAR画像である。配置イメージIG5,IG6は、所定
の領域A01からA04までを有する。配置イメージIG6に示されるように、時刻T2
では新規建築物NBが領域A03に建築されている。
上記変化が学習モデル1041を用いて検出される例を説明する。ここでは、学習モデ
ル1041は、受信信号の入力に対して、建築物の領域ごとの個数である建築物情報をメ
タ情報として出力するように学習されているとする。
図11には、飛翔体100による処理のフローチャートが示される。
ステップS1101において、レーダ装置102は、時刻T1において対象領域に電磁
波を照射する。
ステップS1102において、信号取得部1051は、レーダ装置102が検出した反
射電磁波に基づく受信信号R3をレーダ装置102から取得する。受信信号R3は記憶部
104に記憶されてもよい。
ステップS1103において、推定部1052は、受信信号R3を学習モデル1041
に入力する。
ステップS1104において、推定部1052は、受信信号R3に対応するメタ情報M
D3を学習モデル1041から取得する。メタ情報MD3は、記憶部104に記憶されて
もよい。
ステップS1105において、レーダ装置102は、時刻T2において対象領域に電磁
波を照射する。
ステップS1106において、信号取得部1051は、レーダ装置102が検出した反
射電磁波に基づく受信信号R4をレーダ装置102から取得する。
ステップS1107において、推定部1052は、受信信号R4を学習モデル1041
に入力する。
ステップS1108において、推定部1052は、受信信号R4に対応するメタ情報M
D4を学習モデル1041から取得する。
ステップS1109において、変化判定部1054は、メタ情報MD3とメタ情報MD
4に基づいて、対象領域における変化を判定する。図10の場合、メタ情報MD04では
、領域A03において建築物の個数は4つに増えている。よって、変化判定部1054は
この建築物数の変化があると判定する。
ステップS1110において、変化情報出力部1055は、変化が所定の条件を満たす
かを判定する。ここで所定の条件とは、変化があるか否かの判定結果や、変化の具体的内
容に関する条件である。例えば、図10の例では、変化の具体的内容として、ある領域で
変化があること又は建築物数が増加や減少する変化がいずれかの領域であること等が条件
となり得る。
ここでは、建築物数が増加する変化がいずれかの領域で生じることが条件であるとする
。このとき変化情報出力部1055は、変化が所定の条件を満たすと判定する。
変化が所定の条件を満たすと判定された場合、ステップS1111において、変化情報
出力部1055は変化を示す情報を出力信号として観測装置200に出力する。なお、所
定の条件が満たされない場合、処理は終了する。出力信号は例えば、メタ情報MD3及び
MD4を伝達する信号である。あるいは、出力信号は、変化があった領域A03に関する
メタ情報を抽出し、抽出されたメタ情報を伝達する信号である。あるいは、変化があると
判定された領域A03の中でも、変化が生じた部分をより詳細に示す座標に関する情報を
伝達する信号であってもよい。
飛翔体100は、受信信号に基づく精度又は確度の良いメタ情報に基づいて、対象領域
における変化を検出することができる。よって、変化の検出精度又は確度も向上する。
飛翔体100は、変化を判定し、変化があった部分についてのみ、メタ情報そのものや
、変化があった範囲を示す情報を観測装置200へと送信することで、観測装置200へ
の通信量を削減することができる。これにより、飛翔体100は、電力消費を抑制するこ
とができる。これは、地球上空の空間という環境によって、利用可能な電力に制限がある
飛翔体100にとって利点となる。
図12は、学習モデル1041Aの学習及び推定を模式的に説明する図である。学習モ
デル1041Aは、学習用データLDとして、受信信号R0、メタ情報MD0に加えて、
受信信号R0に基づいて生成されたSARデータ(第1生成信号)及び付加情報を含む。
このように学習用データLDを用意することで、学習モデル1041Aに、受信信号R1
、受信信号R1に基づいて生成されたSARデータ(第2生成信号)及び受信信号R1に
対応する付加情報を入力としたメタ情報MD1の推定が可能となる。
例えば、付加情報として、受信信号R0が取得された際の対象領域における環境を示す
情報として、当該対象領域の天候を用いることができる。学習モデル1041Aを用いた
メタ情報MD1の推定の際に、受信信号R1が取得された際の対象領域における環境を示
す情報を他の装置から取得し、学習モデル1041Aの入力に含めることができる。これ
により、メタ情報MD1の推定をより高精度又は高確度に行うことができる。
図13には、他の態様として観測システム10Aを示すブロック図が示される。図13
に示されるように、信号処理装置103は、観測装置200Aに含まれるように設けるこ
ともできる。飛翔体100Aの制御部1301によって、レーダ装置102が取得した受
信信号が、観測装置200Aに送信される。観測装置200Aの信号処理装置103によ
って上述の処理を行うようにすることもできる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定
して解釈するためのものではない。実施形態が備える各要素並びにその条件等は、例示し
たものに限定されるわけではなく適宜変更することができる。また、異なる構成同士を部
分的に置換し又は組み合わせることが可能である。
10…観測システム、100…飛翔体、101…通信アンテナ、102…レーダ装置、
103…信号処理装置、104…記憶部、1041…学習モデル、105…制御部、10
51…信号取得部、1052…推定部、1053…信号出力部、1054…変化判定部、
1055…変化情報出力部、200…観測装置、201…通信部、202…信号処理部

Claims (10)

  1. 第1対象領域に照射された電磁波が反射された反射電磁波に基づく第1受信信号を入力
    とし、前記第1受信信号に対応し、所定の項目を有する第1メタ情報を出力とする教師デ
    ータを用いて学習され、
    第2対象領域に照射された電磁波が反射された反射電磁波に基づく第2受信信号が入力
    され、前記第2受信信号に対応し、前記所定の項目を有する第2メタ情報を出力する、学
    習モデル。
  2. 請求項1に記載の学習モデルであって、
    前記学習モデルは、前記第1受信信号及び前記第1受信信号に基づいて生成された第1
    生成信号を入力とし、前記第1メタ情報を出力とする教師データを用いて学習され、
    前記第2受信信号及び前記第2受信信号に基づいて生成された第2生成信号が入力され
    、前記第2メタ情報を出力する、学習モデル。
  3. 請求項1又は2に記載の学習モデルであって、
    前記学習モデルは、前記第1受信信号及び前記第1対象領域における環境を示す情報を
    入力とし、前記第1メタ情報を出力とする教師データを用いて学習され、
    前記第2受信信号及び前記第2対象領域における環境を示す情報が入力され、前記第2
    メタ情報を出力する、学習モデル。
  4. 請求項1から3のいずれか一項に記載の学習モデルであって、
    前記学習モデルは、前記第1対象領域における環境を示す情報を含む前記第1メタ情報
    を出力とする前記教師データを用いて学習され、
    前記第2対象領域における環境を示す情報を含む前記第2メタ情報を出力する、学習モ
    デル。
  5. 請求項1から4のいずれか一項に記載の学習モデルが記憶された記憶部と、
    前記第2受信信号を取得する信号取得部と、
    前記学習モデルに、前記第2受信信号を入力し、前記第2メタ情報を推定する推定部と
    、を備える信号処理装置。
  6. 請求項5に記載の信号処理装置であって、
    前記推定部は、第1時刻における前記第2受信信号及び第2時刻における前記第2受信
    信号を、前記学習モデルに対して入力し、前記第1時刻における前記第2受信信号に対応
    する前記第1時刻における前記第2メタ情報及び前記第2時刻における前記第2受信信号
    に対応する前記第2時刻における前記第2メタ情報を推定し、
    前記第1時刻における前記第2メタ情報と前記第2時刻における前記第2メタ情報とに
    基づいて、前記第2対象領域における変化を判定する変化判定部、をさらに備える信号処
    理装置。
  7. 請求項6に記載の信号処理装置であって、
    前記判定された前記変化が、所定の条件を満たす場合に、前記変化を示す変化情報を出
    力する変化情報出力部、をさらに備える、信号処理装置。
  8. 請求項1から4のいずれか一項に記載の学習モデルが記憶された記憶部と、
    前記第2受信信号を取得する信号取得部と、
    前記学習モデルに、前記第2受信信号を入力し、前記第2メタ情報を推定する推定部と

    前記第2メタ情報に基づく出力信号を外部に出力する信号出力部と、を備える飛翔体。
  9. コンピュータに、
    請求項1から4のいずれか一項に記載の学習モデルが記憶された記憶部に入力される前
    記第2受信信号を取得する信号取得処理と、
    前記学習モデルに、前記第2受信信号を入力し、前記第2メタ情報を推定する推定処理
    と、を実行させるプログラム。
  10. 請求項9に記載のプログラムであって、
    前記コンピュータに、
    前記第2メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させ
    る、プログラム。
JP2021207261A 2021-06-18 2021-12-21 学習モデル、信号処理装置、飛翔体、及びプログラム Pending JP2023000991A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021207261A JP2023000991A (ja) 2021-06-18 2021-12-21 学習モデル、信号処理装置、飛翔体、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021101963A JP7006875B1 (ja) 2021-06-18 2021-06-18 学習モデル、信号処理装置、飛翔体、及びプログラム
JP2021207261A JP2023000991A (ja) 2021-06-18 2021-12-21 学習モデル、信号処理装置、飛翔体、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021101963A Division JP7006875B1 (ja) 2021-06-18 2021-06-18 学習モデル、信号処理装置、飛翔体、及びプログラム

Publications (2)

Publication Number Publication Date
JP2023000991A true JP2023000991A (ja) 2023-01-04
JP2023000991A5 JP2023000991A5 (ja) 2024-06-26

Family

ID=80624146

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021101963A Active JP7006875B1 (ja) 2021-06-18 2021-06-18 学習モデル、信号処理装置、飛翔体、及びプログラム
JP2021207261A Pending JP2023000991A (ja) 2021-06-18 2021-12-21 学習モデル、信号処理装置、飛翔体、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021101963A Active JP7006875B1 (ja) 2021-06-18 2021-06-18 学習モデル、信号処理装置、飛翔体、及びプログラム

Country Status (2)

Country Link
JP (2) JP7006875B1 (ja)
WO (1) WO2022264473A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5246391B2 (ja) 2007-08-17 2013-07-24 株式会社パスコ 地物情報判読用画像生成方法およびプログラム
US9978013B2 (en) 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
JP6548376B2 (ja) 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
DE112018000997T5 (de) 2017-02-24 2019-11-07 Japan Aerospace Exploration Agency Flugkörper und Programm
JP7182869B2 (ja) 2017-12-28 2022-12-05 古野電気株式会社 物標検出装置
JP6991089B2 (ja) 2018-03-28 2022-01-12 株式会社Ihi 船舶検出装置及び方法
JP2019194821A (ja) 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
CN110991257B (zh) 2019-11-11 2023-04-18 中国石油大学(华东) 基于特征融合与svm的极化sar溢油检测方法

Also Published As

Publication number Publication date
WO2022264473A1 (ja) 2022-12-22
JP7006875B1 (ja) 2022-01-24
JP2023000897A (ja) 2023-01-04

Similar Documents

Publication Publication Date Title
JP7182869B2 (ja) 物標検出装置
WO2020003586A1 (ja) データ生成装置、画像識別装置、データ生成方法及び記憶媒体
Wang et al. Acoustically focused adaptive sampling and on-board routing for marine rapid environmental assessment
AU2016200864A1 (en) Estimating Position and Orientation of an Underwater Vehicle Relative to Underwater Structures
JP2014506990A (ja) 水中構造物の3次元モデルの構築
Benjamin et al. Obstacle avoidance using multiobjective optimization and a dynamic obstacle manager
Szyrowski et al. Developments in subsea power and telecommunication cables detection: Part 1-Visual and hydroacoustic tracking.
JPWO2018155683A1 (ja) 飛翔体、及びプログラム
Jalving et al. Terrain referenced navigation of AUVs and submarines using multibeam echo sounders
JP3562494B2 (ja) ソーナー探知範囲予察可視化システム、方法及びプログラム
Sreekala et al. Deep convolutional neural network with Kalman filter based objected tracking and detection in underwater communications
WO2022264473A1 (ja) 学習モデル、信号処理装置、飛翔体、及びプログラム
CN115485742B (zh) 学习模型、信号处理装置、飞行物以及程序
JP3589186B2 (ja) 機上海洋予察装置
JP3562493B2 (ja) ソーナー探知範囲予察システム、方法及びプログラム
JP2010122081A (ja) 水測能力予測システム、水測能力予測方法、水測能力予測プログラム及び水測機器搭載移動体
Thurman et al. Real-time adaptive control of multiple colocated acoustic sensors for an unmanned underwater vehicle
Han et al. A framework for condition monitoring and risk-based decision support involving a vessel state observer
Kim et al. Terrain-based localization using particle filter for underwater navigation
Zwolak Underwater objects’ detection system choice for harbor surveillance purposes
JP7328885B2 (ja) 動作センサ選択装置、目標探知システム及び動作センサ選択方法
Martins et al. Environmental and acoustic assessment: The AOB concept
Caiti et al. Innovative technologies in underwater archaeology: field experience, open problems, and research lines
Toal et al. Novel multi-sonar controller and other advanced features developed and tested on Latis, a smart, remotely operated vehicle
Muduli et al. A Review On Recent Advancements In Signal Processing and Sensing Technologies for AUVs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240618