CN115485742B - 学习模型、信号处理装置、飞行物以及程序 - Google Patents

学习模型、信号处理装置、飞行物以及程序 Download PDF

Info

Publication number
CN115485742B
CN115485742B CN202280003550.1A CN202280003550A CN115485742B CN 115485742 B CN115485742 B CN 115485742B CN 202280003550 A CN202280003550 A CN 202280003550A CN 115485742 B CN115485742 B CN 115485742B
Authority
CN
China
Prior art keywords
information
signal
synthetic aperture
aperture radar
meta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202280003550.1A
Other languages
English (en)
Other versions
CN115485742A (zh
Inventor
金本成生
葛冈成树
斋藤亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Transfer Co ltd
Original Assignee
Space Transfer Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021101963A external-priority patent/JP7006875B1/ja
Application filed by Space Transfer Co ltd filed Critical Space Transfer Co ltd
Publication of CN115485742A publication Critical patent/CN115485742A/zh
Application granted granted Critical
Publication of CN115485742B publication Critical patent/CN115485742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种学习模型、信号处理装置、飞行物以及程序，能够合适地观测观测对象物的状况或者观测对象物的周围环境。学习模型将基于向第一对象区域照射的电磁波反射的反射电磁波的第一接收信号作为输入，使用将与第一接收信号对应且具有规定项目的第一元信息作为输出的教师数据而学习，输入基于向第二对象区域照射的电磁波所反射的反射电磁波的第二接收信号，输出与第二接收信号对应且具有规定项目的第二元信息。

Description

学习模型、信号处理装置、飞行物以及程序
技术领域
本发明涉及学习模型、信号处理装置、飞行物以及程序。
背景技术
广泛进行使用了人造卫星、航空器以及无人机装置等的飞行物观测包含地上以及海上的地球表面的状态。在基于人造卫星的观测方法中，存在获取光学图像而进行的观测方法、获取使用合成孔径雷达(SAR:Synthetic Aperture Radar)得到的雷达图像即SAR图像而进行的观测方法、或者获取光学图像和SAR图像并组合两种图像而进行的观测方法等。在专利文献1中，示出生成SAR图像等的雷达图像和光学图像以容易判断地物的方式合成的合成图像的地物信息破译用图像生成方法。
现有技术文献
专利文献
专利文献1：特开2009-047516号公报
发明内容
SAR图像是从装载雷达装置的人造卫星向观测对象物照射的微波(电磁波)基于与在观测对象物中反射的电磁波相应的信号(以下，称为接收信号)生成。SAR图像通过相对于接收信号进行规定的压缩处理而生成。
在SAR图像的生成中的压缩处理中，接收信号在频率区域中被滤波，除去接收信号的数据的一部分。通过滤波，成为压缩处理的对象的接收信号的数据量减少，减轻压缩处理中的计算负担。另一方面，基于滤波的接收信号的除去能够产生从接收信号能够检测的信息的欠缺或信息的误检。信息的欠缺或误检对观测对象物的状况或者观测对象物的周围环境观测中的精度或者准确度造成影响。
因此，本发明的目的在于，提供学习模型、信号处理装置、飞行物以及程序，能够高精度或者高准确度地观测观测对象物的状况或者观测对象物的周围环境。
本发明的一方式涉及的学习模型是将基于向第一对象区域照射的电磁波所反射的反射电磁波的第一接收信号作为输入，使用将与所述第一接收信号对应且具有规定项目的第一元信息作为输出的教师数据而学习，输入基于向第二对象区域照射的电磁波所反射的反射电磁波的第二接收信号，输出与第二接收信号对应且具有规定项目的第二元信息。
根据该方式，学习模型以相对于接收信号的输入输出与该接收信号对应的元信息的方式学习并动作。通过使用该学习模型，例如，能够基于接收信号获取具有对象区域中的移动体或建筑物的个数合计的项目的元信息。由于能够从接收信号例如不经由SAR图像获取元信息，所以接收信号所包含的信息没有欠缺。因此，能够高精度或者高准确度地观测表示观测对象物状况的元信息。
在上述方式中，也可以是学习模型将第一接收信号以及基于第一接收信号生成的第一生成信号作为输入，使用将第一元信息作为输出的教师数据而学习，输入第二接收信号以及基于第二接收信号生成的第二生成信号，输出第二元信息。
根据该方式，在学习模型中的教师数据中，还包含基于第一接收信号生成的第一生成信号。第一生成信号是指例如用于基于第一接收信号的SAR图像生成的信号(SAR信号)。如SAR信号那样，在输入中还包含基于接收信号生成的数据，通过使用将元信息作为输出的学习模型，在SAR信号能够合适地观测对象物等的元信息的情况下，能够高精度或者高准确度地观测观测对象物的状况。
在上述方式中，学习模型也可以将第一接收信号以及表示第一对象区域中的环境的信息作为输入，使用将第一元信息作为输出的教师数据而学习，输入第二接收信号以及表示第二对象区域中的环境的信息，输出第二元信息。
根据该方式，在学习模型中的教师数据中，还包含表示第一对象区域中的环境的信息。表示第一对象区域中的环境的信息是指例如通过第一对象区域中的天气等的气象条件或者烟等的人为要因产生的环境条件。在输出第二元信息时，通过使用包含表示第二对象区域中的环境的信息的输入，能够高精度或者高准确度地观测第二元信息。
在上述方式中，学习模型也可以使用将包含表示第一对象区域中的环境的信息的第一元信息作为输出的教师数据而学习，输出包含表示第二对象区域中的环境的信息的第二元信息。
通过使用基于该方式的学习模型，能够获取表示作为观测对象物的周围环境的第二对象区域中的环境的信息。由此，能够高精度或者高准确度地观测观测对象物的周围环境。
此外，在其他方式中，信号处理装置具备存储上述方式的学习模型的存储部、获取第二接收信号的信号获取部、向学习模型输入所述第二接收信号并推测所述第二元信息的推测部。
根据该方式，能够用信号处理装置单体进行信号的获取以及使用了学习模型的第二元信息的推测。由此，例如，即使在如地球上空的空间那样在与外部的通信中存在一定制约的环境，也可以使用学习模型推测元信息，信号处理装置能够高精度或者高准确度地观测观测对象物的状况。
在上述方式中，对于信号处理装置，推测部相对于上述方式的学习模型输入第一时刻中的第二接收信号以及第二时刻中的第二接收信号，推测与第一时刻中的第二接收信号对应的第一时刻中的第二元信息以及与所述第二时刻中的所述第二接收信号对应的所述第二时刻中的所述第二元信息，所述信号处理装置还可以具备基于第一时刻中的第二元信息和第二时刻中的第二元信息判断第二对象区域中的变化的变化判断部。
根据该方式，在第一时刻中的第二对象区域的第二元信息在第二时刻发生变化的情况下，能够检测有无该变化。通过基于元信息，信号处理装置能够高精度或者高准确度地观测观测对象物的状况或者观测对象物的周围环境并且判断第二对象区域中的变化。
根据上述方式，信号处理装置也还可以具备在判断的变化满足规定条件的情况下，输出表示变化的变化信息的变化信息输出部。
根据该方式，信号处理装置在变化满足规定条件的情况下，除了有无变化以外，将变化的内容作为变化信息输出。由此，能够通过外部的装置获取变化的详细。信号处理装置基于条件，通过根据需要输出变化信息，能够抑制信号处理装置与外部的通信量以及信号处理装置中的通信所需要的电力消耗。
此外，在其他方式中，飞行物具备存储上述方式的学习模型的存储部、获取第二接收信号的信号获取部、向学习模型输入第二接收信号并推测第二元信息的推测部、和向外部输出基于第二元信息的输出信号的信号输出部。
根据该方式，飞行物能够以单体使用学习模型推测第二元信息。由此，在与外部的通信中存在一定制约的环境中放置的飞行物能够不伴随着与外部的通信而能够进行第二元信息的推测。由此，能够抑制飞行物的通信量以及通信所需要的电力消耗。此外，飞行物能够基于第二元信息，向外部输出例如第二元信息自身或者包含表示第二元信息的变化的信息的输出信息。由此，能够不向外部发送SAR数据那样的容量较大的数据而向外部发送与基于SAR数据观测的元信息同等的第二元信息。由此，能够抑制飞行物与外部的通信量以及基于飞行物的通信所需要的电力消耗。
此外，在其他方式中，程序是在计算机中，执行获取输入存储上述方式的学习模型的存储部的第二接收信号的信号获取处理以及向学习模型输入第二接收信号并推测第二元信息的推测处理。由此，在计算机中，能够高精度或者高准确度地观测表示观测对象物的状况的元信息。
在上述方式中，程序也可以在计算机中，还执行向外部输出基于第二元信息的输出信号的信号输出处理。由此，例如在具备存储该程序的计算机的飞行物中，能够抑制飞行物与外部的通信量以及基于飞行物的通信所需要的电力消耗。
发明效果
根据本发明，能够提供学习模型、信号处理装置、飞行物以及程序，能够进行观测对象物的状况或者观测对象物的周围环境的适当观测。
附图说明
图1是本实施方式涉及的观测系统的框图。
图2是说明本实施方式涉及的学习模型的图。
图3是说明本实施方式涉及的学习模型的学习的图。
图4是说明本实施方式涉及的学习模型的学习中使用的信息的一例的图。
图5是说明本实施方式涉及的学习模型的学习中使用的信息的一例的图。
图6是说明本实施方式涉及的学习模型的学习中使用的教师数据的对应的图。
图7是说明本实施方式涉及的飞行物中的处理的流程图。
图8是说明基于本实施方式涉及的信号处理装置的元信息的推测的图。
图9是说明通过本实施方式涉及的信号处理装置推测的元信息的一例的图。
图10是说明基于本实施方式涉及的信号处理装置判断元信息的变化的图。
图11是说明基于本实施方式涉及的信号处理装置进行的变化判断处理的流程图。
图12是说明学习模型的学习以及推测的其他方式的图。
图13是表示观测系统的其他方式的框图
具体实施方式
参照附图，关于本发明的合适的实施方式进行说明。此外，在各图中，标注相同的附图标记的部分具有相同或同样的构成。
图1中示出本实施方式涉及的观测系统10的框图。观测系统10具备飞行物100以及观测装置200。飞行物100配置于地球上空的空间，观测装置200配置于地球。在本实施方式中，飞行物100通过雷达观测地球表面的对象区域D，在飞行物100中处理的观测信号O发送至观测装置200。观测信号O是指例如为后述的飞行物100所获取的接收信号或者与该接收信号对应的元信息。
飞行物100具备通信天线101、雷达装置102以及信号处理装置103。飞行物100为能够获取以及处理接收信号的人造卫星，配置于宇宙空间并环绕地球的周围。另外，飞行物100也可以是静止卫星。此外，飞行物100可以是航空器、直升机或者无人机装置等的能够位于地球上空的装置。
通信天线101为用于进行飞行物100与设置于地球上或者宇宙空间的外部装置的通信的天线。
雷达装置102为相对于地球表面的对象区域D照射例如作为微波的电磁波EM1，获取通过对象区域D中的观测对象物反射电磁波EM1的反射电磁波EM2的装置。雷达装置102例如为合成孔径雷达(SAR)。反射电磁波EM2作为通过雷达装置102能够由飞行物100处理的基于电磁波的变化的接收信号(RAW数据)被处理以及存储。
接收信号例如作为按照对象区域D的规定坐标不同的信号强度进行存储。雷达装置102通过通信天线101将观测信号O发送至观测装置200。
雷达装置102中包含用于控制接收信号的获取处理的处理器以及存储该控制所需要的程序的存储装置。
信号处理装置103是进行通过雷达装置102获取的接收信号的处理的信息处理装置。信号处理装置103是具有存储器等的存储区域并且通过使处理器执行存储于存储区域的程序从而进行规定的处理的计算机。
信号处理装置103具有存储部104以及控制部105。存储部104是例如RAM等的半导体存储器或光盘。存储部104存储在信号处理装置103中的处理中所使用的各种信息。
在存储部104中存储学习模型1041。学习模型1041是以将接收信号作为输入并输出与接收信号对应的元信息的方式进行学习的程序。后述关于元信息以及学习模型1041的详细。
控制部105进行信号处理装置103中的信号处理。此外，控制部105控制通过飞行物100的接收信号的处理结果的发送。控制部105具有信号获取部1051、推测部1052、信号输出部1053、变化判断部1054以及变化信息输出部1055。
信号获取部1051从雷达装置102获取接收信号。
推测部1052向学习模型1041输入通过信号获取部1051获取的接收信号，获取与接收信号对应的元信息。
信号输出部1053通过通信天线101，将推测部1052所获取的元信息作为观测信号O向观测装置200输出。此外，信号输出部1053也可以与元信息共同将与该元信息对应的接收信号作为观测信号O输出。
变化判断部1054基于与在不同的时刻从对象区域D获取的接收信号对应的多个元信息，判断对象区域D中的观测对象物的状况或者观测对象物的周围环境的变化。
变化信息输出部1055在通过变化判断部1054判断的变化满足规定条件的情况下，输出表示变化的变化信息。变化信息是表示例如元信息之中的抽取变化的元信息的信息或对象区域D之中的产生变化的区域的范围的信息。后述关于基于变化判断部1054以及变化信息输出部1055的处理。
观测装置200为相对于飞行物100发送控制基于飞行物100的对象区域D的观测的控制信号，从飞行物100获取观测信号O的装置。观测装置200具有包含控制天线以及基于天线的通信的控制部的通信部201。与飞行物100的信息的发送接收通过通信部201进行。
信号处理部202进行来自飞行物100的观测信号O的处理。信号处理部202基于从飞行物100获取的观测信号O，通过图像对例如对象区域D中的观测结果进行可视化的处理。
参照图2～图6，关于本实施方式涉及的学习模型1041的学习进行说明。
图2是示意性地说明学习模型1041的学习以及推测的图。学习模型1041将学习用数据LD作为教师数据学习。在学习用数据LD中，包含通过向某对象区域(第一对象区域)照射电磁波获取的接收信号R0(第一接收信号)和与接收信号R0对应的元信息MD0(第一元信息)的组。学习模型1041将接收信号R0作为输入，将元信息MD0作为输出而学习。
为了元信息MD0相对于接收信号R0建立关联，接收信号R0转换为SAR数据。如果接收信号R0不经过规定的转换处理，则不能成为观测装置200的用户能够理解的信息。SAR数据的转换处理例如通过观测装置200进行。通过基于SAR数据进行解析处理或可视化处理，使用户能够理解基于接收信号R0的观测结果。
SAR数据具有与相对于接收信号R0的转换的内容相应的多个水平。作为SAR数据，例如存在相对于接收信号R0进行范围压缩以及单视方位角压缩的第一水平的SAR数据。第一水平的SAR数据是多个数量的信息，包含对象区域D中的反射电磁波EM2的振幅的信息以及相位的信息。通过将第一水平的SAR数据作为SAR图像进行可视化，能够由用户掌握接收信号R0的内容。
作为其他SAR数据，也存在对于接收信号R0进行范围压缩以及单视方位角压缩的第二水平的SAR数据。通过第二水平的SAR数据，可成为几何学补正基于接收信号R0的SAR图像的可视化的状态。
作为其他SAR数据，也存在对于接收信号R0进行范围压缩、单视方位角压缩以及正交补正的第三水平的SAR数据。通过施加正交补正，能够得到可与光学图像重合的SAR图像。
如上述那样，将接收信号R0转换为SAR数据，通过作为SAR图像进行可视化，使用户能够理解对象区域D中的观测结果。用户能够作为表示观测结果的意思的信息将元信息MD0与接收信号R0建立关联。或者，也可以使用将SAR图像与元信息建立关联的学习模型，通过计算机相对于SAR图像将元信息建立关联后将接收信号与元信息建立关联。
元信息M0例如是在相对于海上的船舶的观测中，与船舶以及海象相关的信息。具体来说，作为船舶的信息，从SAR图像获取与位置、全长、种类的项目对应的信息。此外，能够使用基于具有多个成分的SAR数据的相位的信息获取船舶的速度。此外，作为与海象相关的信息，能够基于SAR数据获取海上的风向以及风速。海上的风向以及风速基于根据SAR数据的后向散射系数以及实际测量的风向以及风速数据计算的相关性进行推测。后向散射系数是指基于在对象区域的表面散射的照射电磁波之中的返回照射方向的电磁波强度的系数。
在元信息MD0相对于接收信号R0建立关联中，能够使用除了SAR数据以外的附加信息。例如，在与船舶相关的元信息MD0中，也可以包含作为从AIS(AutomaticIdentification System:自动识别系统)的系统获取的位置、船名、船籍以及全长等的信息的AIS信息。也可以基于获取接收信号R0时的AIS的信息，生成元信息MD0。关于海象，也可以将从设置于海上的浮标获取的风向、风速以及天气作为元信息MD0。
元信息MD0根据观测对象具有各种各样的项目。在相对于汽车或动物等，陆地上的移动体的元信息中，包含移动体的移动轨迹信息。该信息从基于通过移动体产生的反射电磁波的干涉变化的SAR数据的变化获取。在这种情况下，在元信息中，也可以包含基于安装于该移动体的GPS装置的移动轨迹。
在灾害时的浸水区域为观测对象的情况下，也可以作为元信息将浸水区域范围作为SAR图像中的明亮度低的区域获取。在这种情况下，在元信息中，也可以包含基于通过航空器或人造卫星获取的光学图像的浸水区域范围。
作为农作物的管理中使用的元信息，也可以将作物的成长度作为元信息。作物的成长度基于根据SAR数据的后向散射系数以及实际观测的作物的成长度计算的相关性进行推测。在这种情况下，在元信息中也可以包含基于光学测量的分光反射特性或实际测量的作物的高度信息。
在与建筑物相关的检测中，也可以将与新建筑物相关的信息作为元信息。新建筑物相关的信息基于根据SAR数据的后向散射系数以及实际观测的与新建筑物相关的信息计算的相关性进行推测。在这种情况下，也可以获取从光学图像检测的建筑物信息或来自地图信息的与新建筑物相关的信息。此外，也可以基于地图等获取与建筑物的种类相关的信息，作为元信息。
在将元信息与接收信号建立关联时，也能够使用电磁波的仿真。在仿真模型中，能够对电磁波的照射以及反射进行仿真，生成接收信号以及SAR数据。在这种情况下，仿真模型中的条件，例如船舶数量或船舶的形状、移动体的位置轨迹等的元信息成为与生成的接收信号以及SAR数据建立关联的元信息。
基于通过飞行物100向其他的对象区域(第二对象区域)照射的电磁波，当飞行物100获取的接收信号R1(第二接收信号)相对于完成学习的学习模型1041输入时，学习模型1041输出与接收信号R1对应的元信息MD1(第二元信息)。
学习模型1041除了接收信号R1以外，也可以输入获取接收信号R1时的附加信息，输出元信息MD1。例如，在上述船舶的例子中，AIS信息以及来自设置于海洋上的浮标的信息能够作为附加信息。在此，学习模型1041设为使用基于SAR数据和包含AIS信息以及来自设置于海洋上的浮标的信息的附加信息的元信息MD0学习。在这种情况下，在使用了学习模型1041推测元信息MD1时，AIS信息或者来自设置于海洋上的浮标的信息的任一个作为附加信息输入学习模型1041。在学习模型1041的输入中，通过除了SAR数据以外包含附加信息，也可以更高精度或者高准确度地观测元信息。
参照图3至图6关于接收信号R0与元信息MD0的关系进行说明。在本实施方式中，将能够进行作为海上的船舶以及船舶的周围环境的海象推测的学习模型作为例子进行说明。
在图3的例子中，基于与对象区域D对应的接收信号R0，生成对象区域D中的SAR图像IG1。在SAR图像IG1中，检测船舶S31，S32，S33。在这种情况下，如图4所示那样，从SAR图像IG1获取包含与船舶相关的第一船舶信息以及与海象相关的第一海象信息的元信息MD01。元信息MD01与接收信号R0建立关联。此外，第一船舶信息以及后述的第二船舶信息中的“船舶ID”的项目是在元信息MD01中为了识别船舶而使用的任意信息。
此外，基于获取与对象区域D对应的接收信号R0时的对象区域D中的AIS信息，获取如图5所示那样的元信息MD02。在元信息MD02中，包含与船舶相关的第二船舶信息以及与海象相关的第二海象信息。第二船舶信息以及第二海象信息具有与第一船舶信息以及第二海象信息不同的项目。元信息MD02与接收信号R0建立关联。
在基于AIS信息的情况下，如图3的正确图像IG2所示那样，除了船舶S31至S33以外，通过元信息MD02示出船舶S34存在于对象区域D。
作为学习用数据LD，与接收信号R0建立关联的元信息MD0基于元信息MD1以及元信息MD2准备。在元信息MD0中，关于船舶，以具有与第一船舶信息相同的项目的方式基于第一船舶信息包含第三船舶信息。此外，在元信息MD0中，关于海象，以具有与第二海象信息相同的项目的方式基于第二海象信息包含第三海象信息。如此，模型的生成中使用的元信息MD0能够组合基于SAR图像的元信息MD01或基于来自其他装置的信息的元信息MD02而生成。此外，也可以将元信息MD01或者元信息MD02的任一个元信息直接作为元信息MD0。
学习模型1041使用上述那样准备的学习用数据LD，例如，通过使用神经网络的方法等的一般的机械学习方法学习。此外，学习模型1041既可以作为单一的学习模型构成，也可以作为组合了多个学习模型的学习模型而构成。
参照图7至图9，关于基于飞行物100的处理进行说明。
在图7的步骤S701中，雷达装置102相对于对象区域D照射电磁波EM1。照射的时机既可以是通过观测装置200控制的时机，也可以是在飞行物100中预先指定的时机。
在步骤S702中，信号获取部1051从雷达装置102获取基于雷达装置102检测的反射电磁波EM2的接收信号R1。
在步骤S703中，推测部1052将接收信号R1输入学习模型1041。此外，此时，推测部1052除了接收信号R1以外，也可以将获取接收信号R1时的附加信息一起向学习模型1041输入。
在步骤S704中，推测部1052从学习模型1041获取与接收信号R1对应的元信息MD1。
在步骤S705中，信号输出部1053向观测装置200输出基于元信息MD1的输出信号。基于元信息MD1的输出信号为传递元信息MD1的全部或者元信息MD1的一部分的信号。或者，输出信号也可以是传递相对于元信息进行信息处理的结果的信息的信号。
参照图8，说明基于学习模型1041推测元信息。在此，说明使用利用如图6所示那样的具有对应的学习用数据LD学习的学习模型1041的情况。
接收信号R1是能够转换为表示如SAR图像IG3所示的状态的SAR数据的信息。在基于SAR图像IG3生成的元信息中，包含与从船舶S81至S83相关的信息。另一方面，实际的状况设为正确图像IG4所示的状况。即，与船舶S84相关的信息由于接收信号R1的SAR数据化而欠缺。
在这种情况下，信号处理装置103能够将接收信号R1输入学习模型1041，获取如图9所示那样的元信息MD1。在元信息MD1中包含表示四艘船舶的信息。即，能够通过信号处理装置103，检测从SAR数据不能检测那样的元信息。
通过使用接收信号以及学习模型1041，能够不受基于SAR数据的转换的影响而进行元信息的推测。由此，虽然未图示，但即使在产生例如在SAR图像中不应该检测的对象作为虚像检测那样的误检测的情况下，也能够合适地推测元信息。
参照图10以及图11，关于基于飞行物100的元信息变化检测进行说明。
在图10中，关于与建筑物相关的元信息的变化检测进行说明。在某时刻T1(第一时刻)中，建筑物以如配置图像IG5所示那样配置。在别的时刻T2(第二时刻)中，在同样的区域中，建筑物以如配置图像IG6所示那样配置。配置图像IG5、IG6例如为从空中或者宇宙从上观测建筑物的光学图像或者SAR图像。配置图像IG5、IG6具有规定的区域A01至A04。如配置图像IG6所示那样，在时刻T2中新建筑物NB建于区域A03。
说明上述变化使用学习模型1041检测的例子。在此，学习模型1041相对于接收信号的输入，以将作为按照建筑物的区域不同的个数的建筑物信息作为元信息输出的方式进行学习。
在图11中，示出基于飞行物100的处理的流程图。
在步骤S1101中，雷达装置102在时刻T1向对象区域照射电磁波。
在步骤S1102中，信号获取部1051从雷达装置102获取基于雷达装置102检测的反射电磁波的接收信号R3。接收信号R3也可以存储于存储部104。
在步骤S1103中，推测部1052将接收信号R3输入学习模型1041。
在步骤S1104中，推测部1052从学习模型1041获取与接收信号R3对应的元信息MD3。元信息MD3也可以存储于存储部104。
在步骤S1105中，雷达装置102在时刻T2向对象区域照射电磁波。
在步骤S1106中，信号获取部1051从雷达装置102获取基于雷达装置102检测的反射电磁波的接收信号R4。
在步骤S1107中，推测部1052将接收型号R4输入学习模型1041。
在步骤S1108中，推测部1052从学习模型1041获取与接收信号R4对应的元信息MD4。
在步骤S1109中，变化判断部1054基于元信息MD3和元信息MD4判断对象区域中的变化。在图10的情况下，在元信息MD04中，在区域A03中，建筑物个数增加至四个。因此，变化判断部1054判断为该建筑物数量发生变化。
在步骤S1110中，变化信息输出部1055判断变化是否满足规定的条件。在此规定的条件是指是否有变化的判断结果或与变化的具体内容相关的条件。例如，在图10的例子中，作为变化的具体内容，条件可能是某个区域有变化，也可能是任一区域的建筑物数量增加或减少。
在此，在某个区域产生建筑物数量增加的变化成为条件。此时变化信息输出部1055判断为变化满足规定的条件。
在判断为变化满足规定的条件的情况下，在步骤S1111中，变化信息输出部1055将表示变化的信息作为输出信号向观测装置200输出。此外，在不满足规定的条件的情况下，处理结束。输出信号例如为传递元信息MD3以及MD4的信号。或者，输出信号为抽取与存在变化的区域A03相关的元信息并传递抽取的元信息的信号。或者，即使在判断为存在变化的区域A03中，也可以为传递与更详细地示出产生变化的部分的坐标相关的信息的信号。
飞行物100能够基于基于接收信号的精度或者准确度良好的元信息检测对象区域中的变化。因此，变化的检测精度或者准确度也得到提高。
飞行物100判断变化，仅关于存在变化的部分，通过将元信息自身或表示存在变化的范围的信息向观测装置200发送，能够削减向观测装置200的通信量。由此，飞行物100能够抑制电力消耗。这对于通过地球上空的空间的环境，在能够利用的电力中存在限制的飞行物100来说是优点。
图12是示意性地说明学习模型1041A的学习以及推测的图。学习模型1041A作为学习用数据LD，除了接收信号R0、元信息MD0以外，包含基于接收信号R0生成的SAR数据(第一生成信号)以及附加信息。
通过如此准备学习用数据LD，在学习模型1041A中，可将接收信号R1、基于接收信号R1生成的SAR数据(第二生成信号)以及与接收信号R1对应的附加信息作为输入推测元信息MD1。
例如，作为附加信息，作为表示获取接收信号R0时的对象区域中的环境的信息，能够使用该对象区域的天气。在使用了学习模型1041A推测元信息MD1时，能够从其他装置获取表示获取接收信号R1时的对象区域中的环境的信息，包含于学习模型1041A的输入。由此，能够更加高精度或者高准确度地进行元信息MD1的推测。
在图13中，示出作为其他方式表示观测系统10A的框图。如图13所示那样，信号处理装置103也能够设置为包含于观测装置200A中。通过飞行物100A的控制部1301，雷达装置102获取的接收信号发送至观测装置200A。也能够通过观测装置200A的信号处理装置103进行上述处理。
以上说明的实施方式使本发明的理解变得容易，并非限定本发明并进行解释。实施方式所具备的各要素以及其条件等能够不限定于例示而适当变更。此外。能够部分置换或者组合不同的构成彼此。
附图标记的说明
10 观测系统
100 飞行物
101 通信天线
102 雷达装置
103 信号处理装置
104 存储部
1041 学习模型
105 控制部
1051 信号获取部
1052 推测部
1053 信号输出部
1054 变化判断部
1055 变化信息输出部
200 观测装置
201 通信部
202 信号处理部

Claims (8)

1.一种信号处理装置，具备：
存储部，存储学习模型，所述学习模型将基于向第一对象区域照射的电磁波所反射的反射电磁波的第一合成孔径雷达接收信号作为输入，使用将与所述第一合成孔径雷达接收信号对应且具有规定项目的第一元信息作为输出的教师数据而学习，相对于输入基于向第二对象区域照射的电磁波所反射的反射电磁波的第二合成孔径雷达接收信号，输出与所述第二合成孔径雷达接收信号对应且具有所述规定项目的第二元信息；
信号获取部，获取所述第二合成孔径雷达接收信号；
推测部，对所述学习模型输入第一时刻中的所述第二合成孔径雷达接收信号以及第二时刻中的所述第二合成孔径雷达接收信号，推测与所述第一时刻中的所述第二合成孔径雷达接收信号对应的所述第一时刻中的所述第二元信息以及与所述第二时刻中的所述第二合成孔径雷达接收信号对应的所述第二时刻中的所述第二元信息；以及
变化判断部，基于所述第一时刻中的所述第二元信息和在所述第二时刻中的所述第二元信息，判断所述第二对象区域中的变化。
2.根据权利要求1所述的信号处理装置，其中，
所述学习模型将所述第一合成孔径雷达接收信号以及基于所述第一合成孔径雷达接收信号生成的第一生成信号作为输入，使用将所述第一元信息作为输出的教师数据而学习，
输入所述第二合成孔径雷达接收信号以及基于所述第二合成孔径雷达接收信号生成的第二生成信号，输出所述第二元信息。
3.根据权利要求1或2所述的信号处理装置，其中，
所述学习模型将所述第一合成孔径雷达接收信号以及表示所述第一对象区域中的环境的信息作为输入，使用将所述第一元信息作为输出的教师数据而学习，
输入所述第二合成孔径雷达接收信号以及表示所述第二对象区域中的环境的信息，输出所述第二元信息。
4.根据权利要求1所述的信号处理装置，其中，
所述学习模型使用将包含表示所述第一对象区域中的环境的信息的所述第一元信息作为输出的所述教师数据而学习，
输出包含表示所述第二对象区域中的环境的信息的所述第二元信息。
5.根据权利要求1所述的信号处理装置，还具备：
变化信息输出部，在所述判断的所述变化满足规定条件的情况下，输出表示所述变化的变化信息。
6.一种飞行物，具备如权利要求1～5中任一项所述的信号处理装置，所述信号处理装置还具备：
信号输出部，向外部输出基于所述第二元信息的输出信号。
7.一种计算机可读存储介质，存储程序，所述程序使计算机执行：
信号获取处理，获取向存储部输入的第二合成孔径雷达接收信号，所述存储部存储学习模型，所述学习模型将基于向第一对象区域照射的电磁波所反射的反射电磁波的第一合成孔径雷达接收信号作为输入，使用将与所述第一合成孔径雷达接收信号对应且具有规定项目的第一元信息作为输出的教师数据而学习，相对于输入基于向第二对象区域照射的电磁波所反射的反射电磁波的第二合成孔径雷达接收信号，输出与所述第二合成孔径雷达接收信号对应且具有所述规定项目的第二元信息；
推测处理，对所述学习模型输入第一时刻中的所述第二合成孔径雷达接收信号以及第二时刻中的所述第二合成孔径雷达接收信号，推测与所述第一时刻中的所述第二合成孔径雷达接收信号对应的所述第一时刻中的所述第二元信息以及与所述第二时刻中的所述第二合成孔径雷达接收信号对应的所述第二时刻中的所述第二元信息；以及
变化判断处理，基于所述第一时刻中的所述第二元信息与在所述第二时刻中的所述第二元信息，判断所述第二对象区域中的变化。
8.根据权利要求7所述的计算机可读存储介质，存储所述程序，其中，所述程序进一步使所述计算机执行向外部输出基于所述第二元信息的输出信号的信号输出处理。
CN202280003550.1A 2021-06-18 2022-01-21 学习模型、信号处理装置、飞行物以及程序 Active CN115485742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-101963 2021-06-18
JP2021101963A JP7006875B1 (ja) 2021-06-18 2021-06-18 学習モデル、信号処理装置、飛翔体、及びプログラム
PCT/JP2022/002203 WO2022264473A1 (ja) 2021-06-18 2022-01-21 学習モデル、信号処理装置、飛翔体、及びプログラム

Publications (2)

Publication Number Publication Date
CN115485742A CN115485742A (zh) 2022-12-16
CN115485742B true CN115485742B (zh) 2023-06-27

Family

ID=84396028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280003550.1A Active CN115485742B (zh) 2021-06-18 2022-01-21 学习模型、信号处理装置、飞行物以及程序

Country Status (4)

Country Link
US (1) US20240027580A1 (zh)
EP (1) EP4138036A1 (zh)
CN (1) CN115485742B (zh)
CA (1) CA3180339A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112789499A (zh) * 2018-10-01 2021-05-11 世高株式会社 教师数据生成装置和教师数据生成程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3054258C (en) * 2017-02-24 2023-01-10 Japan Aerospace Exploration Agency Flying body and program
CN110651157A (zh) * 2017-03-27 2020-01-03 博世株式会社 信息处理装置和信息处理方法
JP7160257B2 (ja) * 2017-10-19 2022-10-25 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
KR20200136905A (ko) * 2018-03-29 2020-12-08 소니 주식회사 신호 처리 장치 및 신호 처리 방법, 프로그램, 그리고 이동체
JP7224592B2 (ja) * 2018-09-28 2023-02-20 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112789499A (zh) * 2018-10-01 2021-05-11 世高株式会社 教师数据生成装置和教师数据生成程序

Also Published As

Publication number Publication date
CA3180339A1 (en) 2022-12-18
EP4138036A1 (en) 2023-02-22
CN115485742A (zh) 2022-12-16
US20240027580A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
US20190204416A1 (en) Target object detecting device, method of detecting a target object and computer readable medium
CN102062854B (zh) 信号处理装置、雷达装置及信号处理程序
US11808842B2 (en) Data generation device, image identification device, data generation method, and recording medium
AU2011323798A1 (en) Estimating position and orientation of an underwater vehicle relative to underwater structures
CN107153192B (zh) 一种水下机器人目标定位识别方法和系统
CN111860146A (zh) 海洋锋区域的获取方法、装置、计算机设备和存储介质
CN110231778B (zh) 一种通用的uuv水下目标探测仿真方法及系统
WO2018155683A1 (ja) 飛翔体、及びプログラム
CN103869324A (zh) 水中探知装置以及物标显示方法
JP7143809B2 (ja) クラッタ学習装置及びクラッタ識別装置
CN115485742B (zh) 学习模型、信号处理装置、飞行物以及程序
JP3760243B2 (ja) Ｇｐｓ式海洋波計測方法
WO2022264473A1 (ja) 学習モデル、信号処理装置、飛翔体、及びプログラム
KR20210116798A (ko) 디지털 트윈을 이용하여 선박의 경제운항을 위한 파랑 정보 수집 장치
DE102021208506A1 (de) Unterwasserfahrzeug und Verfahren zur Verbesserung des Lagebilds eines Unterwasserfahrzeugs
Helgesen et al. Inertial navigation aided by ultra-wideband ranging for ship docking and harbor maneuvering
JP3589186B2 (ja) 機上海洋予察装置
Thurman et al. Real-time adaptive control of multiple colocated acoustic sensors for an unmanned underwater vehicle
JP2010122081A (ja) 水測能力予測システム、水測能力予測方法、水測能力予測プログラム及び水測機器搭載移動体
CN202676910U (zh) 融合ecdis信息的智能调参船用雷达系统
Austin et al. Long baseline acoustic navigation-A flexible approach to custom applications
Toal et al. Novel multi-sonar controller and other advanced features developed and tested on Latis, a smart, remotely operated vehicle
Osborne et al. Advanced Unmanned Search System (AUSS) Surface Navigation, Underwater Tracking, and Transponder Network Calibration
EP4006580A1 (en) Improved sonar display features
KR20240062559A (ko) 거리 정보 및 포획 어종 정보를 이용한 어구 위치 추정 및 표기 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40085834

Country of ref document: HK