CN114599996A - 数据处理装置和数据处理方法 - Google Patents

数据处理装置和数据处理方法 Download PDF

Info

Publication number
CN114599996A
CN114599996A CN201980101614.XA CN201980101614A CN114599996A CN 114599996 A CN114599996 A CN 114599996A CN 201980101614 A CN201980101614 A CN 201980101614A CN 114599996 A CN114599996 A CN 114599996A
Authority
CN
China
Prior art keywords
data
sensor
information
unit
feature element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980101614.XA
Other languages
English (en)
Inventor
山下孝一
栗原康平
守谷正太郎
铃木大祐
奥田晴久
渡边昌志
中野贵敬
猪又宪治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN114599996A publication Critical patent/CN114599996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

目的在于得到能够高精度地进行与由多个传感器得到的数据对应的被观测位置的对位的数据处理装置。本发明所涉及的数据处理装置(1)具备:特征要素提取部(14、22),从作为包含对象地区的地图的数据的地图信息和通过由多个传感器分别观测对象地区所得到的多个观测数据中提取作为与对象地区内的基准对象物对应的部分的特征要素;对应关联部(16),选择地图信息和多个观测数据中的一个来作为设为对位的基准的基准数据;以及对位部(23),针对多个观测数据的各观测数据,以使与观测数据对应的特征要素的位置与基准数据中的特征要素的位置一致的方式进行该观测数据的对位。

Description

数据处理装置和数据处理方法
技术领域
本发明涉及一种对由传感器得到的信息进行处理的数据处理装置和数据处理方法。
背景技术
近年,传感器信息被有效利用于各种领域。传感器信息是通过传感器的观测来得到的信息,是由传感器获取的数据或处理该数据所得到的数据。作为传感器,例举被动地观测电磁波的无源传感器、送出电磁波并观测被反射的电磁波的有源传感器。作为无源传感器,例示被称为所谓的图像传感器的传感器,作为有源传感器,例示合成孔径雷达(SAR:Synthetic Aperture Radar)、激光扫描仪。
传感器信息能够利用于例如地震、暴雨之类的自然灾害或火灾、事故之类的人为灾害的状况掌握。另外,不仅是灾害的状况掌握,还研究使用传感器信息来探测灾害的预兆以有助于防灾对策。并且,传感器信息还用于农作物的生长状态的掌握、交通堵塞的状况的掌握等。
专利文献1中公开了使用通过搭载于人造卫星的SAR的观测得到的图像来掌握发生液化、路堤崩塌等的地区的技术。专利文献1所记载的地表变形可视化装置使用在不同的时刻由SAR获取的数据来生成干涉条纹图像和表示干涉性低的区域的图像,将这些图像重叠地进行显示。由于液化、路堤崩塌等而在地表面发生变化的区域被显示为干涉性低的区域,但是在河川等中与这些现象无关地水面的状态始终变动,因此本来干涉性就低。在专利文献1中,干涉条纹图像与表示干涉性低的区域的图像被重叠地显示,因此使用者易于判别干涉性低的区域是河川等、还是发生液化、路堤崩塌等的地区。另外,在专利文献1中还记载了将这些图像进一步与地形表现图重叠地进行显示。
专利文献1:日本特开2018-40728号公报
发明内容
发明要解决的问题
然而,根据上述专利文献1所记载的技术,在将通过SAR的观测得到的图像与地形表现图重叠地进行显示时,基于在SAR的观测数据的处理中求出的与该观测数据对应的地表面的位置和地形表现图中的地图坐标进行对位。通常,使用人造卫星的轨道信息和姿势信息、天底偏角(off-nadir angle)等信息来计算与搭载于人造卫星的SAR的观测数据对应的地表面的位置,但是这样计算出的位置由于坐标系的定义的差、在计算中使用的信息的误差等而未必与地图坐标匹配。即,在SAR的观测数据的处理中求出的位置所表示的坐标系与地图坐标的坐标系有可能不同。因而,在专利文献1所记载的技术中,如果地形表现图与表示干涉性低的区域的图像被重叠地显示,则使用者有可能错误地识别干涉性低的区域的位置。
另一方面,近年,各种各样的种类的传感器设置于各种场所,有时这些传感器观测同一部位。由于传感器的种类或设置场所等而得到的数据的特性不同,因此,如果使用观测到同一部位的多个传感器的观测数据,则与该部位有关的信息增加。然而,这些数据被分别单独地计算位置,因此如果例如上述专利文献1所记载的技术那样将由这些多个传感器得到的数据按原样重叠地进行显示则有可能产生位置偏移。另外,不限于显示,在使用由这些多个传感器得到的数据进行灾害部位的检测、农作物的生长状态的掌握、交通堵塞的状况的掌握之类的分析的情况下,如果没有高精度地进行对位,则得不到精度高的分析结果。
本发明是鉴于上述情况而完成的,目的在于得到能够高精度地进行与由多个传感器得到的数据对应的被观测位置的对位的数据处理装置。
用于解决问题的方案
为了解决上述的问题并达到目的,本发明所涉及的数据处理装置具备特征要素提取部,该特征要素提取部从作为包含对象地区的地图的数据的地图信息和通过由多个传感器分别观测对象地区所得到的多个观测数据中提取作为与对象地区内的基准对象物对应的部分的特征要素。数据处理装置还具备:选择部,选择地图信息和多个观测数据中的一个来作为设为对位的基准的基准数据;以及对位部,针对多个观测数据的各观测数据,以使与观测数据对应的特征要素的位置与基准数据中的特征要素的位置一致的方式进行该观测数据的对位。
发明的效果
本发明所涉及的数据处理装置起到能够高精度地进行与由多个传感器得到的数据对应的被观测位置的对位这样的效果。
附图说明
图1是表示实施方式1所涉及的数据处理装置的结构例的图。
图2是表示实现实施方式1的数据处理装置的计算机系统的结构例的图。
图3是表示实施方式1的数据处理装置中的整体处理的流程的一例的图。
图4是表示实施方式1的传感器信息的结构例的图。
图5是表示实施方式1的特征要素的对应关联处理过程的一例的流程图。
图6是表示实施方式1的特性信息的一例的图。
图7是表示将由实施方式1的分析部提取出的变化区域重叠在地图信息的显示画面的一例的图。
图8是表示将由实施方式1的分析部计算出的位移量重叠在地图信息的显示画面的一例的图。
图9是表示将由实施方式1的分析部计算出的浸水区域重叠在可视传感器图像数据的显示画面的一例的图。
图10是表示实施方式2的数据处理装置的结构例的图。
图11是表示实施方式2的数据处理装置中的整体处理的流程的一例的图。
图12是表示实施方式2的对应关联部的特征要素对应关联处理的一例的流程图。
图13是表示实施方式3的数据处理装置的结构例的图。
图14是表示实施方式3的模拟特征要素生成处理的一例的流程图。
图15是表示实施方式3的数据处理装置中的整体处理的流程的一例的图。
(附图标记说明)
1、1a、1b:数据处理装置;2:传感器信息提供装置;3:地图信息提供装置;11:传感器信息获取部;12:地图信息获取部;13:处理信息存储部;14、14a、22:特征要素提取部;15-1~15-n:第一处理部~第n处理部;16、16a、16b:对应关联部;17:分析部;18:显示处理部;19:选择部;21:校正部;23:对位部;31:信息输出部;32:调整部。
具体实施方式
以下,基于图详细地说明本发明的实施方式所涉及的数据处理装置和数据处理方法。此外,并不是通过该实施方式来限定该发明。
实施方式1.
图1是表示本发明的实施方式1所涉及的数据处理装置的结构例的图。本实施方式的数据处理装置1是从传感器信息提供装置2获取与多个传感器分别对应的传感器信息并进行这些传感器信息的对位的装置。进行对位后的传感器信息例如用于发生灾害时的灾害部位的提取、农作物的生长状态的掌握、交通堵塞的状况的掌握等。另外,如果使用多个时间点的传感器信息,则还能够掌握它们的位移。
传感器信息包含通过传感器的观测得到的观测数据。观测数据是由传感器获取的数据或处理该数据所得到的数据。另外,传感器信息包含表示传感器的观测日期时间的信息和用于计算由传感器观测到的观测场所的位置的观测信息。传感器既可以是搭载于人造卫星、航空器、无人机、直升飞机等的传感器,也可以是搭载于车辆等的传感器,还可以是固定于地表、建筑物等的传感器。
传感器既可以是无源传感器,也可以是有源传感器。作为无源传感器,例示观测可视光、红外光、紫外光等的图像传感器。作为有源传感器,例示SAR、获取三维点群数据的LIDAR(Laser Imaging Detection and Ranging:激光雷达)。传感器也可以是除这些以外的传感器。
数据处理装置1通过通信线路分别连接于提供传感器信息的传感器信息提供装置2和提供地图信息的地图信息提供装置3。这些通信线路既可以是有线线路,也可以是无线线路,还可以是无线线路和有线线路混合存在。在此,说明数据处理装置1经由通信线路从传感器信息提供装置2和地图信息提供装置3获取信息的例子,但是数据处理装置1从传感器信息提供装置2和地图信息提供装置3获取信息的方法不限定于经由通信线路的例子。例如,也可以由传感器信息提供装置2将传感器信息记录在记录介质中,数据处理装置1从记录介质读出信息。关于地图信息也同样地,也可以经由记录介质从地图信息提供装置3提供给数据处理装置1。
另外,传感器信息提供装置2和地图信息提供装置3既可以是由对数据处理装置1进行运用及管理的组织以外的管理者来管理的外部的装置,也可以是由对数据处理装置1进行运用及管理的组织来管理的装置。例如,在数据处理装置1将对位后的传感器信息或使用对位后的传感器信息的分析结果提供给自治团体以用于采取灾害对策等的情况下,传感器信息提供装置2和地图信息提供装置3是由对数据处理装置1进行运用及管理的组织来管理,从外部的装置获取国家整体等广域的传感器信息和状态信息。而且,数据处理装置1也可以按每个自治团体从传感器信息提供装置2和地图信息提供装置3获取对应的信息。
如图1所示,数据处理装置1具备传感器信息获取部11、地图信息获取部12、处理信息存储部13、特征要素提取部14、第一处理部15-1~第n处理部15-n、对应关联部16、分析部17、显示处理部18、信息输出部31以及调整部32。n是与数据处理装置1设为处理对象的传感器信息对应的传感器的数量。例如,在数据处理装置1对与作为红外图像传感器的红外传感器、作为可视图像传感器的可视传感器、SAR以及LIDAR这4个传感器分别对应的传感器信息进行处理的情况下,n为4。此外,n是设为处理对象的传感器的最大数量,数据处理装置1还能够进行使用了与n个传感器中的一部分传感器对应的传感器信息的处理。例如,将红外传感器、可视传感器、SAR以及LIDAR这4个传感器设为处理对象的数据处理装置1还能够进行不使用LIDAR的传感器信息而使用红外传感器、可视传感器以及SAR的传感器信息的处理。
传感器信息获取部11从传感器信息提供装置2获取传感器信息。传感器信息获取部11将获取到的传感器信息保存到处理信息存储部13中。在传感器在人造卫星的情况下,传感器信息提供装置2将由传感器观测到的数据或对该数据实施处理所得到的数据同表示人造卫星的轨道位置、传感器的运用条件等的观测信息一起提供。在传感器在人造卫星的情况下,传感器信息获取部11从传感器信息提供装置2获取包含成为分析的对象的对象地区的传感器信息。关于对象地区,根据由数据处理装置1进行的分析的内容而适当设定。在数据处理装置1进行用于辅助自治团体的灾害应对的分析的情况下,对象地区是包括该自治团体的区域,在数据处理装置1进行将地球整体设为分析对象的处理的情况下,对象地区是地球整体。
传感器信息获取部11例如按所决定的数据大小获取传感器信息。所决定的数据大小例如是从传感器信息提供装置2分发传感器信息时的最小的数据单位,但是不限定于此。另外,传感器信息获取部11也可以按所决定的观测区域的大小获取传感器信息,以代替按所决定的数据大小获取传感器信息。以下,将根据数据大小或观测区域的大小决定的一组传感器信息还称为与一个图像相应的传感器信息。在对象地区大于跟与一个图像相应的传感器信息对应的区域的情况下,传感器信息获取部11获取与多个图像相应的传感器信息。
另外,数据处理装置1在如后述那样进行通过使用灾害发生前后的传感器信息的差分来提取变化区域的分析的情况下,在未发生灾害的平时,事先至少一次获取与对象地区对应的传感器信息并实施后述的对位处理。或者,在传感器信息提供装置2还提供过去的传感器信息的情况下,传感器信息获取部11也可以在发生灾害后在决定应对的优先次序时,将过去的即发生灾害前的传感器信息同发生灾害后的传感器信息一起获取并实施对位处理。
人造卫星的观测数据一般被作为从原始数据到高阶产品的各种级别的数据来提供。本实施方式的传感器信息可以对应于这些数据中的任何级别的数据。此外,在本实施方式中,为了在分析部17中的分析中使用或者为了进行显示,使用示出与位置对应的每个像素的亮度、散射强度、海拔等的图像数据或由三维的坐标值的点表示的三维点群数据。因而,在作为传感器信息提供的观测数据不是图像数据等的情况下,与该传感器对应的第一处理部15-1~第n处理部15-n实施用于从观测数据生成图像数据的处理。另外,在传感器信息包含未进行传感器特有的辐射校准、几何校正等的观测数据的情况下,与该传感器对应的第一处理部15-1~第n处理部15-n进行传感器特有的辐射校准、几何校正等来生成图像数据即可。
关于搭载于航空器、车辆等的传感器的传感器信息,也同样地从传感器信息提供装置2同位置信息一起获取。但是,搭载于人造卫星的传感器的观测数据是不管是否发生灾害都可获取的,而搭载于航空器、车辆等的传感器还有时在发生灾害之后观测设想为发生灾害的地区。在该情况下,有可能得不到发生灾害前的传感器信息。在得不到发生灾害前的传感器信息的情况下,也可以通过仿真等来生成发生灾害前的传感器信息。或者,也可以在平时也例如事先定期地进行搭载于航空器、车辆等的传感器的观测,传感器信息获取部11从传感器信息提供装置2获取平时的传感器信息。
在传感器是位置被固定的传感器的情况下,传感器信息提供装置2也可以是传感器本身或与传感器连接的处理装置等。例如,在传感器是路侧传感器、设置于建筑物的摄像机等的情况下,传感器信息获取部11也可以从观测对象地区的传感器获取传感器信息。或者,在由服务器等将被固定的多个传感器的传感器信息汇集并管理的情况下,该服务器等成为传感器信息提供装置2。
地图信息获取部12从地图信息提供装置3获取作为包含对象地区的地图的数据的地图信息,将获取到的地图信息保存到处理信息存储部13。地图信息具体为例如三维地图数据,同表示该三维地图数据的精度的信息一起被提供。作为三维地图数据,存在基于搭载于人造卫星的传感器的观测数据生成的以全球为对象的数据、为了自动驾驶而基于由LIDAR、摄像机等的传感器观测到的数据生成的高精度的数据等各种各样的数据。地图信息获取部12既可以使用一种三维地图数据,也可以根据对象地区从多种三维地图数据中选择精度高的地图信息来获取。三维地图数据既可以是如数值海拔模型(DEM:DigitalElevation Model)那样用三维坐标值表示的数据,也可以是矢量形式的数据。
特征要素提取部14从被存储在处理信息存储部13的地图信息提取特征要素。并且,特征要素提取部14使用所提取出的特征要素,按每个传感器生成将由该传感器观测基准对象物所得到的数据进行模拟的模拟特征要素。详细地说,特征要素提取部14从作为处理对象的区域的对象地区的地图信息中选择在对位中使用的地面的基准对象物。基准对象物是多个地面基准点(GCP:Ground Control Point)、自然形成的造型物以及建造物中的至少一个。自然形成的造型物例如是河川、湖等。建造物是建筑物、道路、路轨等。地面基准点是为了几何校正、测量而设置的,位置被高精度地决定。另外,如果将河川、道路之类的线状的造型物用作基准对象物,则能够提高对位的精度。另外,如果使用河川、道路之类的线状的造型物,则即使关注区域是摄像区域的边界,通过考虑跨摄像区域的边界的线状的特征物的连续性来进行对位,也能够防止摄像区域的边界的不连续。特征要素提取部14从地图信息提取与所选择的基准对象物对应的区域来作为特征要素。特征要素提取部14基于提取出的特征要素的位置信息,生成由传感器观测基准对象物时得到的模拟数据来作为模拟特征要素。在传感器是图像传感器的情况下,模拟数据是图像数据,在传感器是LIDAR等的情况下,模拟数据是三维点群数据。特征要素的位置信息例如既可以是表示特征要素的形状的三维坐标值,也可以是多边形等信息。关于模拟特征要素,还反映摄影方向、分辨率、振幅、失真等摄像条件来进行制作。
第一处理部15-1~第n处理部15-n进行与n个传感器分别对应的处理。第一处理部15-1~第n处理部15-n分别具备校正部21、特征要素提取部22以及对位部23。此外,在图1中,图示了构成第一处理部15-1的校正部21、特征要素提取部22以及对位部23,但是第二处理部15-2~第n处理部15-n也同样地具备校正部21、特征要素提取部22以及对位部23。第一处理部15-1~第n处理部15-n的校正部21读出被存储在处理信息存储部13的传感器信息中的对应的传感器的传感器信息。然后,第一处理部15-1~第n处理部15-n的校正部21对传感器信息进行包括辐射校准、观测区域的位置的计算处理等的传感器固有的校正,由此生成传感器图像数据。此外,在数据处理装置1获取被实施了辐射校准等校正的传感器图像数据本身来作为传感器信息的情况下,对应的第一处理部15-1~第n处理部15-n也可以不进行校正处理。另外,在此,传感器图像数据不限于被显示为图像的一般的图像数据,还包括通过实施处理来能够显示为图像的数据。通过实施处理来能够显示为图像的数据的一例是三维点群数据。即,各传感器的传感器图像数据是通过由传感器观测对象地区来得到的观测数据。另外,第一处理部15-1~第n处理部15-n的校正部21对搭载于人造卫星、航空器、无人机等的传感器的传感器图像数据进行正射(ortho)校正。
第一处理部15-1~第n处理部15-n的特征要素提取部22使用由特征要素提取部14生成的模拟特征要素,从传感器图像数据提取与基准对象物对应的区域即特征要素,计算所提取出的特征要素与模拟特征要素的相似度。详细地说,第一处理部15-1~第n处理部15-n的特征要素提取部22提取与由模拟特征要素表示的形状最一致的区域来作为特征要素。关于特征要素的提取方法,能够使用一般在图像处理中进行的方法,因此省略详细的说明。作为相似度,可以使用任意的指标,能够使用欧几里德距离、相关系数等。第一处理部15-1~第n处理部15-n的特征要素提取部22将表示提取出的特征要素的位置的信息同相似度一起输出到对应关联部16。此外,在本实施方式中,基于地图数据生成各传感器的模拟特征要素,并将模拟特征要素与从传感器图像提取出的特征要素进行比较,但是不限于此,也可以基于各传感器的特征要素将地图数据的特征要素进行模拟。在该情况下,计算与各传感器对应的特征要素与基于各传感器图像数据生成的地图数据的特征要素的模拟数据的相似度。
另外,第一处理部15-1~第n处理部15-n的对位部23基于从对应关联部16输出的后述的坐标变换信息生成局部变换参数。局部变换参数表示用于将“用与传感器信息对应的坐标系表示的特征要素的位置即坐标值”变换为基准坐标系中的坐标值的变换矩阵中的各元素。第一处理部15-1~第n处理部15-n的对位部23还实施使用局部变换参数来对传感器图像进行变换的处理、即对位图像变换。第一处理部15-1~第n处理部15-n的对位部23将对位图像变换后的传感器图像数据作为地图匹配信息保存到处理信息存储部13中。稍后叙述第一处理部15-1~第n处理部15-n的动作的详情。
作为本实施方式的选择部的对应关联部16选择地图信息和多个传感器信息中的一个来作为设为对位的基准的基准数据。详细地说,对应关联部16基于从第一处理部15-1~第n处理部15-n分别输出的相似度和被存储在处理信息存储部13的特性信息,决定与多个传感器分别对应的多个传感器信息的对位中的基准坐标系。基准坐标系是被选择为基准数据的地图信息或传感器信息的坐标系。对应关联部16基于表示由特征要素提取部14提取出的特征要素的位置的信息和表示由第一处理部15-1~第n处理部15-n提取出的特征要素的位置的信息,生成与各传感器对应的坐标变换信息。对应关联部16将与各传感器对应的坐标变换信息分别输出到对应的第一处理部15-1~第n处理部15-n。坐标变换信息包含基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值。稍后叙述对应关联部16的动作的详情。
分析部17使用被保存在处理信息存储部13的按每个传感器的地图匹配信息进行分析,将分析结果保存到处理信息存储部13。由分析部17进行的分析的一例是使用作为观测数据的传感器图像数据来提取发生灾害的部位的处理,该处理例如是提取在灾害发生前后发生变化的变化区域的处理。分析部17例如使用被存储在处理信息存储部13的地图匹配信息来提取地球的表面的变化区域,输出表示变化区域的变化区域信息来作为分析结果。地球的表面包括陆地的表面、海面、湖和河川的水面、建于地表的建筑物。另外,分析部17也可以提取地球上的大气的变化区域。分析部17例如基于发生灾害前的地图匹配信息与发生灾害后的地图匹配信息的差分提取变化区域。例如,分析部17基于地图匹配信息中的由SAR获取的数据,计算每个像素的亮度、散射强度、海拔等的差分,提取差分为阈值以上的像素。
如果在连续的像素之间差分为阈值以上,则分析部17将与连续的这些像素对应的部分设为一个变化区域。此外,传感器信息中包含关于哪个像素对应于哪个位置的信息,该信息例如由每个图像的、像素的位置和用于以该位置为基准计算各像素的位置的信息构成。关于哪个像素对应于哪个位置的信息不限定于该形式,可以是任意的形式。分析部17在提取差分为阈值以上的像素之后,基于上述的信息计算与该像素对应的位置,由此能够求出变化区域的位置。分析部17输出变化区域的位置、即差分为阈值以上的像素的位置来作为分析结果。一般来说,变化区域包括连续的多个像素,因此在差分根据像素而不同的情况下,既可以将多个像素的平均值设为位移量,也可以将最大值设为位移量。
另外,分析部17也可以按每个像素,代替作为用于求出变化即差分的基准值的在发生灾害前观测到的信息而将到此为止的测量结果、通过分析等计算出的信息用作基准信息来求出差分。另外,在此,示出了按每个像素将亮度、散射强度等进行比较的例子,但是不限于此,在传感器信息中包含海拔的情况下,分析部17也可以求出过去获取的传感器信息与最新的传感器信息之间的海拔的差分,求出差分为阈值以上的部分来作为变化区域。另外,分析部17也可以通过图像处理从根据过去获取的传感器信息求出的地图匹配信息和根据最新的传感器信息求出的地图匹配信息这两方提取建筑物、河、道路等的轮廓,求出这些轮廓的差分。
此外,分析部17也可以如通过机器学习来求出变化区域的阈值等那样,通过将传感器图像数据作为输入的机器学习来进行分析。
在以上的说明中,通过与某些基准信息进行比较并求出差分来提取了变化区域,但是变化区域的提取也可以不使用基准信息。例如,在传感器信息是由检测红外光的传感器得到的红外图像的情况下,能够提取与像素对应的温度为阈值以上的区域来作为因火灾或火山活动等产生的变化区域。不限于红外图像,分析部17也可以提取作为传感器信息得到的图像的与像素对应的亮度、散射强度等脱离预先决定的范围的区域来作为变化区域。或者,在温度为阈值以上的面积为固定值以上的情况下,也可以提取该区域来作为变化区域。或者,也可以提取比周围的平均温度高出固定值以上的区域来作为变化区域。这样,变化区域是因某些现象而相比于过去的状态发生变化的区域、或者与周围之间产生差的区域。此外,变化区域的计算方法不限于这些例子,可以使用一般使用的任意的方法。
另外,分析部17也可以进行提取发生浸水后的浸水区域的处理来作为分析。并且,分析部17也可以进行测量浸水区域的面积的处理。通过测量浸水区域的面积,能够有助于灾害的受灾程度的掌握。另外,同样地,分析部17也可以测量变化区域的面积。
由数据处理装置1进行的分析的内容不限定于此,例如,也可以是提取发生了预计牵连到灾害的异常的区域的处理、农作物的生长状况的掌握、交通堵塞的状况的掌握、商业设施的停车场中的车辆的台数的掌握等。例如,分析部17也可以使用多个时间点的传感器信息来对农作物的生长状况的变化、交通堵塞的状况的变化等进行分析。
提取发生了预计牵连到灾害的异常的区域的处理与上述的变化区域的提取同样地,例如是提取作为基准的过去的传感器信息与新获取的传感器信息的差分为阈值以上的区域来作为发生异常的区域的处理。用于掌握农作物的生长状况的处理例如是通过使用用可视光的多个波长进行摄像得到的传感器信息求出颜色来判断农作物的生长的处理。用于掌握交通堵塞的状况的处理、用于掌握商业设施的停车场中的车辆的台数的处理例如是通过对摄像得到的图像进行图像处理来提取车辆并对车辆的数量进行计数的处理。此外,分析的具体的处理内容不限定于上述的例子,可以使用任意的处理方法。以下,作为一例,主要说明分析的内容是提取在灾害发生前后发生变化的变化区域的处理的情况。
此外,在数据处理装置1进行监视灾害的发生或牵连到灾害的异常的发生的处理来作为分析的情况下,针对应该重点警惕的地区、例如容易产生线状降水带的地区等,也可以将其设为分析的对象地区来始终获取最新的传感器信息并进行分析。另外,数据处理装置1也可以在发生灾害后将发生灾害的地区设为对象地区来获取传感器信息并进行分析。另外,在应用于面向特定的自治团体的防灾系统等的情况下,也可以将与该自治团体对应的地区设为对象地区来始终获取最新的传感器信息并进行分析。
显示处理部18将被保存在处理信息存储部13的每个传感器的对位图像变换后的传感器图像数据进行重叠显示。另外,显示处理部18也可以在被保存在处理信息存储部13的每个传感器的对位图像变换后的传感器图像数据上进一步强调显示并重叠分析部17的分析结果。这样,显示处理部18通过将对位图像变换后的传感器图像数据进行重叠,能够改善可视性。例如,由SAR获取的图像数据虽然表现有海拔,但是不知道地表面、建造物等的颜色。显示处理部18通过将这些重叠地进行显示,能够改善可视性。另外,显示处理部18通过将分析结果进行强调显示,能够改善可视性。
信息输出部31读出被保存在处理信息存储部13的信息并输出到外部的系统等。例如,信息输出部31将对位图像变换后的传感器图像数据、分析结果等输出到外部的系统。由此,外部的系统能够将它们进行显示或处理。调整部32基于来自运用者等的输入、或者基于从其它装置接收到的数据,对在数据处理装置1中的校正处理、对位处理等的处理中使用的参数等进行调整。例如,数据处理装置1获取用于进行各传感器的校正的信息来作为观测信息,但是还有时为了进行更高精度的校正而期望变更在校正中使用的参数。在这样的情况下,通过由运用者等对数据处理装置1进行输入、或者从其它装置发送数据,向数据处理装置1指示变更内容。调整部32基于来自运用者等的输入、或者基于从其它装置接收到的数据,变更在校正中使用的参数。另外,在对位处理中,如后述那样决定了评价项目、权重、评价式等,但是还有时期望变更它们。与在校正中使用的参数同样地,调整部32基于来自运用者等的输入、或者基于从其它装置接收到的数据来变更评价项目、权重、评价式等。另外,也可以在运用者等确认对位处理的结果、分析结果等之后根据这些结果判断为需要调整参数的情况下,如上述那样向数据处理装置1指示变更内容,调整部32基于此进行调整。另外,调整部32也可以调整生成模拟特征要素时的参数。
接着,说明数据处理装置1的硬件结构。通过计算机系统来实现数据处理装置1。图2是表示实现本实施方式的数据处理装置1的计算机系统的结构例的图。如图2所示,该计算机系统具备控制部101、输入部102、存储部103、显示部104、通信部105以及输出部106,它们经由系统总线107被连接。
在图2中,控制部101例如是CPU(Central Processing Unit:中央处理单元)等。控制部101执行描述有本实施方式的数据处理方法的数据处理程序。输入部102例如由键盘、鼠标等构成,用于供计算机系统的用户进行各种信息的输入。存储部103包括RAM(RandomAccess Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等各种存储器和硬盘等存储设备,存储上述控制部101应该执行的程序、在处理的过程中得到的需要的数据等。另外,存储部103还被用作程序的临时性的存储区域。显示部104由LCD(Liquid CrystalDisplay:液晶显示面板)等构成,对计算机系统的用户显示各种画面。通信部105是实施通信处理的通信电路等。通信部105也可以由与多个通信方式分别对应的多个通信电路构成。输出部106是向打印机、外部存储装置等外部的装置输出数据的输出接口。此外,图2是一例,计算机系统的结构不限定于图2的例子。
在此,说明直到变为能够执行描述有本实施方式的数据处理装置1的处理的数据处理程序的状态为止的计算机系统的动作例。在采用上述的结构的计算机系统中,例如从置于未图示的CD(Compact Disc:光盘)-ROM驱动器或DVD(Digital Versatile Disc:数字通用光盘)-ROM驱动器的CD-ROM或DVD-ROM将数据处理程序安装到存储部103。然后,在执行数据处理程序时,从存储部103读出的数据处理程序被保存在存储部103的作为主存储装置的区域。在该状态下,控制部101按照被保存在存储部103的第一程序,执行作为本实施方式的数据处理装置1的处理。
此外,在上述的说明中,将CD-ROM或DVD-ROM作为记录介质来提供描述有数据处理装置1中的处理的程序,但是不限于此,也可以根据计算机系统的结构、提供的程序的容量等,例如使用由因特网等的传输介质经由通信部105提供的程序。
通过图2所示的控制部101和通信部105来实现图1所示的传感器信息获取部11和地图信息获取部12。通过图2所示的控制部101来实现图1所示的特征要素提取部14、第一处理部15-1~第n处理部15-n、对应关联部16以及分析部17。图1所示的处理信息存储部13是图2所示的存储部103的一部分。通过图2所示的控制部101和显示部104来实现图1所示的显示处理部18。通过图2所示的通信部101或输出部106来实现图1所示的信息输出部31。通过图2所示的输入部102和控制部101来实现图1所示的调整部32。
接着,说明本实施方式的动作的详情。图3是表示本实施方式的数据处理装置1中的整体处理的流程的一例的图。如图3所示,首先,进行由地图信息获取部12进行的地图信息的获取(步骤S11)和由传感器信息获取部11进行的与各传感器对应的传感器信息的获取(步骤S21、S31、S41、S51)。这些信息如上述那样被保存在处理信息存储部13中。在图3中,示出了作为传感器的数量的n为4的例子。在图3所示的例子中,4个传感器是SAR、可视传感器、红外传感器以及LIDAR。SAR、可视传感器以及红外传感器搭载于人造卫星,LIDAR搭载于车辆。以下,将与SAR对应的传感器信息还称为SAR数据,将与可视传感器对应的传感器信息还称为可视传感器数据,将与红外传感器对应的传感器信息还称为红外传感器数据,将与LIDAR对应的传感器信息还称为LIDAR数据。
以下,作为数据处理装置1所对应的多个传感器的一例,以这4个传感器为例进行说明,但是传感器的数量、传感器的种类以及传感器的搭载场所不限定于这些。另外,在数据处理装置1所对应的多个传感器中也可以包括搭载位置或观测方向不同的、同一种类的2个以上的传感器。在此,设第一处理部15-1进行与SAR对应的处理,第二处理部15-2进行与可视传感器对应的处理,第三处理部15-3进行与红外传感器对应的处理,第四处理部15-4进行与LIDAR对应的处理。
第一处理部15-1~第四处理部15-4的校正部21基于被存储在处理信息存储部13的传感器信息,实施传感器固有的校准、校正等来生成传感器图像数据,在与需要正射校正的传感器对应的情况下,对传感器图像数据进行正射校正(步骤S22、S32、S42、S52)。以下,将与SAR对应的传感器图像数据还称为SAR图像数据,将与可视传感器对应的传感器图像数据还称为可视图像数据,将与红外传感器对应的传感器图像数据还称为红外图像数据,将与LIDAR对应的传感器图像数据还称为三维点群数据。
传感器信息中包含用于计算被观测位置的观测信息。观测信息例如包含传感器的位置、朝向、视场角范围等的信息。例如在传感器搭载于人造卫星的情况下,观测信息包含人造卫星的轨道信息、人造卫星的姿势信息、天底偏角等信息。图4是表示本实施方式的传感器信息的结构例的图。在图4所示的例子中,传感器信息包含摄像日期时间、观测信息以及传感器观测数据。是由传感器获取的数据或处理该数据所得到的数据。摄像日期时间是传感器的观测日期时间。观测信息包含摄像位置信息和摄像角度信息。摄像位置信息是表示传感器的位置的信息,摄像角度信息是表示传感器的视场方向、即传感器的朝向的信息。在传感器是搭载于人造卫星、航空器、无人机、车辆等移动体的传感器的情况下,摄像位置信息是表示被搭载的这些移动体的位置的信息。在传感器被搭载于移动体的传感器中,摄像角度信息也可以包含与移动体的姿势有关的信息以及以移动体为基准的传感器的视场方向。
虽然省略图示,但是传感器信息中也可以包含除上述的观测信息以外的传感器固有的校准、校正所需的其它信息。或者,这些其它信息也可以与传感器信息分开地被提供,数据处理装置1将其与传感器信息分开地获取。另外,在传感器搭载于移动体的情况下,观测信息中也可以包含表示移动体的位置信息的精度、移动体的姿势信息的精度、传感器的视场方向的精度的信息等。传感器信息的内容根据传感器的种类、搭载场所而不同,不限定于图4所示的例子。第一处理部15-1~第四处理部15-4能够基于观测信息以及在需要的情况下的上述的其它信息实施传感器固有的校准、校正等来生成传感器图像数据。
此外,在图3中,关于LIDAR,记载了从传感器信息即LIDAR数据生成三维点群数据的处理,但是需要校正等的情况下,在生成三维点群数据时还进行校正。
在SAR图像数据中未带有颜色,虽然与可视传感器相比分辨率低,但是即使有云也能够观测地表面,能够进行夜间观测。另外,通过使用SAR的传感器信息进行干涉测量(Interferometry)处理,还能够计算海拔。另外,从三维点群数据生成的图像虽然观测范围即摄像范围有限,但是能够获取精密的图像。另外,从三维点群数据还能够高精度地求出海拔。另外,在夜间也能够获取红外图像数据。另外,从红外图像数据能够得到地表面的温度。
这样,特性根据传感器的种类而分别不同。因而,如果使用多个传感器的传感器信息,则可期待得到互补的结果。例如,如上述那样,由各传感器得到的图像的特性不同,因此通过将这些重叠地进行显示,更容易掌握地表面的状态。但是,各传感器的观测方法、搭载场所等不同,因此在仅进行传感器固有的校正的情况下,有可能在重叠时产生位置偏移。另外,例如,搭载于车辆的LIDAR虽然观测的精度高,但是观测的范围有限。因此,如果使用LIDAR的观测数据对与LIDAR相比观测范围大的SAR的观测数据进行校正,则能够遍及大范围地求出高精度的海拔等。但是,在使用LIDAR的观测数据对与LIDAR相比观测范围大的SAR的观测数据进行校正时,如果这些数据间的对位的精度低,则无法求出高精度的海拔等。根据以上,期望将多个传感器的传感器图像数据高精度地进行对位。
因此,在本实施方式中,选择设为基准的地面的对象物即基准对象物,从地图信息和各个传感器图像数据提取与所选择的基准对象物对应的区域来作为特征要素。然后,视为从地图信息和各个传感器图像数据提取出的特征要素对应于同一个位置,实施传感器间的对位。此时,一般来说,地图信息的位置的精度高,因此通过以地图信息为基准实施对位,能够进行高精度的对位。另一方面,地图信息虽然在地图信息的制作时精度高,但是随着时间的经过,由于建筑物的建设、灾害的发生、自然变化等而与实际不同的可能性变高。与此相对,传感器能够观测接近实际的状态。因而,还考虑到根据条件,与地图信息相比,由传感器获取的数据的精度更高。因此,在本实施方式中,从地图信息以及与各传感器对应的传感器信息中选择期待为精度高的信息,将该传感器信息的坐标系设为基准坐标系,由此实现更高精度的对位。如以下叙述的那样,实施图3所示的步骤S12、S23~S25、S33~S35、S43~S45、S53~S55的处理。
返回到图3的说明。特征要素提取部14基于被存储在处理信息存储部13的地图信息生成模拟特征要素(步骤S12)。具体地说,特征要素提取部14如上述那样从地图信息提取特征要素,基于特征要素生成每个传感器的模拟特征要素。特征要素提取部14将所生成的模拟特征要素输出到与该模拟特征要素对应的第一处理部15-1~第四处理部15-4。另外,将表示特征要素的位置的信息输出到对应关联部16。
第一处理部15-1~第四处理部15-4的特征要素提取部22使用从特征要素提取部14接收到的模拟特征要素,从传感器图像数据提取特征要素(步骤S23、S33、S43、S53)。具体地说,第一处理部15-1~第四处理部15-4各自的特征要素提取部22使用从特征要素提取部14接收到的模拟特征要素,从传感器图像数据提取与由模拟特征要素表示的形状最一致的区域来作为特征要素。另外,第一处理部15-1~第四处理部15-4各自的特征要素提取部22计算所提取出的特征要素与模拟特征要素的相似度,将表示提取出的特征要素的位置的信息同相似度一起输出到对应关联部16。此外,设将表示由特征要素提取部14提取出的特征要素的位置的信息以及表示由第一处理部15-1~第四处理部15-4各自的特征要素提取部22提取出的特征要素的位置的信息用相同的定义的坐标值来表示。在它们没有用相同的定义的坐标值表示时,第一处理部15-1~第四处理部15-4各自的特征要素提取部22例如进行坐标变换使得成为与地图信息中的坐标值相同的定义的坐标值。此外,在此所说的坐标值的定义是指,日本测地系统中的纬度经度和海拔、或世界测地系统中的纬度经度和海拔、国际地球基准坐标系中的三维正交坐标之类的定义。
对应关联部16进行特征要素的对应关联(步骤S61)。详细地说,对应关联部16基于从第一处理部15-1~第四处理部15-4的各处理部接收到的相似度和被存储在处理信息存储部13的特性信息,决定与多个传感器分别对应的多个传感器信息的对位中的基准坐标系。基准坐标系是与地图信息及各传感器图像数据中估计为精度最高的信息对应的坐标系,在步骤S61的处理中决定。然后,对应关联部16基于由特征要素提取部14生成的各传感器的模拟特征要素和从第一处理部15-1~第四处理部15-4的各处理部输出的特征要素,生成与各传感器对应的坐标变换信息。对应关联部16将与各传感器对应的坐标变换信息分别输出到对应的第一处理部15-1~第四处理部15-4。稍后叙述对应关联部16的动作的详情。
第一处理部15-1~第四处理部15-4各自的对位部23基于从对应关联部16接收到的坐标变换信息,生成用于将表示传感器图像数据中的特征要素的位置的坐标值变换为基准坐标系中的坐标值的局部变换参数(步骤S24、S34、S44、S54)。第一处理部15-1~第四处理部15-4各自的对位部23进一步使用局部变换参数来实施将传感器图像的位置变换为基准坐标系中的坐标值的处理、即对位图像变换(步骤S25、S35、S45、S55)。局部变换参数是关于特征要素局部地进行对位所得到的变换参数,因此在使用局部变换参数仅将特征要素变换为基准坐标系的情况下,能够高精度地进行对位。另一方面,关于传感器图像数据中的除了特征要素以外的部分,未必能够通过使用该局部变换参数进行坐标变换来高精度地进行对位。特别是在搭载于人造卫星的传感器的情况下,由于观测范围大,因此适当的变换参数有可能根据一个图像内的位置而不同。因此,数据处理装置1也可以在一个图像内使用多个特征要素来求出多个局部变换参数,关于特征要素间的图像数据,通过将局部变换参数进行插值后使用等方法来进行坐标变换。在设想为变换参数在一个图像内不变化的情况下,也可以使用局部变换参数来进行传感器图像数据的坐标变换。
第一处理部15-1~第四处理部15-4各自的对位部23在对位图像变换后分别保存对应的数据(步骤S26、S36、S46、S56)。详细地说,第一处理部15-1~第四处理部15-4将对位图像变换后的传感器图像数据作为地图匹配信息保存到处理信息存储部13中。
显示处理部18使用被保存在处理信息存储部13的每个传感器的对位图像变换后的传感器图像数据来实施可视性改善处理(步骤S62)。可视性改善处理例如是生成用于将与多个传感器分别对应的多个传感器图像数据重叠地进行显示的显示数据的处理、生成将被存储在处理信息存储部13的分析结果强调地重叠在多个传感器图像数据中的至少一个传感器图像数据上的显示数据的处理。显示处理部18显示通过可视性改善处理所生成的显示数据,由此实施重叠显示(步骤S64)。在此,重叠显示如上述那样例如表示多个传感器图像数据的重叠显示、分析结果与多个传感器图像数据中的至少一个传感器图像数据的重叠显示。此外,在此说明了进行重叠显示的例子,但是显示处理部18也可以仅显示分析结果。
分析部17实施灾害探测处理(步骤S63)。灾害探测处理例如是上述的提取变化区域的处理。在此,作为由分析部17进行的分析例举灾害探测处理的例子,但是如上述那样,由分析部17进行的分析不限定于灾害探测处理。分析部17将分析结果存储在处理信息存储部13中。
此外,在图1所示的例子中,特征要素提取部14与第一处理部15-1~第n处理部15-n的特征要素提取部22被各自单独设置,但是能够将它们的整体视为一个特征要素提取部。即,特征要素提取部14和第一处理部15-1~第n处理部15-n的特征要素提取部22构成从作为包含对象地区的地图的数据的地图信息和多个观测数据中提取作为与对象地区内的基准对象物对应的部分的特征要素的特征要素提取部。多个观测数据是通过由多个传感器分别观测对象地区来得到的。另外,在上述的例子中,使用模拟特征要素提取了与各传感器对应的特征要素,但是从地图信息和各传感器信息提取与共同的基准对象物对应的特征要素的方法可以使用任意的方法,不限定于上述的例子。
另外,能够将第一处理部15-1~第n处理部15-n的对位部23作为整体视为一个对位部。即,第一处理部15-1~第n处理部15-n的对位部23构成针对多个观测数据的各观测数据以使与观测数据对应的特征要素的位置与基准数据中的特征要素的位置一致的方式进行该观测数据的对位的对位部。
接着,说明本实施方式的对应关联部16中的特征要素的对应关联处理、即上述的步骤S61的处理的详情。图5是表示本实施方式的特征要素的对应关联处理过程的一例的流程图。如图5所示,对应关联部16将表示用于识别传感器的编号的变量i设定为1(步骤S71)。在此,将红外传感器、可视传感器、SAR以及LIDAR分别设为第一个、第二个、第三个以及第四个传感器。
对应关联部16获取第i个传感器的每个评价项目的评价值(步骤S72)。如上所述,传感器的特性根据传感器的种类、传感器的搭载场所等而不同。另外,传感器图像数据的精度还根据传感器图像数据的校准、校正级别而不同。因此,在本实施方式中,按每个评价项目求出表示传感器图像数据的精度的高低的评价值。
作为评价项目,例举以下。
(1)相似度:从各传感器图像数据提取出的特征要素与模拟特征要素的相似度
(2)测定精度:各传感器的观测中的测定精度
(3)位置精度:表示各传感器的位置的信息的精度
(4)指向精度:表示各传感器的朝向的信息的精度
(5)搭载场所:固定于地面、搭载于人造卫星、搭载于车辆之类的各传感器的搭载场所
(6)校正、校准级别:是否使用高精度的地面的基准物、例如GCP、由高精度的测量设备测量出的自然造型物等高精度地进行了校正等
(7)摄像时段等其它条件:是否为能够在夜间观测的传感器、是否为即使有云也能够观测的传感器等
上述的评价项目中的(2)~(5)和(7)基本上不会按每次观测而变化,根据传感器的规格和搭载场所等而决定。因而,关于这些,预先按每个传感器决定评价值并将其作为特性信息保存在处理信息存储部13中。一般来说,根据高度,摄像范围与分辨率成为折衷关系。一般来说,在传感器的规格为相同程度的情况下,如果被搭载的移动体的高度高则以大范围得到低分辨率的数据,如果高度低则以窄范围得到高分辨率的数据。在由搭载于高度为约3~4.5km的航空器的传感器进行了摄像的情况下,例如10km×10km程度成为摄像范围,在由搭载于高度为700km的人造卫星的传感器进行了观测的情况下,例如程度70km×35km成为观测范围。
但是,根据传感器,(2)~(4)有可能发生变化,因此在(2)~(4)有可能发生变化的情况下,既可以在传感器信息中包含表示它们的信息,也可以由数据处理装置1将这些信息与传感器信息分开地获取。
图6是表示本实施方式的特性信息的一例的图。在图6所示的例子中,特性信息包含上述的(2)测定精度、(3)位置精度、(4)指向精度、(5)搭载场所以及(7)摄像时段等其它条件(在图6中记载为“其它”)。另外,如图6所示,特性信息还包含与地图信息有关的信息。这是因为,在本实施方式中,为了将地图信息与各传感器信息的精度进行比较,针对地图信息也计算评价值。如图6所示,关于地图信息和各传感器,分别按每个评价项目预先决定了评价值。这些信息被适当更新。例如,(2)~(4)还有时在传感器的运用开始后被变更或根据运用模式而不同,因此在被变更的情况下,根据与处理对象的传感器信息的观测日期时间对应的值设定评价值。另外,如上述那样,这些信息也可以被包含在传感器信息中,在这些信息被包含在传感器信息中的情况下,对应关联部16基于包含在传感器信息中的信息决定这些评价项目的评价值。
关于(6)校正、校准级别,依赖于由传感器获取观测数据后的处理。在(6)校正、校准级别中也可以包含具有高度的物体的校正级别。例如,观测到具有高度的物体的SAR的观测数据包含叠掩(layover)、雷达盲区(radar shadow)等失真。因而,观测数据的可靠度根据是否进行了这些失真的校正而不同。另外,关于SAR以外的传感器的观测数据也是,即使对具有高度的物体进行正射校正,根据在正射校正中使用的测定值的测定精度,有时例如具有高度的壁面成为倾斜的数据。与关于这样的具有高度的物体的校正的校正精度相应的级别影响数据的可靠度。在数据处理装置1获取进行校正、校准后的传感器信息的情况下,在提供该传感器信息时还提供与校正、校准级别有关的信息,因此对应关联部16基于该信息决定评价值。在由数据处理装置1进行校正、校准的情况下,各第一处理部15-1~第n处理部15-n向对应关联部16通知在数据处理装置1的各第一处理部15-1~第n处理部15-n中进行的校正、校准的级别,对应关联部16基于被通知的信息决定评价值。此外,在由第一处理部15-1~第n处理部15-n进行的校正、校准级别被预先决定的情况下,也可以将(6)校正、校准级别的评价值也包含在特性信息中。在获取的传感器信息的校正、校准级别被预先决定的情况下也同样地,也可以将(6)校正、校准级别的评价值包含在特性信息中。
另外,关于(1)相似度,对应关联部16基于从各第一处理部15-1~第n处理部15-n接收到的相似度决定评价值。此外,以下说明以精度越高则评价值越大的方式设定评价值的例子,但是也可以以精度越高则评价值越小的方式设定评价值。在后者的情况下,在后述的基于综合评价值的基准坐标系的选择中,优先选择综合评价值低的坐标系。
接着,说明评价值的设定例。关于(1)相似度,以相似度越高则评价值越大的方式设定评价值。关于(2)测定精度、(3)位置精度以及(4)指向精度,以精度越高则评价值越大的方式设定评价值。关于(5)搭载场所,以传感器被搭载的场所越稳定则评价值越大的方式设定评价值。例如,以固定于地面的传感器的评价值最大的方式设定评价值,以下,以评价值按搭载于车辆的传感器、搭载于航空器或人造卫星的传感器、搭载于无人机的传感器的顺序变大的方式设定评价值。
关于(6)校正、校准级别,以进行的校正的精度越高则评价值越大的方式设定了评价值。关于(7)摄像时段等其它条件,在无法在夜间观测的可视传感器等的情况下,在摄像日期时间为夜间时,将后述的综合评价值设为0。此外,关于是否为夜间,既可以由数据处理装置1获取日出和日落时刻,由对应关联部16根据摄像日期时间和获取到的这些时刻来进行判定,也可以按季节预先决定日出和日落时刻。另外,在若有云则无法观测地面的可视传感器、红外传感器等的情况下,事先决定在基于另外获取到的气象信息等判断为在对象地区中云多的情况下降低评价值这样的条件。对应关联部16在降低评价值的情况下,既可以从后述的综合评价值减去固定值,也可以将0以上且小于1的固定值乘到综合评价值。
返回到图5的说明。对应关联部16计算第i个传感器的综合评价值(步骤S73)。详细地说,对应关联部16基于在步骤S72中获取到的与第i个传感器有关的每个评价项目的评价值计算综合评价值。对应关联部16例如既可以将各评价项目的评价值的总和设为综合评价值,也可以将对各评价项目进行加权相加得到的值设为综合评价值。此外,在加权相加中使用的权重也可以包含负的值。
对应关联部16判断是否为i=n(步骤S74)。在i=n的情况下(步骤S74“是”),对应关联部16计算地图信息的综合评价值(步骤S75)。详细地说,对应关联部16例如基于特性信息计算综合评价值。
如图6所示,关于地图信息,也事先根据地图信息的精度设定各评价项目的评价值来作为特性信息。关于地图信息的(2)测定精度的评价值,使用地图信息的精度决定评价值即可。关于地图信息的(3)位置精度、(4)指向精度以及(5)搭载场所,不需要如传感器那样考虑位置和指向方向,因此一般事先设定比传感器的评价值大的评价值。关于地图信息的(6)校正、校准级别,也根据地图的种类预先决定,一般来说精度高于传感器信息,因此事先设定比传感器的评价值大的评价值。关于地图信息的(1)相似度,例如既可以使用各传感器的相似度的平均值,也可以使用与各传感器的相似度中的最高的相似度相同的评价值,还可以预先决定评价值。
地图信息在被制作之后经过了固定的时间时,由于灾害、施工、其它而与实际的状态不同的可能性变高。因此,关于地图信息的(7)摄像时段等其它条件,事先以从被制作后至摄像时间为止的经过时间越长则综合评价值越低的方式进行设定。例如,对应关联部16既可以把将上述的经过时间除以固定值所得到的值乘到综合评价值,也可以将根据经过时间而阶段性地决定的系数乘到综合评价值。另外,在发生大规模灾害之后、开始了大规模施工后等,地图信息与实际不同的可能性变高,因此也可以将对应的地区的地图信息的综合评价值以降低的方式进行变更。关于各评价值的变更,既可以通过运用者的输入来进行,也可以从外部的装置经由通信线路进行。
例如,在按地区使用不同的种类的地图信息的情况等下,根据对象地区选择要使用的地图信息。在该情况下,在精度根据地图信息的种类而不同的情况下,根据地图信息的种类事先决定每个评价项目的评价值。
通常,大部分的特征要素将地图信息用作基准信息来进行对位,但是如果存在因灾害引起的位移、因施工产生的位移等的区域的对位是以产生这些位移之前的地图信息为基准进行,则有可能进行消除位移的图像变换。因此,以不会进行消除因灾害引起的位移、因施工产生的位移的图像变换的方式设定评价项目、权重、评价式。关于存在因灾害引起的位移、因施工产生的位移等的区域的对位,例如设定评价项目、权重、评价式,使得以在产生因灾害引起的位移、因施工产生的位移之后进行摄像的传感器中可靠度最高的传感器图像数据为基准进行各传感器图像数据的对位。此时,关于地图信息即三维地图数据,既可以进行以可靠度最高的传感器图像数据为基准的对位,也可以不进行该对位。在地图信息也以可靠度最高的传感器数据为基准进行对位的情况下,数据处理装置1能够实现与同特征要素相关联的建造物、路轨、河川等地图要素名称信息的对应。由此,数据处理装置1能够判断产生因灾害、施工等引起的位移的地图要素是什么样的要素,能够有效利用于分析。
返回到图5的说明,在步骤S75之后,对应关联部16选择地图信息和传感器信息中的综合评价值最大的信息的坐标系来作为基准坐标系,输出基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值(步骤S76),结束特征要素对应关联处理。在步骤S74中为“否”的情况下,对应关联部16对i加1(步骤S77),重复从步骤S72起的处理。
在步骤S76中,例如在地图信息的坐标系被选择为基准坐标系的情况下,表示从地图坐标提取出的特征要素的位置的坐标值成为基准坐标系中的特征要素的坐标值。另外,对应关联部16将从第一处理部15-1~第n处理部15-n分别获取到的各传感器的坐标系中的特征要素的坐标值输出到第一处理部15-1~第n处理部15-n的各处理部。另一方面,例如,如上述那样,设传感器为4个,第四个传感器即LIDAR的三维点群数据的坐标系被选择为基准坐标系。在该情况下,对应关联部16将从自对应的第四处理部15-4获取到的三维点群数据提取出的特征要素的坐标值设为基准坐标系中的特征要素的坐标值,并输出到第一处理部15-1~第四处理部15-4。然后,对应关联部16将从第一处理部15-1~第四处理部15-4分别获取到的各传感器的坐标系中的特征要素的坐标值输出到第一处理部15-1~第四处理部15-4的各处理部。
在传感器信息仅为搭载于人造卫星、无人机等的传感器的信息且地图信息为新的信息的情况下,一般来说,地图信息的综合评价值最大。另一方面,在传感器信息中包含搭载于车辆的LIDAR等能够高精度地观测的传感器的传感器信息的情况下,在地图信息是旧的或在制作地图信息后发生大规模灾害等的情况下,还有可能存在与地图信息的综合评价相比综合评价值大的传感器信息。在本实施方式中,以地图信息以及与各传感器对应的各传感器信息中的综合评价值最大的信息为基准,即将综合评价值最大的信息的坐标系设为基准坐标系。然后,第一处理部15-1~第n处理部15-n如上述那样使用基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值计算局部变换参数。然后,第一处理部15-1~第n处理部15-n使用局部变换参数来进行使传感器图像数据与基准坐标系匹配的变换。由此,能够实现与多个传感器对应的多个传感器图像数据的高精度的对位。
另外,显示处理部18在由对应关联部16选择了地图信息的坐标系以外来作为基准坐标系的情况下,在显示地图信息时,也可以将地图信息以与基准坐标系匹配的方式变换后进行显示。
如以上那样,作为本实施方式的选择部的对应关联部16针对地图信息和多个观测数据的各观测数据,按包含相似度的多个评价项目的每个评价项目计算包含精度的高低的评价值,基于每个评价项目的评价值计算综合评价值。然后,对应关联部16基于地图信息和多个观测数据各自的综合评价值选择基准数据。
此外,关于与特征要素对应的基准对象物,期望选择预计在灾害发生前后等未变化的对象物,但是被选定为基准对象物的建筑物或道路、路轨、河川等有可能由于倒塌、坍塌、浸水等而形状发生变异。在该情况下,难以从传感器图像数据提取特征要素,即使强行地进行对应关联也无法进行准确的对位。因此,例如,对应关联部16将与可靠性低的特征要素对应的相似度从评价项目排除后计算评价值。在判断特征要素的可靠性是否低时,例如能够使用与模拟特征要素的相似度。对应关联部16例如在相似度小于阈值的情况下,判断为该特征要素的可靠度低。或者,关于对象地区,事先保存在发生灾害前的平常时求出的局部变换参数,在特征要素的可靠性低的情况下,对应关联部16不进行对应关联处理,向第一处理部15-1~第n处理部15-n指示使用平时的局部变换参数。然后,第一处理部15-1~第n处理部15-n使用平时的局部变换参数来进行对位。另外,在被认为发生灾害的对象地区包含传感器信息的图像的边界的情况下,对将邻接的多个图像合在一起的一个图像即结合图像实施对位。
另外,关于对象地区,也可以事先保存在发生灾害前的平常时求出的局部变换参数,第一处理部15-1~第n处理部15-n的对位部23在关于同一个特征要素而言平时的局部变换参数与计算出的局部变换参数的差分为阈值以上的情况下,判断为由于灾害等而特征要素发生变化。局部变换参数是变换矩阵的各元素即多个系数,因此局部变换参数的差分例如是这些多个系数各自的差分的总和、各自的差分的加权平均等。在该情况下,第一处理部15-1~第n处理部15-n的对位部23使用平时的局部变换参数来进行对位。
接着,说明利用通过本实施方式的对位得到的结果的显示处理部18中的显示例。首先,说明将本实施方式的分析部17的分析结果重叠在地图信息的显示画面的例子。图7是表示将由本实施方式的分析部17提取出的变化区域重叠在地图信息的显示画面的一例的图。在图7所示的例子中,分析部17进行提取在灾害前后发生变化的变化区域的处理来作为分析。在图7中,在表示地图信息的地图信息图像201上重叠显示有表示使用进行对位后的传感器图像数据提取出的变化区域的变化区域图像202。另外,在本实施方式中,使用高精度地进行了对位的传感器图像数据来计算变化区域,因此能够抑制与地图信息重叠时的变化区域与地图信息的位置偏移。由此,能够抑制传感器图像数据的使用者错误地识别变化区域的位置。
图8是表示将由本实施方式的分析部17计算出的位移量重叠在地图信息的显示画面的一例的图。在图8所示的例子中,与图7所示的例子同样地,分析部17进行提取在灾害前后发生变化的变化区域的处理来作为分析。在图8所示的例子中,分析部17还计算各部位的位移量。在图8中,在表示地图信息的地图信息图像203上重叠显示有表示使用进行对位后的传感器图像数据提取出的位移量的第一区域图像204、第二区域图像205、第三区域图像206。在图8所示的例子中,利用阴影线的密度表示位移量,表示位移量最多的区域的第三区域图像206是阴影线密度最高的。第二区域图像205表示位移量接下来多的区域,第一区域图像204表示位移量接下来多的区域。在图8所示的例子中,随着阴影线的密度变低、即阴影线变淡而位移量变少。此外,在图8中利用阴影线的密度表示位移量,但是不限于此,也可以通过颜色区分等来表示位移量。此外,也可以利用等高线等表示位移量。
此外,显示处理部18在将变化区域、位移量等的信息在地图信息上重叠地进行显示时,既可以在为了显示而生成的固定的地图数据上机械地重叠显示这些信息,也可以将地图数据和这些信息在不同的层上进行显示。另外,数据处理装置1例如既可以生成反映因灾害引起的位移的地图数据并将其重叠显示在上述的固定的地图数据,也可以将它们在不同的层上进行显示。重叠显示的方法不限定于这些,进行适于容易理解地传达灾害的发生区域等的显示即可。
接着,示出将传感器图像数据与分析结果进行重叠显示的例子。图9是表示将由本实施方式的分析部17计算出的浸水区域重叠在可视传感器图像数据的显示画面的一例的图。在图9所示的例子中,分析部17进行提取浸水区域的处理来作为分析。在图9中,在表示可视传感器图像数据的传感器图像207上重叠显示有表示使用进行对位后的传感器图像数据提取出的浸水区域的浸水区域图像208。
虽然省略图示,但是也可以同样地,在表示可视传感器图像数据的传感器图像上重叠显示表示使用进行对位后的传感器图像数据提取出的变化区域的变化区域图像。变化区域图像被生成为被实施了容易视觉识别的形状、容易视觉识别的着色等的图像。由此,能够提高变化区域的可视性。
不限于以上所示的显示例,显示处理部18也可以进行任意的组合的重叠显示。显示处理部18既可以将与多个传感器对应的多个传感器图像数据进行重叠显示,也可以将它们与地图信息进行重叠显示。另外,也可以将传感器图像数据及地图信息中的至少一个与分析结果进行重叠显示,被重叠显示的分析结果不限定于上述的例子。
此外,以上说明了数据处理装置1具备分析部17和显示处理部18的例子,但是也可以设为数据处理装置1不具备分析部17和显示处理部18,由其它装置实施分析部17和显示处理部18的处理。在该情况下,数据处理装置1将作为对位后的传感器图像数据的地图匹配信息发送到其它装置。或者,数据处理装置1也可以将地图匹配信息记录到记录介质,通过记录介质向其它装置提供地图匹配信息。
如以上那样,在本实施方式中,选择地图信息和多个传感器中的设想为精度高的信息的坐标系来作为基准坐标系,使用基准坐标系来进行多个传感器图像数据的对位。因此,能够高精度地进行与由多个传感器得到的数据对应的观测位置的对位。
实施方式2.
图10是表示本发明所涉及的实施方式2的数据处理装置的结构例的图。本实施方式的数据处理装置1a具备对应关联部16a以代替实施方式1的对应关联部16,处理信息存储部13还存储局部变换参数,除此以外与实施方式1的数据处理装置1同样。对于具有与实施方式1同样的功能的结构要素,附加与实施方式1相同的符号来省略与实施方式1重复的说明。
关于利用相同的传感器以相同的运用模式、相同的指向方向观测到的基准对象物,如果未发生灾害等,则应计算出几乎相同的局部变换参数。在本实施方式中,第一处理部15-1~第n处理部15-n各自的对位部23事先将计算出的局部变换参数按传感器、运用模式以及指向方向保存在处理信息存储部13中。然后,对应关联部16a根据基于在相同的条件下观测到的传感器信息计算出的局部变换参数的差分,判断与特征要素对应的基准对象物是否产生位移。局部变换参数是变换矩阵的各元素即多个系数,因此局部变换参数的差分例如是这些多个系数各自的差分的总和、各自的差分的加权平均等。
图11是表示本实施方式的数据处理装置1a中的整体处理的流程的一例的图。步骤S11、S12、S21~S23、S31~S33、S41~S43、S51~S53与实施方式1同样。
在步骤S23、S33、S43、S55之后,对应关联部16a将地图信息的坐标系设为基准坐标系,输出基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值(步骤S61a)。即,对应关联部16a选择地图信息来作为临时的基准数据,将基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值输出到第一处理部15-1~第四处理部15-4。在本实施方式中,选择该临时的基准坐标系的处理和后述的使用局部变换参数的相对于平时的差分进行的基准坐标系的选择这两方是特征要素对应关联处理(步骤S61a)。
第一处理部15-1~第n处理部15-n各自的对位部23与实施方式1同样地,分别计算局部变换参数(步骤S24、S34、S44、S54),将计算出的局部变换参数输出到对应关联部16a。即,对位部23计算在使与观测数据对应的特征要素的位置与地图信息中的特征要素的位置一致的变换中使用的局部变换参数,将局部变换参数输出到对应关联部16a。
对应关联部16a除了使用在实施方式1中叙述的评价项目,还使用局部变换参数的相对于平时的差分来选择基准坐标系(步骤S61a)。然后,将作为计算出的局部变换参数的第一局部变换参数与作为被存储的平时的局部变换参数的第二局部变换参数的差分输出到对应关联部16a。
图12是表示本实施方式的对应关联部16a的特征要素对应关联处理的一例的流程图。如图12所示,作为本实施方式的选择部的对应关联部16a将地图信息的坐标系设为基准坐标系,输出基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值(步骤S81)。由此,如上述那样,从第一处理部15-1~第n处理部15-n的各处理部接收由第一处理部15-1~第n处理部15-n的各处理部计算出的局部变换参数。
对应关联部16a设定为i=1(步骤S82),计算从第i处理部接收到的局部变换参数与平时的局部变换参数的差分(步骤S83)。对应关联部16a判断是否为i=n(步骤S84),在i=n的情况下(步骤S84“是”),判断差分指数是否为阈值以上(步骤S86)。关于差分指数,例如能够使用与n个传感器分别对应的n个差分的平均值、总和、加权平均值、最大值等。在不是i=n的情况下(步骤S84“否”),对应关联部16a对i加1(步骤S85),重复从步骤S83起的处理。
在差分指数小于阈值的情况下(步骤S86“否”),对应关联部16a向第一处理部15-1~第n处理部15-n指示直接使用计算出的局部变换参数(步骤S87),结束特征要素对应关联处理。
在差分指数为阈值以上的情况下(步骤S86“是”),进行实施方式1的步骤S71、S72的处理。在步骤S72之后,对应关联部16a计算综合评价值(步骤S88)。在本实施方式中,对应关联部16a基于在实施方式1中叙述的每个评价项目的评价值与局部变换参数的差分计算综合评价值。即,在本实施方式中,将局部变换参数的差分也作为评价项目之一来包含。局部变换参数的差分是在步骤S83中计算出的从第i处理部接收到的局部变换参数与平时的局部变换参数的差分。关于局部变换参数的差分的评价值,以差分越大则评价值越大的方式进行计算。步骤S74、S77与实施方式1同样。
在步骤S74中为“是”的情况下,对应关联部16a选择传感器信息中的综合评价值最大的信息的坐标系来作为基准坐标系,输出基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值(步骤S89),结束特征要素对应关联处理。在局部变换参数比平时大幅变化的情况下,与特征要素对应的基准对象物由于灾害而发生位移的可能性高。因而,能够估计为与检测出该位移的传感器对应的传感器信息相比于地图信息而言更能表示实际的状态,因此将与检测出位移的传感器对应的传感器信息的坐标系用作基准坐标系。此外,还存在局部变换参数比平时大幅变化的主要原因是传感器的临时性的异常的可能性。因而,在根据其它信息能够判断为是传感器的异常的可能性高的情况下,也可以将该传感器的局部变换参数的差分的评价值设为负的值等。例如,在作为传感器信息得到表示搭载传感器的人造卫星等的姿势的变动的信息的情况下,也可以在变动为阈值以上的情况下,将局部变换参数的差分的评价值设为负的值。
另外,由于作为基础的层的地图信息是固定的,因此能够利用地图层与传感器观测数据的层的偏移来表现因灾害引起的变异。另外,数据处理装置1也可以获取表示发生灾害的日期时间和大致的场所的灾害信息,基于灾害信息,针对根据该灾害信息设想为发生灾害的地区,不将在发生该灾害之前的日期时间制作的地图信息用作基准信息。在该情况下,未发生该灾害的地区也可以使用地图信息来作为基准。如在实施方式1中说明的那样,在发生大规模灾害时,也可以通过降低在该大规模灾害之前制作的地图信息的评价值来进行应对,但是也可以如上述那样明确地决定是否能够用作基准信息。
一般来说,使用对象地区内的多个特征要素来进行对位,针对特征要素以外的部位如在实施方式1中叙述的那样进行插值处理等。例如,还考虑多个特征要素中的一个特征要素由于灾害等而成为与地图信息发生偏移的位置、而其它特征要素的位置与地图信息一致之类的情况。在这样的情况下,如果在发生灾害后观测到的SAR、可视传感器、红外传感器、LIDAR的传感器信息齐备,则从这些传感器中选择可靠度高的即评价值高的传感器信息来作为基准信息。另外,在被认为发生灾害的对象地区包含传感器信息的图像的边界的情况下,对将邻接的多个图像合在一起的一个图像即结合图像实施对位。
如以上那样,对应关联部16a按每个传感器,使用所计算出的局部变换参数来实施对位,计算作为计算出的局部变换参数的第一局部变换参数与作为被存储的平时的局部变换参数的第二局部变换参数的差分。然后,对应关联部16a在基于每个传感器的差分计算出的差分指数为阈值以上的情况下,按包含差分和相似度的多个评价项目的每个评价项目计算包含精度的高低的评价值,基于每个评价项目的评价值计算综合评价值。并且,对应关联部16a基于地图信息和多个观测数据各自的综合评价值选择基准数据。在差分指数小于阈值的情况下,对应关联部16a选择地图信息来作为基准数据。
返回到图11的说明。第一处理部15-1~第n处理部15-n各自的对位部23在接收到在上述的步骤S89中输出的信息的情况下,基于接收到的信息再次计算局部变换参数(步骤S24、S34、S44、S54)。然后,第一处理部15-1~第n处理部15-n各自的对位部23使用新计算出的局部变换参数来实施对位图像变换处理(步骤S25、S35、S45、S55)。另外,第一处理部15-1~第n处理部15-n各自的对位部23在接收到步骤S87的指示的情况下,使用已计算的局部变换参数来实施对位图像变换处理(步骤S25、S35、S45、S55)。
即,对位部23在地图信息被选择为基准数据的情况下,使用第一局部变换参数来实施对位。另外,对位部23在地图信息以外被选择为基准数据的情况下,计算在使与观测数据对应的特征要素的位置与基准数据中的特征要素的位置一致的变换中使用的第三局部变换参数,使用第三局部变换参数来实施对位。
步骤S25、S35、S45、S55的处理与实施方式1同样。基于接收到的信息再次实施的步骤S61a之后的处理与实施方式1同样。步骤S26、S36、S46、S56、S62、S63、S64也与实施方式1同样。
如以上那样,在本实施方式中,以地图信息为基准来计算局部变换参数,在基于计算出的局部变换参数与平时的局部变换参数的差分计算出的差分指数为阈值以上的情况下,重新选择基准坐标系。因此,即使在与特征要素对应的基准对象物由于灾害等而产生位移的情况下,也能够高精度地进行传感器图像数据的对位。
实施方式3.
图13是表示本发明所涉及的实施方式3的数据处理装置的结构例的图。本实施方式的数据处理装置1b具备选择部19,具备特征要素提取部14a和对应关联部16b以代替实施方式1的特征要素提取部14和对应关联部16,除此以外与实施方式1的数据处理装置1同样。对于具有与实施方式1同样的功能的结构要素,附加与实施方式1相同的符号来省略与实施方式1重复的说明。
在实施方式1中,基于从地图信息提取出的特征要素生成了模拟特征要素,但是在本实施方式中,基于由多个传感器中的设想为精度最高的传感器提取出的特征要素生成模拟特征要素。然后,第一处理部15-1~第n处理部15-n各自的特征要素提取部22基于该模拟特征要素提取特征要素。
一般来说,搭载于车辆的传感器能够从近处观测基准对象物,且姿势也稳定,位置的精度高,因此与搭载于无人机、人造卫星等的传感器相比,能够获取精度高的观测数据。在存在与这样设想为精度高的传感器对应的传感器信息的情况下,在本实施方式中,基于由设想为精度最高的传感器提取出的特征要素生成模拟特征要素。
设想为精度最高的传感器的一例是搭载于车辆来获取三维点群数据的LIDAR,但是不限定于此。以下,与图3所示的例子同样地,设传感器是SAR、可视传感器、红外传感器、LIDAR这4个,以设想为精度最高的传感器是LIDAR的情况为例进行说明。
图14是表示本实施方式的模拟特征要素生成处理的一例的流程图。选择部19判断是否存在与处理对象地区及时段对应的LIDAR的传感器信息(步骤S91)。在存在与处理对象地区及时段对应的LIDAR的传感器信息的情况下(步骤S91“是”),选择部19选择与LIDAR对应的坐标系来作为基准坐标系(步骤S92)。即,选择部19在存在多个传感器中的预先决定的精度最高的传感器的观测数据的情况下,选择该观测数据来作为基准数据。选择部19向特征要素提取部14a通知将与LIDAR对应的坐标系设为基准坐标系。
特征要素提取部14a与实施方式1的特征要素提取部14同样地,从地图信息提取特征要素。特征要素提取部14a基于从地图信息提取出的特征要素,生成与LIDAR对应的模拟特征要素(步骤S93)。特征要素提取部14a将所生成的模拟特征要素输出到与LIDAR对应的第四处理部15-4。第四处理部15-4与实施方式1同样地,使用模拟特征要素来从与LIDAR对应的三维点群数据提取特征要素(步骤S94)。第四处理部15-4将提取出的特征要素输出到特征要素提取部14a。特征要素提取部14a基于由第四处理部15-4提取出的特征要素生成与各传感器对应的模拟特征要素(步骤S95),结束模拟特征要素生成处理。
在不存在与处理对象地区及时段对应的LIDAR的传感器信息的情况下(步骤S91“否”),选择与地图信息对应的坐标系来作为基准坐标系(步骤S96)。特征要素提取部14a与实施方式1同样地,基于从地图信息提取出的特征要素生成与各传感器对应的模拟特征要素(步骤S97),结束模拟特征要素生成处理。在模拟特征要素生成处理后,特征要素提取部14a将所生成的模拟特征要素分别输出到第一处理部15-1~第四处理部15-4。
图15是表示本实施方式的数据处理装置1b中的整体处理的流程的一例的图。图15示出了在上述的步骤S91中判断为存在与处理对象地区及时段对应的LIDAR的传感器信息的例子。步骤S11、S21~S22、S31~S32、S41~S42、S51~S52与实施方式1同样。特征要素提取部14a基于从地图信息选择的特征要素生成与LIDAR对应的模拟特征要素并输出到第四处理部15-4(步骤S12a)。然后,第四处理部15-4使用模拟特征要素,与实施方式1同样地从与LIDAR对应的三维点群数据提取特征要素(步骤S53)。
特征要素提取部14a使用由第四处理部15-4提取出的特征要素,生成与各传感器对应的模拟特征要素并分别输出到第一处理部15-1~第四处理部15-4(步骤S65)。步骤S23、S33、S43与实施方式1同样。作为特征要素对应关联处置,对应关联部16b将LIDAR的坐标系设为基准坐标系,输出基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值(步骤S61b)。步骤S24~S26、S34~S36、S44~S46、S54~S56、S62~S64的处理与实施方式1同样。
在图15中,在上述的步骤S91中判断为不存在与处理对象地区及时段对应的LIDAR的传感器信息的情况下的整体处理除了实施方式1的步骤S61的特征要素对应关联处理以外,与图3所示的处理同样。在判断为不存在与处理对象地区及时段对应的LIDAR的传感器信息的情况下,在本实施方式中,对应关联部16b将地图坐标的坐标系设为基准坐标系,输出基准坐标系中的特征要素的坐标值以及与各传感器对应的坐标系中的特征要素的坐标值,以代替实施方式1的步骤S61。
如以上那样,在本实施方式中,在存在多个传感器中的设想为精度最高的传感器的传感器信息的情况下,以设想为精度最高的传感器为基准进行对位。因此,能够高精度地进行传感器图像数据的对位。
以上的实施方式所示的结构表示本发明的内容的一例,既能够与其它公知技术进行组合,也能够在不脱离本发明的主旨的范围省略、变更结构的一部分。

Claims (15)

1.一种数据处理装置,其特征在于,具备:
特征要素提取部,从作为包含对象地区的地图的数据的地图信息和通过由多个传感器分别观测所述对象地区所得到的多个观测数据中,提取作为与所述对象地区内的基准对象物对应的部分的特征要素;
选择部,选择所述地图信息和所述多个观测数据中的一个来作为设为对位的基准的基准数据;以及
对位部,针对所述多个观测数据的各观测数据,以使与所述观测数据对应的所述特征要素的位置与所述基准数据中的所述特征要素的位置一致的方式进行该观测数据的对位。
2.根据权利要求1所述的数据处理装置,其特征在于,
所述特征要素提取部使用从所述地图信息提取出的特征要素,按每个所述传感器生成将由该传感器观测所述基准对象物所得到的数据进行模拟的模拟特征要素,按每个所述传感器使用对应的所述模拟特征要素来从与该传感器对应的所述观测数据提取特征要素。
3.根据权利要求2所述的数据处理装置,其特征在于,
所述特征要素提取部按每个所述传感器计算所述模拟特征要素与从所述观测数据提取出的特征要素的相似度,
所述选择部针对所述地图信息和所述多个观测数据的各观测数据,按包含所述相似度的多个评价项目的每个评价项目计算包含精度的高低的评价值,基于每个评价项目的所述评价值计算综合评价值,基于所述地图信息和所述多个观测数据各自的所述综合评价值选择所述基准数据。
4.根据权利要求2所述的数据处理装置,其特征在于,
所述特征要素提取部按每个所述传感器计算所述模拟特征要素与从所述观测数据提取出的特征要素的相似度,
所述对位部按每个所述传感器,计算在使与所述观测数据对应的所述特征要素的位置与所述地图信息中的所述特征要素的位置一致的变换中使用的局部变换参数,
所述选择部按每个所述传感器,使用所计算出的所述局部变换参数来实施所述对位,计算作为计算出的所述局部变换参数的第一局部变换参数与作为被存储的平时的局部变换参数的第二局部变换参数的差分,
所述选择部在基于每个所述传感器的所述差分计算出的差分指数为阈值以上的情况下,按包含所述差分和所述相似度的多个评价项目的每个评价项目计算包含精度的高低的评价值,基于每个评价项目的所述评价值计算综合评价值,基于所述地图信息和所述多个观测数据各自的所述综合评价值选择所述基准数据,
所述选择部在所述差分指数小于阈值的情况下,选择所述地图信息来作为所述基准数据,
所述对位部在所述地图信息被选择为所述基准数据的情况下,使用所述第一局部变换参数来实施所述对位,在所述地图信息以外的信息被选择为所述基准数据的情况下,计算在使与所述观测数据对应的所述特征要素的位置与所述基准数据中的所述特征要素的位置一致的变换中使用的第三局部变换参数,使用所述第三局部变换参数来实施所述对位。
5.根据权利要求1所述的数据处理装置,其特征在于,
所述选择部在存在所述多个传感器中的预先决定的精度最高的传感器的所述观测数据的情况下,选择该观测数据来作为所述基准数据,
所述特征要素提取部使用从所述基准数据提取出的特征要素,按每个所述传感器生成将由该传感器观测所述基准对象物所得到的数据进行模拟的模拟特征要素,按每个所述传感器使用对应的所述模拟特征要素来从与该传感器对应的所述观测数据提取特征要素。
6.根据权利要求5所述的数据处理装置,其特征在于,
所述精度最高的传感器是搭载于车辆来获取三维点群数据的激光雷达。
7.根据权利要求1至6中的任一项所述的数据处理装置,其特征在于,
所述基准对象物是多个地面基准点、自然形成的造型物以及建造物中的至少一个。
8.根据权利要求7所述的数据处理装置,其特征在于,
所述基准对象物是线状的造型物。
9.根据权利要求1至8中的任一项所述的数据处理装置,其特征在于,
具备分析部,该分析部进行使用被实施了所述对位的所述观测数据来提取发生灾害的部位的分析。
10.根据权利要求9所述的数据处理装置,其特征在于,
具备显示处理部,该显示处理部将所述分析的结果与被实施了所述对位的所述多个观测数据及所述地图信息中的至少一个进行重叠显示。
11.根据权利要求10所述的数据处理装置,其特征在于,
所述显示处理部将所述分析的结果进行强调显示。
12.根据权利要求1至8中的任一项所述的数据处理装置,其特征在于,
具备显示处理部,该显示处理部将被实施了所述对位的所述多个观测数据中的至少一个观测数据与所述地图信息进行重叠显示。
13.根据权利要求1至12中的任一项所述的数据处理装置,其特征在于,
所述多个传感器包括搭载于人造卫星或航空器的传感器。
14.根据权利要求13所述的数据处理装置,其特征在于,
所述多个传感器包括合成孔径雷达。
15.一种数据处理方法,其特征在于,包括以下步骤:
第一步骤,数据处理装置从作为包含对象地区的地图的数据的地图信息和通过由多个传感器分别观测所述对象地区所得到的多个观测数据中提取作为与所述对象地区内的基准对象物对应的部分的特征要素;
第二步骤,数据处理装置选择所述地图信息和所述多个观测数据中的一个来作为设为对位的基准的基准数据;以及
第三步骤,数据处理装置针对所述多个观测数据的各观测数据,以使与所述观测数据对应的所述特征要素的位置与所述基准数据中的所述特征要素的位置一致的方式进行该观测数据的对位。
CN201980101614.XA 2019-10-31 2019-10-31 数据处理装置和数据处理方法 Pending CN114599996A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/042834 WO2021084696A1 (ja) 2019-10-31 2019-10-31 データ処理装置およびデータ処理方法

Publications (1)

Publication Number Publication Date
CN114599996A true CN114599996A (zh) 2022-06-07

Family

ID=75714998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980101614.XA Pending CN114599996A (zh) 2019-10-31 2019-10-31 数据处理装置和数据处理方法

Country Status (3)

Country Link
JP (1) JP7241906B2 (zh)
CN (1) CN114599996A (zh)
WO (1) WO2021084696A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047441A1 (ja) * 2021-09-21 2023-03-30 日本電気株式会社 情報提供装置、情報提供方法、記録媒体、および観測システム
JP7235159B1 (ja) * 2021-09-29 2023-03-08 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61239367A (ja) * 1985-04-15 1986-10-24 Nec Corp 画像の基準点位置決定方法
JP2002319016A (ja) * 2001-02-07 2002-10-31 Nippon Telegr & Teleph Corp <Ntt> 画像の位置ずれ補正方法、画像の位置ずれ補正プログラムを記録した記録媒体、画像の位置ずれ補正プログラム、及び画像の位置ずれ補正装置
JPWO2008016153A1 (ja) * 2006-08-03 2009-12-24 株式会社パスコ 災害対策支援方法
JP5470607B2 (ja) * 2010-09-29 2014-04-16 株式会社日立製作所 計算機システム、及び画像/図表を位置合わせする方法
JP6099728B1 (ja) * 2015-12-07 2017-03-22 株式会社パスコ レーザ計測システム及びレーザ計測方法

Also Published As

Publication number Publication date
JP7241906B2 (ja) 2023-03-17
WO2021084696A1 (ja) 2021-05-06
JPWO2021084696A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
Hodúl et al. Satellite derived photogrammetric bathymetry
Korona et al. SPIRIT. SPOT 5 stereoscopic survey of polar ice: reference images and topographies during the fourth International Polar Year (2007–2009)
Congress et al. Total system error analysis of UAV-CRP technology for monitoring transportation infrastructure assets
Niethammer et al. UAV-based remote sensing of the Super-Sauze landslide: Evaluation and results
KR101924278B1 (ko) 드론을 활용한 갯벌 지역에서의 갯골 정보 추출 장치 및 방법
Sesli et al. Monitoring the changing position of coastlines using aerial and satellite image data: an example from the eastern coast of Trabzon, Turkey
Pesci et al. Multitemporal laser scanner-based observation of the Mt. Vesuvius crater: Characterization of overall geometry and recognition of landslide events
Girod et al. Terrain changes from images acquired on opportunistic flights by SfM photogrammetry
Schenk et al. Fusion of multi-sensor surface elevation data for improved characterization of rapidly changing outlet glaciers in Greenland
Gonçalves et al. Monitoring Local Shoreline Changes by Integrating UASs, Airborne LiDAR, Historical Images and Orthophotos.
Chrysoulakis et al. Validation of ASTER GDEM for the Area of Greece
De Oliveira et al. Assessment of radargrammetric DSMs from TerraSAR-X Stripmap images in a mountainous relief area of the Amazon region
CN114599996A (zh) 数据处理装置和数据处理方法
Fraštia et al. Complex geodetic and photogrammetric monitoring of the Kral’ovany rock slide
Rauste et al. TerraSAR-X data in cut slope soil stability monitoring in Malaysia
Spore et al. Collection, processing, and accuracy of mobile terrestrial lidar survey data in the coastal environment
Javadnejad Small unmanned aircraft systems (UAS) for engineering inspections and geospatial mapping
Dreier et al. The potential of UAV-based laser scanning for deformation monitoring. case study on a water dam
Saldaña et al. DSM Extraction and evaluation from geoeye-1 stereo imagery
Rusli et al. Accuracy assessment of DEM from UAV and TanDEM-X imagery
Susetyo et al. Prototype of national digital elevation model in Indonesia
Recla et al. From Relative to Absolute Heights in SAR-based Single-Image Height Prediction
Colosimo et al. Accuracy evaluation of SRTM and ASTER DSMs
Luppichini et al. A METHOD BASED ON BEACH PROFILE ANALYSIS FOR SHORELINE IDENTIFICATION
Lalak et al. The analysis of the accuracy of digital terrain model (Dtm) obtained from high resolution geoeye-1 satellite imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination