CN109564675B - 信息处理设备、信息处理方法以及记录介质 - Google Patents

信息处理设备、信息处理方法以及记录介质 Download PDF

Info

Publication number
CN109564675B
CN109564675B CN201780046130.0A CN201780046130A CN109564675B CN 109564675 B CN109564675 B CN 109564675B CN 201780046130 A CN201780046130 A CN 201780046130A CN 109564675 B CN109564675 B CN 109564675B
Authority
CN
China
Prior art keywords
image
images
cluster
band
bands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780046130.0A
Other languages
English (en)
Other versions
CN109564675A (zh
Inventor
金子瑛士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN109564675A publication Critical patent/CN109564675A/zh
Application granted granted Critical
Publication of CN109564675B publication Critical patent/CN109564675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例涉及信息处理设备、信息处理方法以及记录介质。为了在不使用参考图像的情况下恢复观测图像，该信息处理设备包括图像接收装置和波长插值装置，所述图像接收装置用于接收第一图像组；所述波长插值装置用于基于所述第一图像组中的第一图像来生成与第二波段中的第二图像相对应的第三图像，所述第二波段不同于所述第一图像的第一波段。

Description

信息处理设备、信息处理方法以及记录介质
技术领域
本发明涉及信息的处理，并且具体地涉及用于处理图像的信息处理设备、信息处理方法以及记录介质。
背景技术
通过使用诸如人造卫星或者航空器的观测设备在高海拔观测地球表面的技术通常被称为“遥感”。遥感常常观测电磁波的强度，诸如从地球表面上的预定范围区域发出的光。在用于储存通过使用遥感获取的观测结果的方法中，观测值常常被储存作为图像中的像素值。换言之，观测图像中的各个像素值与沿着观测区域的地球表面上的事物的布置的电磁波的强度有关。
例如，当观测设备是图像传感器时，观测结果被获取作为来自图像传感器的图像。被包括在图像中的像素值是在图像传感器的光接收元件的入射方向上从目标物体发出的观测光的强度的值。
要注意的是，当像素值是指示观测光的亮度的值时，像素值是“光度值”。
在使用图像传感器进行观测时，通常的情况是选择性地使用被包括在特定范围的波段中的波长中的光。因此，图像感测使用用于传输特定范围的波段的光的滤波器。
进一步地，遥感可以使用多个波段中的光。原因在于：待被观测的事物会根据其表面的材料和状态来反射光，该光在不同波段中具有不同强度。在这种情况下，遥感通过使用具有不同透射光的波段的多个滤波器来观测多个波段中的光的强度。
预期会有一种应用，该应用会使用从通过这种遥感所拍摄的图像获取的地面物体的信息。例如，该应用是：用于生成地图的应用、用于掌握土地使用状况的应用、用于掌握受灾情况的应用、用于获取农作物的生长情况的应用或者用于识别矿物的应用。
然而，地面物体可能被诸如云、薄雾、烟雾、鸟类或者飞行物等事物(或者移动物体)覆盖。因此，在由被反射在地球表面上的观测光获取的图像中，存在不能获取局部区域的图像的情况。换言之，在遥感中，局部区域的图像可能是有缺陷的。
因此，提出了一种用于恢复缺陷的技术(例如，见PTL 1)。在 PTL 1中描述的图像处理设备通过使用另一日期和时间的参考图像来恢复在输入图像中由云覆盖的区域，在参考图像中在相同区域中不存在云。在PTL 1中描述的图像处理设备读取输入图像和测量环境信息。然后，在PTL 1中描述的图像处理设备确定在输入图像中由云覆盖的区域(缺陷区域)。然后，在PTL 1中描述的图像处理设备基于测量环境信息来获取参考图像，参考图像已经在与输入图像相似的太阳位置处被观测到、并且包括地球表面上的等效于缺陷区域的信息。然后，在PTL 1中描述的图像处理设备用参考图像中等效于缺陷区域的区域中的像素值来替换输入图像的缺陷区域的像素值。通过这种方式，在 PTL 1中描述的图像处理设备恢复输入图像中的缺陷区域的图像。
将参照附图对在PTL 1中描述的技术进行描述。
图7是示意性地图示了在PTL 1中描述的图像处理设备7的功能的配置的框图。
图像处理设备7被连接至图像供给设备78和输出设备79。
图像供给设备78将观测图像111和测量环境信息710供给至图像处理设备7。
图像处理设备7包括图像接收单元71、相似环境图像获取单元 72、缺陷区域恢复单元75以及图像储存单元76。
图像储存单元76先前储存着在不同日期和时间且在不同环境下观测到的图像(参考图像720)。
图像接收单元71从图像供给设备78接收观测图像111和测量环境信息710。
相似环境图像获取单元72将观测图像111中由云所覆盖的区域确定为缺陷区域150。进一步地，相似环境图像获取单元72基于测量环境信息710从图像储存单元76获取参考图像720，该参考图像720 包括图像(例如，缺陷区域150的地面物体的信息)，该图像是已经在与观测图像111相似的太阳位置处被观测到的并且等效于缺陷区域 150的图像。
基于观测图像111、参考图像720和缺陷区域150，缺陷区域恢复单元75用参考图像720中的相关区域的图像来替换观测图像111 中的缺陷区域150并且生成恢复图像740。缺陷区域恢复单元75然后将恢复图像740传输至输出设备79。
输出设备79输出恢复图像740。例如，输出设备79显示恢复图像740。
引用列表
专利文献
PTL 1：日本未经审查的专利申请公报第2010-218434号
发明内容
技术问题
如上文所描述的，在PTL 1中描述的发明用在另一日期和时间观测到的参考图像720的信息(图像)来替换观测图像111中的缺陷区域150。
当已经观测到图像111中的缺陷区域150的状态(例如，地面物体的状态)与在参考图像720被观测时的状态相似时，在PTL 1中描述的发明能够生成与观测图像111有关的恢复图像740。
假定观测图像111是对地面进行观测的图像。例如，在这种情况下，对于诸如人和汽车等移动物体，其在图像中的位置、数目以及分布状态会随着时间的流逝而发生变化。备选地，对于植被，状态(例如，繁殖状态或者死亡状态)会根据时区或者季节的变化而发生变化。备选地，对于建筑物，建造状态(例如，扩建或者重建)会发生变化。换言之，地面状态会随着时间的流逝而发生变化。
因此，当观测图像111已被观测到的日期和时间背离参考图像 720已被观测到的日期和时间时，缺陷区域150中的状态与参考图像 720已被观测到的状态不同。因此，即使通过使用参考图像720，在 PTL 1中描述的发明也不能生成恰当的恢复图像740。
这样，在PTL 1中描述的发明中存在以下问题，即，即使通过使用参考图像720也难以生成恰当的恢复图像740。
为了解决上述问题并且生成恰当的恢复图像740，图像处理设备 7需要使用参考图像720，除了观测区域和太阳位置之外，该参考图像720还在观测日期和时间上与观测图像111相似。然而，为了在图像储存单元76中储存满足该条件的参考图像720，需要对在预期进行恢复的所有区域以及日期和时间的参考图像720进行收集。然后，实际上难以收集与所有区域以及日期和时间有关的参考图像720。
这样，在PTL 1中描述的发明中存在以下问题，即，只能生成在日期和时间上与所储存的参考图像720相似的观测图像111的恢复图像740。
进一步地，假定通过轨道卫星对地面进行观测所获取的卫星图像被恢复。在这种情况下，为了恢复卫星图像，需要待被恢复的观测图像111以及在太阳位置和观测区域上均相似的参考图像720。换言之，用于恢复卫星图像的参考图像720需要在诸如观测区域、太阳位置和观测时间等观测条件方面与观测图像111相似。因此，当恢复卫星图像时，更难以获取恢复所需要的参考图像720。
本发明的目的是提供一种信息处理设备、信息处理方法以及记录介质，该信息处理设备、信息处理方法以及记录介质解决上述问题并且在不用使用参考图像720的情况下生成用于恢复观测图像的图像。
问题的解决方案
根据本发明的一个方面的信息处理设备包括：
图像接收装置，用于接收第一多个图像；以及
波长插值装置，用于基于第一多个图像中的第一图像来生成与第二波段中的第二图像有关的第三图像，第二波段不同于第一图像的第一波段。
根据本发明的一个方面的信息处理方法包括：
接收第一多个图像；以及
基于第一多个图像中的第一图像来生成与第二波段中的第二图像有关的第三图像，第二波段不同于第一图像的第一波段。
根据本发明的一个方面的计算机可读记录介质，该计算机可读记录介质记录程序，该程序使得计算机执行：
接收第一多个图像的过程；以及
基于第一多个图像中的第一图像来生成与第二波段中的第二图像的第三图像有关的过程，第二波段不同于第一图像的第一波段。
本发明的有益效果
根据本发明，可以实现以下有益效果：即生成用于在不使用参考图像720的情况下恢复观测图像的图像。
附图说明
[图1]图1是图示了根据本发明的第一示例性实施例的信息处理设备的配置的一个示例的框图。
[图2]图2是图示了根据本发明的第一示例性实施例的包括信息处理设备的信息处理系统的配置的一个示例的框图。
[图3]图3是图示了根据第一示例性实施例的信息处理设备的操作的一个示例的流程图。
[图4]图4是图示了根据第一示例性实施例的信息处理设备的修改示例的配置的一个示例的框图。
[图5]图5是图示了根据第二示例性实施例的信息处理设备的配置的一个示例的框图。
[图6]图6是图示了根据每个示例性实施例的信息处理设备的硬件的配置的一个示例的框图。
[图7]图7是示意性地图示了在PTL 1中描述的图像处理设备的功能的配置的框图。
具体实施方式
接下来，将参照附图对本发明的示例性实施例进行描述。
附图分别用于描述本发明的示例性实施例。然而，本发明不限于附图的图示。进一步地，附图的相似部件用相同的附图标记来指定，并且可能省略其重复描述。进一步地，在用于如下描述的附图中，对与示例性实施例的描述无关的部分的配置的描述可能被省略并且这种配置可能不会被图示。
<第一示例性实施例>
接下来，将参照附图对本发明的第一示例性实施例进行描述。
(所应用系统的示例的描述)
首先，为了帮助理解根据第一示例性实施例的信息处理设备1，将对使用信息处理设备1的信息处理系统3的示例进行描述。
图2是图示了根据本发明的第一示例性实施例的包括信息处理设备1的信息处理系统3的配置的一个示例的框图。
如在图2中图示的，信息处理系统3包括根据第一示例性实施例的信息处理设备1、图像供给设备8和输出设备9。
后文将详细地描述信息处理设备1。
图像供给设备8将包括多个观测图像的观测图像组(多个观测图像)110供给至信息处理设备1。图像供给设备8可以提供除了多个观测图像110之外的另一信息。例如，图像供给设备8可以供给待在后文描述的观测图像的观测时间。要注意的是，图像供给设备8可以同时或者经由划分为多个时间来供给被包括在多个观测图像110中的观测图像。
只要图像供给设备8提供多个观测图像110，其详细配置等不受具体限制。
例如，图像供给设备8是捕获设备，该捕获设备观测由多个波段中的观测物体反射的电磁波的强度，并且输出作为多个观测图像110 的观测结果。备选地，图像供给设备8是用于储存作为通过上述捕获设备的观测所获取的结果的多个观测图像110的设备。换言之，图像供给设备8是诸如硬盘、服务器设备等储存设备。
备选地，例如，图像供给设备8是观测设备，该观测设备被安装在航空器或者人造卫星上，并且获取多个观测图像110，多个观测图像110包括在多个波段上被反射在地球表面上的反射光的图像。
备选地，例如，图像供给设备8是通过多个带通滤波器来捕获图像的相机。换言之，图像供给设备8是通过使用在每个波段中传输观测光的带通滤波器在多个波段中捕获观测图像的设备。
当多个观测图像110包括多个波段的观测图像时，在如下描述中将波段的数目指定为“N(N是等于或大于2的整数)”。
要注意的是，所有波段的宽度可能彼此相一致，或者至少一些波段的宽度可能不同于其它波段的宽度。
除了多个观测图像110之外，图像供给设备8还可以将与波段有关的信息(例如，波段的“中心波长”、“带宽”、“上限波长”和 /或“下限波长”)供给至信息处理设备1。
这样，多个观测图像110是对于多个波段的与观测物体有关的观测图像集合(例如，观测物体中亮度分布的图像)。要注意的是，在观测图像中，每个像素的光度值是从根据该像素的方向到达的观测光的强度。
例如，多个观测图像110可以包括在相同观测时间从观测物体获取的多个波段的观测图像。在这种情况下，多个观测图像110是图像供给设备8通过在相同时间相对于多个波段对观测物体进行观测所获取的结果。具体地，多个观测图像110是基于诸如相机等测量仪器中相对于多个波段的一系列操作而观测到的观测图像集合。在这种情况下，多个观测图像可以与观测物体相关联作为多个观测图像110的一个群集进行管理。
备选地，多个观测图像110可以包括在多个时间被观测到的观测图像。例如，假定多个观测图像110包括相对于八个不同波段的八个观测图像。在这种情况下，八个观测图像中的四个观测图像可以是在某一时间T1被观测到的图像，并且另外四个观测图像可以是在不同于时间T1的时间T2被观测到的图像。进一步地，多个观测图像110 可以包括在三个或者更多个时间(而不限于两个时间)下的观测图像。
被包括在多个观测图像110中的观测图像中的至少一个观测图像包括缺陷。
例如，当观测图像是从卫星捕获到的地面的图像时，在观测图像的任何地面部分的局部区域中，可能出现被事物覆盖的不被包括在地面物体的信息中的区域。下文将该区域称为“缺陷区域”。例如，在这种情况下，事物是云、烟雾、薄雾、航空器或者汽车。
然而，假定该事物是移动物体，如上文所描述的。因此，除了包括缺陷区域的观测图像之外，多个观测图像110还包括至少一个观测图像，该至少一个观测图像不包括在缺陷区域所涉及的区域中的缺陷。要注意的是，当观测图像是来自卫星的地面图像时，不包括缺陷的观测图像指的是包括与区域(其是缺陷区域)有关的地面部分的信息的图像。
然而，图像供给设备8不限于从天空观测地球表面的设备。例如，图像供给设备8可以是从地球表面或者接近地球表面捕获遥远地球表面上的多个观测图像110的设备。
输出设备9是输出由信息处理设备1生成的恢复图像140的设备。例如，输出设备9是显示设备或者打印机。
要注意的是，除了输出之外，输出设备9还可以执行处理。例如，输出设备9可以从恢复图像140提取与被包括在恢复图像140中的捕获图像的材料或者状态有关的信息。
然而，图像供给设备8和输出设备9在上述描述中分别是连接至信息处理设备1的设备的一个示例。信息处理设备1可以被连接至不同于图像供给设备8和/或输出设备9的设备。
[配置的描述]接下来，参照附图对信息处理设备1进行描述。信息处理设备1恢复观测图像中的缺陷区域。具体地，信息处理设备1 基于至少一个观测图像来恢复另一观测图像的缺陷区域。
在如下描述中，对于在作为待被生成的图像的基底的观测图像与作为恢复目标且被恢复的观测图像之间进行区分的情况，作为基底的观测图像被称为“第一观测图像”。进一步地，待被恢复的观测图像 (包括缺陷区域的观测图像)被称为“第二观测图像”。进一步地，与每个观测图像的内容(例如，波段)有关也视情况而定按照相似方式通过分配“第一”和“第二”来进行描述。
例如，第一观测图像的波段是“第一波段”。
要注意的是，第一观测图像的波段(第一波段)不同于第二观测图像的波段(第二波段)。
将对信息处理设备1的配置的细节进行描述。
图1是图示了根据本发明的第一示例性实施例的信息处理设备1 的配置的一个示例的框图。
信息处理设备1包括图像接收单元11、图像分类单元12、波长插值单元14以及图像恢复单元15。
(硬件配置的概要)
首先，对每个部件的硬件的概要进行描述。
为了实现后文要描述的操作，图像接收单元11包括用于从用于传输多个观测图像110的设备(例如，图像供给设备8)接收多个观测图像110的电路。然而，当图像接收单元11从被包括在信息处理设备1中的储存设备(未示出)获取多个观测图像110时，图像接收单元11可以不包括用于接收多个观测图像110的电路。
进一步地，图像接收单元11通过使用用于控制多个观测图像110 的接收操作的电路或者基于预定程序进行操作的处理器来实现后文要描述的操作。进一步地，图像接收单元11可以包括用于储存所接收的多个观测图像110的储存设备(例如，磁盘设备或者诸如固态驱动器(SSD)等半导体存储器)。
图像分类单元12和波长插值单元14通过使用基于程序进行操作的电子电路或者处理器来实现后文要描述的操作。
图像恢复单元15通过使用基于程序进行操作的电子电路或者处理器来实现后文要描述的操作。进一步地，图像恢复单元15包括用于将所生成的恢复图像140传输至预定设备(例如，输出设备9)的电路。然而，当图像恢复单元15将恢复图像140储存在被包括在信息处理设备1中的储存设备(未示出)上时，图像恢复单元15可以不包括用于传输恢复图像140的电路。
后文将详细地描述硬件配置。
(部件的描述)
图像接收单元11接收多个观测图像110(第一多个图像或者第一图像组)。
然而，信息处理设备1可以处理被储存在储存设备(被包括在信息处理设备1中，未示出)上的多个观测图像110。在这种情况下，图像接收单元11从储存设备获取多个观测图像110。
被包括在多个观测图像110中的观测图像分别包括与波段有关的信息。进一步地，观测图像分别涉及不同的波段。
要注意的是，当所接收的观测图像不包括与波段有关的信息时，图像接收单元11使该观测图像与波段相关联。在该操作中，图像接收单元11可以从图像供给设备8等接收与观测图像的波段有关的信息。
与观测图像相关联的波段的范围不受具体限制。进一步地，指示波段的信息不受具体限制。例如，指示波段的信息可以是波段的上限波长和下限波长的组合。备选地，指示波段的信息可以是波段的中心波长或者波段的边界的波长以及带宽。要注意的是，在如下描述中，当对波段的波长进行描述时，描述是通过使用波段的中心波长λ来进行。
要注意的是，当用标识符来指定波长或者带时，图像接收单元11 可以使用该标识符来作为指示波段的信息。
进一步地，图像接收单元11可以连同多个观测图像110一起接收同步信息。
同步信息指的是用于确定后文要详细描述的图像分类单元12中的观测图像的同步性的信息。
例如，当图像分类单元12确定观测时间的同步性时，同步信息是每个观测图像的观测时间。备选地，当图像分类单元12确定波段的同步性时，同步信息是与波段有关的信息。
要注意的是，图像接收单元11可以基于观测图像来生成同步信息。例如，当图像分类单元12基于被包括在观测图像中的事物(例如，移动物体)来确定同步性时，图像接收单元11可以通过使用预定图像处理，来生成作为与被包括在观测图像中的事物有关的信息的同步信息。
要注意的是，后文要描述的图像分类单元12可以生成同步信息。在这种情况下，图像接收单元11可以不执行同步信息的接收或者生成。
图像分类单元12基于同步信息按照使得经同步的观测图像被包括在相同群集中的方式，来对被宝库在多个观测图像110中的观测图像进行分类。图像分类单元12生成包括经分类的观测图像群集的多个图像(第二多个图像)。
换言之，“群集”是经同步的一个或多个观测图像的集合。多个图像是一个或多个“群集”的集合。
图像分类单元12所使用的同步信息不受具体限制。
例如，图像分类单元12可以通过使用观测图像的观测时间来使观测时间彼此相一致的观测图像成为一个群集。
要注意的是，“观测时间彼此相一致”的情况并不限于观测时间的值相同的情况。例如，图像分类单元12可以确定观测时间被包括在预定时间范围内的观测图像具有“观测时间的一致性”。原因在于，当多个观测图像被捕获时，需要预定时间。
例如，假定观测图像是在八个波段(N＝8)中的观测图像。在第二、第三、第五和第七个波段中的观测图像的捕获时间被指定为T1，并且在第一、第四、第六和第八个波段中的观测图像的捕获时间被指定为T2。在这种情况下，图像分类单元12生成包括两个群集的多个图像，这两个群集是包括第二、第三、第五和第七个观测图像的第一群集以及包括第一、第四、第六和第八个观测图像的第二群集。
备选地，一些波段可以具有高关联性(在下文称为“波段的同步性”)。因此，图像分类单元12可以使多个同步波段中的观测图像成为一个群集。在这种情况下，图像分类单元12可以通过将包括经同步波段的组合的信息用作同步信息来将观测图像分类为群集并且生成多个图像。
例如，假定多个观测图像110包括八个观测图像。换言之，多个观测图像110包括八个波段(N＝8)。假定在这八个波段(N＝8)中，第二、第三、第五和第七个波段是同步的，并且第一、第四、第六和第八个波段是同步的。在这种情况下，图像分类单元12生成两个群集，第一群集包括与第二、第三、第五和第七个波段相关联的观测图像，并且第二群集包括与第一、第四、第六和第八个波段相关联的观测图像。然后，图像分类单元12生成包括所生成的两个群集的多个图像。
在这种情况下，同步信息是能够区分第二、第三、第五和第七个波段与第一、第四、第六和第八个波段的信息(例如，波段的标识符)。
备选地，图像分类单元12可以基于被包括在观测图像中的事物将观测图像分类为群集。例如，图像分类单元12可以确定被包括在观测图像中的特定移动物体的位置和形状，并且按照使得将移动物体的位置和形状相似的观测图像分类为相同群集来对观测图像进行分类。备选地，图像接收单元11可以基于被包括在观测图像中的特定移动物体的位置和形状来生成同步信息，并且图像分类单元12可以基于同步信息将观测图像分类为群集，并且生成多个图像。
要注意的是，“特定移动物体”不受具体限制。例如，特定移动物体是云、汽车、鸟类或者航空器。然而，特定移动物体不限于人造物体并且可以是诸如河流等自然事物。
将对以下情况进行描述，在该情况中，图像分类单元12将观测图像分类为包括云的观测图像群集和不包括云的观测图像群集。例如，假定在八个波段(N＝8)中的观测图像中，第二、第三、第五和第七个观测图像包括云，并且第一、第四、第六和第八个观测图像不包括云。在这种情况下，图像分类单元12生成包括两个群集的多个图像，第一群集包括含有云的第二、第三、第五和第七个观测图像，并且第二群集包括不含有云的第一、第四、第六和第八个观测图像。
通过这种方式，图像分类单元12将观测图像分类为同步群集并且生成多个图像。换言之，被包括在同步群集中的观测图像包括与同步信息相同的信息。例如，当图像分类单元12通过使用观测时间来执行分类时，被包括在每个群集中的观测图像具有相同的观测时间。要注意的是，图像分类单元12可以使用多个同步信息片段。
波长插值单元14基于被包括在某一群集(第一群集)中的观测图像(第一图像)来生成与被包括在另一群集(第二群集)中的观测图像(第二图像)有关的图像(第三图像)。更具体地，波长插值单元14基于与被包括在第一群集中的波段(第一波段)(该波段与被包括在第二群集中的第二图像的波段(第二波段)具有特定关系)有关的第一图像来生成与第二波段有关的第三图像。在如下描述中，第三图像可以被称为“插值图像”。
如上文所描述的，观测图像涉及不同的波段。换言之，第三图像是与不同于被包括在第一群集中的任何观测图像的波段的波段有关的图像。进一步地，第三图像是与被包括在第二群集中的任何观测图像的波段有关的图像。
波长插值单元14将所生成的图像(第三图像)与第一群集的作为生成源的观测图像(第一图像)组合起来，将该组合设定为新的群集，并且生成包括该新群集的多个图像130(第三多个图像)。
换言之，除了被包括在第一群集中的观测图像的波段之外，新生成的群集还包括与第二群集中的观测图像的波段有关的图像(第三图像)。通过这种方式，波长插值单元14生成包括与第一群集的波段有关的观测图像和与第二群集的波段有关的第三图像的群集，并且生成包括所生成的群集的多个图像130。
将详细地描述上述操作。
在下文中，尽管对两个群集的情况进行了描述，但这是为了便于描述。信息处理设备1可以包括三个或者更多个群集。在这种情况下，信息处理设备1可以选择任何两个群集并且执行如下操作。进一步地，信息处理设备1可以相对于所有群集中的组合来执行如下操作。
第一群集包括不含有缺陷区域的观测图像(第一图像)。第二群集包括含有缺陷区域的至少一个观测图像。包括缺陷区域的观测图像的波段的中心波长被指定为“波长λj”。
波长插值单元14通过使用被包括在第一群集中的观测图像来生成与中心波长λj有关的第三图像。
在下文中，使用“I(x,y,λ)”作为水平方向的第x个像素和竖直方向的第y个像素在波长λ处的像素值的表达式。
具体地，波长插值单元14使用被包括在第一群集中的与和中心波长λj具有预定关系的波段有关的观测图像的像素值，并且因而计算在中心波长λj处的像素值(在下文被指定为“I1(x,y,λj)”)。
在此，具有预定关系的波段指的是在第一群集中最接近中心波长λj的两个波段。换言之，波长插值单元14使用观测图像中与最接近中心波长λj的两个波段(在下文中，其中心波长分别被指定为λj0和λj1(λj0＜λj1))有关的像素值，并且因而确定与中心波长λj有关的像素值。要注意的是，波长λj0和λj1优选地是夹住中心波长λj(λj0＜λj＜λj1)的波长。然而，本示例性实施例不限于此。
当波长λj0和λj1是夹住中心波长λj的波长时，波长插值单元14 通过使用下文描绘的等式1来计算在中心波长λj处的像素值。
[等式1]
I1(x，y，λj)＝(1-α)I1(x，y，λj0)+αI1(x，y，λj1)
在等式1中，左侧的I1(x,y,λj)是待被计算的在中心波长λj处的像素值。右侧的第一项I1(x,y,λj0)是与第一群集中的波长λj0有关的观测图像的像素值。右侧的第二项I1(x,y,λj1)是与第一群集中的波长λj1有关的观测图像的像素值。
这样，波长插值单元14基于与被包括在第一群集中的第二波段具有预定关系的波段的第一图像的像素值来生成与第二波段有关的第三图像的像素值。
波长插值单元14计算与中心波长λj有关的所有像素值。这样，波长插值单元14基于被包括在第一群集中的观测图像来生成与第二波段有关的第三图像。
然后，波长插值单元14基于所生成的第三图像和第一群集的观测图像来生成新的群集。波长插值单元14然后基于该新群集来生成多个图像130。
在多个图像中，被包括在相同群集中的观测图像是同步的。换言之，波长插值单元14基于经同步观测图像来生成与第二波段有关的第三图像。因此，波长插值单元14能够生成具有高关联性的第三图像，即，恰当插值图像。
波长插值单元14可以生成针对观测图像的与在第二群集中包括缺陷区域的一个或多个波段有关的第三图像。然而，波长插值单元14 可以生成与被包括在第二群集中的所有观测图像的波段有关的第三图像。在下文中，在假定波长插值单元14生成与所有波段有关的第三图像的情况下进行描述。
进一步地，波长插值单元14可以通过切换上文描述的第一图像和第二图像来进行操作。换言之，波长插值单元14可以基于第二群集的观测图像来生成与一些或者全部第一波段有关的第三图像，生成新的群集，并且生成包括该群集的多个图像130。在如下描述中，在假定波长插值单元14同样在第二群集中生成与第一群集的所有波段有关的图像的情况下进行描述。
如上文所描述的，当波长插值单元14在所有群集中生成与另一群集的观测图像的波段有关的图像时，被包括在多个图像130中的每个群集包括与所有群集中的相同波段有关的图像。然而，被包括在每个群集中的每个波段的图像或者是接收的观测图像，或者是由波长插值单元14生成的第三图像(插值图像)。换言之，每个群集不包括针对每个波段的多个图像。
要注意的是，等式1是波长插值单元14中的处理的一个示例。波长插值单元14可以使用不同于等式1的等式。波长插值单元14可以例如通过使用二次插值、三次插值或者样条插值来计算像素值。
进一步地，波长插值单元14进行计算所使用的波段的数目不限于两个。波长插值单元14可以使用一个波段或者可以使用多于两个波段。例如，当用于计算像素值的第二波段高于被包括在第一群集中的观测图像的任一波段时，波长插值单元14可以通过使用与第一群集的最高波段有关的观测图像来计算像素值。
图像恢复单元15通过使用由波长插值单元14生成的插值图像 (即，多个图像130)来恢复缺陷区域。
具体地，图像恢复单元15在多个图像130中将与包括缺陷区域的观测图像的波段有关的群集的像素值进行比较。图像恢复单元15 通过使用被包括在多个图像130中的群集的像素值基于比较结果来生成缺陷区域被恢复的观测图像(即，恢复图像140)。
例如，假定在包括缺陷区域的观测图像中的波段中，光的反射较大的事物是覆盖物体。在这种情况下，图像恢复单元15在被包括在多个图像130中的各个群集的图像中将与包括缺陷区域的观测图像的波段有关的图像(观测图像和插值图像)中的像素值进行比较。图像恢复单元15将最小像素值作为受覆盖物体的影响最小的像素值。图像恢复单元15通过参照受覆盖物体的影响最小的像素值来计算作为缺陷区域的波段的像素值。例如，图像恢复单元15对包括缺陷区域的观测图像的像素值进行校正，使得其是与受影响最小的像素值相同的值或者相近的值。
图像恢复单元15通过使用相对于所有波段中的缺陷区域的像素的相似处理来计算像素值，并且通过使用所计算出的像素值来生成恢复图像140。
要注意的是，当光的反射较小的事物是覆盖物体时，图像恢复单元15可以将最大像素值作为受覆盖物体的影响最小的值。
然而，图像恢复单元15所使用的技术不限于上述技术。
下面将描述用于在图像恢复单元15中计算像素值的技术的两个示例。
(1)第一技术
在第一技术中，假定被包括在多个图像130的每个群集中的图像的波段的中心波长是波长λ1、...、λN。进一步地，假定多个图像130 包括两个群集。假定在与被包括在第一群集中的波长λn有关的图像中的像素值是I’1(x，y，λn)。进一步地，假定与被包括在第二群集中的波长λn有关的图像中的像素值是I’2(x，y，λn)。
在本文中，图像恢复单元15通过使用等式2来计算在恢复图像 140中在波长λn处的像素值(I3(x，y，λn))，等式2使用指示恢复强度的预定系数r1。
[等式2]
当I′1(x，y，λn)＜I′2(x，y，λn)
I3(x，y，λn)＝r1·I′1(x，y，λn）+(1-r1）·I′2(x，y，λn)
当I′1(x，y，λn)≥I′2(x，y，λn)
I3(x，y，λn)＝(1-r1)·I′1(x，y，λn)+r1·I′2(x，y，λn)
要注意的是，符号“n”是指示波段的变量并且是从1至N的任何值。
(2)第二技术
在第二技术中，像素的变量和波长的变量与第一技术的情况相似。
在本文中，图像恢复单元15通过使用等式3来计算恢复图像140 中的像素值(I3(x，y，λn))，等式3使用指示恢复强度的预定系数r2。
[等式3]
当(λn∈λn1)∧(I′1(x，y，λn)≥I′2(x，y，λn))
I3(x，y，λn)＝(1-r2)·I′1(x，y，λn)+r2·I′2(x，y，λn)
当(λn∈λn1)∧(I′1(x，y，λn)＜I′2(x，y，λn))
I3(x，y，λn)＝I′1(x，y，λn)
当(λn∈λn2)∧(I′1(x，y，λn)≥I′2(x，y，λn))
I3(x，y，λn1)＝I′2(x，y，λn1)
当(λn∈λn2)∧(I′1(x，y，λn)＜I′2(x，y，λn))
I3(x，y，λn)＝r2·I′1(x，y，λn)+(1-r2)·I′2(x，y，λn)
要注意的是，与上文相似，符号“n”是指示波段的变量并且是从1至N的任何整数。符号“n1”是指示第一群集的观测图像的波段的变量并且是1至N1的任何整数(N1是被包括在第一群集中的观测图像的数目)。符号“λn1”是被包括在第一群集中的观测图像的波段的中心波长的集合。符号“n2”是指示第二群集的观测图像的波段的变量并且是1至N2的任何整数(N2是被包括在第二群集中的观测图像的数目)。符号“λn2”是被包括在第二群集中的观测图像的波段的中心波长的集合。然而，假定被包括在第一群集中的观测图像的波段的中心波长(λn1)不同于被包括在第二群集中的观测图像的波段的中心波长(λn2)。
图像恢复单元15可以相对于特定波段进行操作。
例如，图像恢复单元15可以假定一种情况，在这种情况下，在特定波段中，具有光的反射或者吸收特征的事物是覆盖物体。在这种情况下，例如，图像恢复单元15将特定波段中的像素值进行比较，并且将该波段中像素值最大(或者最小)的观测图像作为该像素中受覆盖物体的影响最小的观测图像。图像恢复单元15可以基于观测图像的波段中的像素值来计算恢复图像140的像素值，并且生成恢复图像140。
[操作的描述]
接下来，参照附图对根据第一示例性实施例的信息处理设备1的操作进行描述。
图3是图示了根据第一示例性实施例的信息处理设备1的操作的一个示例的流程图。
图像接收单元11获取包括观测图像和同步信息的多个观测图像 110(第一多个图像)(步骤S101)。例如，图像接收单元11可以从用于捕获观测图像的设备(例如，图像供给设备8)接收多个观测图像110。备选地，图像接收单元11可以从未图示的储存设备读取多个观测图像110。进一步地，图像接收单元11可以从用于捕获观测图像的设备(例如，图像供给设备8)接收同步信息。备选地，图像接收单元11可以生成同步信息。
图像分类单元12通过使用同步信息按照使得经同步的观测图像被包括在相同群集中的方式来将观测图像分类为群集，并且生成多个图像(第二多个图像)(步骤S102)。要注意的是，图像分类单元 12可以生成同步信息。
波长插值单元14基于被包括在第一群集中的观测图像(第一图像)来生成与被包括在第二集群中的观测图像(第二图像)的波段有关的图像(第三图像，插值图像)。然后，波长插值单元14从所生成的第三图像和包括第一图像的群集来生成新的群集，并且基于该新的群集来生成多个图像130(第三多个图像)。换言之，波长插值单元14生成与另一群集的波段有关的图像，并且生成多个图像130(第三多个图像)。换言之，波长插值单元14基于多个图像来生成插值图像，并且基于该多个图像和插值图像来生成多个图像130(步骤 S103)。
要注意的是，波长插值单元14可能不生成作为新的群集的逻辑块(例如，文件)，该逻辑块包括所生成的第三图像和第一群集的观测图像。例如，波长插值单元14可以将管理信息储存作为多个图像 130(第三多个图像)的信息，管理信息使所生成的第三图像与第一群集的观测图像相关联。在这种情况下，图像恢复单元15可以基于管理信息进行操作。
图像恢复单元15基于多个图像130中的每个波段的像素值来计算恢复图像140的像素值，并且基于所计算出的像素值来生成恢复图像140(步骤S104)。恢复图像140是缺陷区域被恢复的图像。
[有益效果的描述]
接下来，将对根据第一示例性实施例的信息处理设备1的有益效果进行描述。
根据第一示例性实施例的信息处理设备1具有以下有益效果：即在不用使用参考图像720的情况下，生成用于恢复观测图像的图像。
原因如下。
图像接收单元11接收包括观测图像的多个观测图像110。观测图像与波段相关联。
图像分类单元12通过使用同步信息按照使得经同步的观测图像被包括在相同群集中的方式，将多个观测图像110的观测图像分类为多个图像。
波长插值单元14在被包括在多个图像中的每个群集中生成与另一群集的波段有关的图像(插值图像)。然后，波长插值单元14生成包括所生成的图像和原始图像的群集，并且生成包括所生成的群集的多个图像130。
插值图像是由下文描述的图像恢复单元15用于生成恢复图像 140的图像。换言之，插值图像是用于恢复观测图像中的缺陷区域的图像。
这样，信息处理设备1能够在不用使用参考图像720的情况下生成用于恢复观测图像的图像(插值图像)。
图像恢复单元15基于多个图像130中的波段中的像素值来合成恢复图像140的像素值，并且生成恢复图像140。
这样，信息处理设备1能够基于观测图像来生成恢复图像140。
对于重复，信息处理设备1具有如下有益效果。
图像接收单元11使观测图像与波段相关联。因此，信息处理设备1能够实现与预定波段相关联的恢复。
进一步地，图像分类单元12将经同步的观测图像分类为多个图像，以便使得其被包括在相同群集中。因此，信息处理设备1能够基于经同步的图像来实现恢复。
进一步地，波长插值单元14在每个群集中基于与待被恢复的图像的波段具有预定关系的图像来生成波段的图像。因此，图像处理设备1能够生成用于与每个波段有关的恢复的图像(插值图像)。
进一步地，图像恢复单元15基于由波长插值单元14生成的插值图像和观测图像来生成恢复图像140。这样，信息处理设备1能够在不用使用参考图像720的情况下生成使得观测图像的缺陷区域被恢复的恢复图像140。
[经修改的示例]如已经描述的，在信息处理设备1中，用于恢复的观测图像的数目不受限制。例如，信息处理设备1可以通过使用两个观测图像(即，不包括缺陷区域的观测图像和包括缺陷区域的观测图像)来进行操作。在这种情况下，信息处理设备1可以不包括图像分类单元12。
进一步地，信息处理设备1可以将由波长插值单元14生成的具有缺陷区域的图像替换为恢复图像140。备选地，信息处理设备1可以将多个图像130(包括插值图像的第三多个图像)传输至用于执行恢复图像140的恢复的另一设备。在这种情况下，信息处理设备1可以不包括图像恢复单元15。
图4是图示了作为这种情况的经修改示例的信息处理设备4的配置的一个示例的框图。信息处理设备4包括图像接收单元11和波长插值单元14。
图像接收单元11接收多个观测图像110(第一多个图像)。例如，多个观测图像110包括与第一波段有关的观测图像(第一图像)和与第二波段有关的观测图像(第二图像)。换言之，观测图像与波段相关联。
波长插值单元14基于第一图像来生成与第二波段中的第二图像有关的图像(第三图像)，第二波段不同于第一图像的第一波段。
以这种方式配置的信息处理设备4具有与信息处理设备1的有益效果相似的有益效果。
原因在于，信息处理设备4的部件能够基于该操作来生成待被恢复的图像，这与信息处理设备1相似。
要注意的是，信息处理设备4是本发明的示例性实施例的最小配置。
<第二示例性实施例>
接下来，参照附图对根据第二示例性实施例的信息处理设备2进行描述。
图5是图示了根据第二示例性实施例的信息处理设备2的配置的一个示例的框图。除了信息处理设备1的配置之外，信息处理设备2 还包括移动物体减小单元23。因此，在如下描述中，省略了对与第一示例性实施例相似的部件和操作的描述，并且对第二示例性实施例的部件和操作特性进行描述。
要注意的是，移动物体减小单元23通过使用电子电路或者基于程序进行操作的处理器来实现后文要描述的操作，这与图像分类单元 12和波长插值单元14相似。
移动物体减小单元23生成多个图像125，在该多个图像125中，相对于由图像分类单元12生成的多个图像120，由于移动物体(例如，云)引起的影响被减小。然而，不必使移动物体减小单元23针对被包括在多个图像120中的所有观测图像进行操作。移动物体减小单元 23可以减小移动物体在一些观测图像中的影响。
要注意的是，多个图像120包括被包括在多个观测图像110中的观测图像。换言之，移动物体减小单元23减小由于不包括缺陷的观测图像(第一图像)和/或包括缺陷的观测图像(第二图像)中所包括的移动物体而引起的影响。
波长插值单元14通过使用使得移动物体的影响减小的多个图像 125来生成多个图像130。
对移动物体减小单元23中的操作的细节的一个示例进行了描述。
移动物体减小单元23将多个图像120划分为具有预定大小的图像区域。在本文中，假定移动物体减小单元23在每个区域中将最小像素值视为由于移动物体(例如，云)引起的影响。因此，移动物体减小单元23从该区域的所有像素值中减去最小像素值。移动物体减小单元23基于该操作来减小移动物体的影响。
波长插值单元14通过使用使得移动物体的影响减小的多个图像 125来生成多个图像130。因此，波长插值单元14比在第一示例性实施例中更恰当地生成多个图像130。
[有益效果的描述]
除了第一示例性实施例的有益效果之外，根据第二示例性实施例的信息处理设备2还具有减小移动物体在观测图像中的影响的有益效果。
原因在于，移动物体减小单元23减小由于移动物体引起的影响。
<硬件配置示例>
上文描述的被包括在每个示例性实施例中的每个组成单元(即，根据在图1中图示的第一示例性实施例的信息处理设备1、根据在图 4中图示的经修改示例的信息处理设备4以及根据在图5中图示的第二示例性实施例的信息处理设备2)可以按如下来实现。
每个组成单元可以通过使用专用硬件(HW，例如电子电路)来实现。备选地，每个组成单元可以根据在处理器上操作的程序来实现。备选地，每个组成单元可以通过使用上述的组合来实现。
进一步地，在图1、图4和图5中图示的组成单元的划分是为了便于描述的划分。每个组成单元可以在其实施时经受各种修改。
将参照附图对根据本发明的每个示例性实施例的硬件配置进行描述。
图6是图示了根据本发明的每个示例性实施例的信息处理设备 900的配置的一个示例的流程图。
换言之，在图6中图示的信息处理设备900是在图1中图示的信息处理设备1、在图4中图示的信息处理设备4以及在图5中图示的信息处理设备2的硬件配置的一个示例。
在图6中图示的信息处理设备900除了记录介质907之外还包括如下元件。
(1)中央处理单元(CPU)901
CPU 901基于程序来实现与根据每个示例性实施例的信息处理设备900相同的功能。CPU 901是通用或者专用计算机芯片以及外围电路。
(2)只读存储器(ROM)902
ROM 902非暂时性地储存由CPU 901执行的程序和数据。例如， ROM 902是可编程ROM(P-ROM)或者闪存ROM。
(3)随机存取存储器(RAM)903
RAM 903暂时性地储存由CPU 901执行的程序和数据。例如， RAM 903是动态RAM(D-RAM)。
(4)储存设备904
储存设备904非暂时性地储存由信息处理设备900长期储存的数据和程序。进一步地，储存设备904可以作为用于CPU 901的临时储存设备来进行操作。例如，储存设备904是硬盘设备、磁光盘设备或者SSD。
(5)通信接口(I/F)905
通信I/F 905调解与未图示的外部设备的通信。例如，通信I/F 905 是局域网(LAN)卡。进一步地，通信I/F 905不限于有线基础并且可以是无线基础。通信I/F 905可以作为图像接收单元11和/或图像恢复单元15的一部分进行操作。
(6)记录介质907
记录介质907以计算机可读的方式地记录程序和/或数据。记录介质907可以非暂时性地记录程序和/或数据。例如，记录介质907是光碟(CD)-ROM、可录式光盘(CD-R)或者数字碟(DVD)-ROM。
(7)读取器和/或写入器908
读取器和/或写入器908读取被储存在记录介质907上的程序和/ 或数据，并且写入数据。例如，读取器和/或写入器908是CD驱动器、 CD-R写入器或者DVD读取器。
(8)输入和/或输出接口909
输入和/或输出接口909接受用于信息处理设备900的数据的输入并且/或者从信息处理设备900输出数据。输入和/或输出接口909可以作为图像接收单元11和/或图像恢复单元15的一部分进行操作。例如，输入和/或输出接口909是通用串行总线(USB)卡。
(9)总线906
总线906将信息处理设备900的各个元件连接起来。例如，总线 906是外围部件互连(PCI)总线。
信息处理设备900通过使用上文描述的配置来实现每个示例性实施例。
换言之，每个示例性实施例将能够实现下文描述的功能的计算机程序供给至信息处理设备900。
该功能包括在每个示例性实施例的描述中提到的在框图(图1、图4和图5)中的图像接收单元11、图像分类单元12、移动物体减小单元23、波长插值单元14以及图像恢复单元15。备选地，该功能是在示例性实施例的描述中提到的在流程图(图3)中图示的功能。
信息处理设备900基于作为硬件的CPU 901对程序的读取、解释和执行来实现上述功能。
要注意的是，所供给的程序被储存在RAM 903(其是可读的、可写的且暂时性的存储器)上或者储存设备904(其是非暂时性储存设备)上。
程序的供给方法不受具体限制。程序可以经由通用技术来供给。例如，程序可以通过使用记录介质907来进行安装或者可以经由通信 I/F 905来下载。在这种情况下，可以说本发明的每个示例性实施例是通过使用用于配置程序的代码或者用于储存该代码的记录介质907来进行配置。
尽管已经参照其示例性实施例来具体地示出和描述了本发明，但本发明不限于这些实施例。本领域的普通技术人员将理解，在不偏离如权利要求书限定的本发明的精神和范围的情况下，可以在其中的形式和细节上做出各种改变。
本申请基于并且要求于2016年7月25日提交的日本专利申请第 2016-145056号的优先权的权益，其公开内容以引用的方式全部并入本文。
[工业实用性]
本发明适用于基于通过从高海拔观测地球表面所获取的结果来生成地图、掌握土地使用状况、掌握火山爆发和森林火灾的情况、获取农作物的生长情况以及识别矿物。
[附图标记列表]
1 信息处理设备
2 信息处理设备
3 信息处理系统
4 信息处理设备
7 图像处理设备
8 图像供给设备
9 输出设备
11 图像接收单元
12 图像分类单元
14 波长插值单元
15 图像恢复单元
23 移动物体减小单元
71 图像接收单元
72 相似环境图像获取单元
76 图像储存单元
75 缺陷区域恢复单元
78 图像供给设备
79 输出设备
110 多个观测图像
111 观测图像
120 多个图像
125 多个图像
130 多个图像
140 恢复图像
150 缺陷区域
710 测量环境信息
720 参考图像
740 恢复图像
900 信息处理设备
901 CPU
902 ROM
903 RAM
904 储存设备
905 通信接口
906 总线
907 记录介质
908 读取器和/或写入器
909 输入和/或输出接口

Claims (5)

1.一种信息处理设备，包括：
图像接收装置，用于接收第一多个图像，所述第一多个图像是在多个波段中捕获且分别涉及不同波段的图像；
图像分类装置，用于基于与由所述图像接收装置接收到的所述第一多个图像的同步性有关的信息来将被包括在所述第一多个图像中的图像分类为第一群集和第二群集，所述第一群集由关于第一波段组的多个第一图像构成，所述第二群集由关于第二波段组的多个第二图像构成；
波长插值装置，用于
通过使用所述第一图像中的两个第一图像的像素值生成第一插值图像，所述两个第一图像被包括在所述第一群集中并且具有最接近所述第一插值图像的所述波段的中心波长的波段，所述第一插值图像中的每个与所述第二波段组中的所述波段的相应不同波段有关；
通过组合所述第一插值图像与所述第一群集中的所述第一图像，在所述多个波段中生成第三图像群集；
通过使用所述第一图像中的两个第一图像的像素值生成第二插值图像，所述两个第一图像被包括在所述第二群集中并且具有最接近所述第二插值图像的所述波段的中心波长的波段，所述第二插值图像中的每个与所述第一波段组中的所述波段的相应不同波段有关；以及
通过组合所述第二插值图像与所述第二群集中的图像，在所述多个波段中生成第四图像群集；以及
图像恢复装置，用于：通过基于所述第三图像群集的像素值与所述第四图像群集的像素值之间的比较合成所述多个波段中的所述第三图像群集和所述多个波段中的所述第四图像群集、通过在每个群集中比较图像中的像素值、将最小像素值作为受覆盖物体的影响最小的像素值、以及对包括缺陷区域的所述第二群集中的图像的像素值进行校正使得其是与所述最小像素值相同的值，来在所述多个波段中生成恢复图像，其中
所述图像分类装置使用被包括在所述第一多个图像中的特定移动物体的位置和形状以作为同步。
2.根据权利要求1所述的信息处理设备，还包括：
移动物体减小装置，用于减小由于被包括在所述第一图像和/或所述第二图像中的移动物体而引起的影响。
3.根据权利要求1或者2所述的信息处理设备，其中
所述图像分类装置使用所述第一多个图像的观测时间、所述第一多个图像的波段和/或被包括在所述第一多个图像中的事物来作为与同步性有关的所述信息。
4.一种信息处理方法，包括：
接收第一多个图像，所述第一多个图像是在多个波段中捕获且分别涉及不同波段的图像；
基于与由图像接收装置接收到的所述第一多个图像的同步性有关的信息来将被包括在所述第一多个图像中的图像分类为第一群集和第二群集，所述第一群集由关于第一波段组的多个第一图像构成，所述第二群集由关于第二波段组的多个第二图像构成；
通过使用所述第一图像中的两个第一图像的像素值生成第一插值图像，所述两个第一图像被包括在所述第一群集中并且具有最接近所述第一插值图像的所述波段的中心波长的波段，所述第一插值图像中的每个与所述第二波段组中的所述波段的相应不同波段有关；
通过组合所述第一插值图像与所述第一群集中的所述第一图像，在所述多个波段中生成第三图像群集；
通过使用所述第一图像中的两个第一图像的像素值生成第二插值图像，所述两个第一图像被包括在所述第二群集中并且具有最接近所述第二插值图像的所述波段的中心波长的波段，所述第二插值图像中的每个与所述第一波段组中的所述波段的相应不同波段有关；以及
通过组合所述第二插值图像与所述第二群集中的图像，在所述多个波段中生成第四图像群集；以及
通过基于所述第三图像群集的像素值与所述第四图像群集的像素值之间的比较合成所述多个波段中的所述第三图像群集和所述多个波段中的所述第四图像群集、通过在每个群集中比较图像中的像素值、将最小像素值作为受覆盖物体的影响最小的像素值、以及对包括缺陷区域的所述第二群集中的图像的像素值进行校正使得其是与所述最小像素值相同的值，来在所述多个波段中生成恢复图像，其中
所述图像分类装置使用被包括在所述第一多个图像中的特定移动物体的位置和形状以作为同步。
5.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质记录程序，所述程序使得计算机执行：
接收第一多个图像的过程，所述第一多个图像是在多个波段中捕获且分别涉及不同波段的图像；
基于与由图像接收装置接收到的所述第一多个图像的同步性有关的信息来将被包括在所述第一多个图像中的图像分类为第一群集和第二群集的过程，所述第一群集由关于第一波段组的多个第一图像构成，所述第二群集由关于第二波段组的多个第二图像构成；
通过使用所述第一图像中的两个第一图像的像素值生成第一插值图像的过程，所述两个第一图像被包括在所述第一群集中并且具有最接近所述第一插值图像的所述波段的中心波长的波段，所述第一插值图像中的每个与所述第二波段组中的所述波段的相应不同波段有关；
通过组合所述第一插值图像与所述第一群集中的所述第一图像在所述多个波段中生成第三图像群集的过程；
通过使用所述第一图像中的两个第一图像的像素值生成第二插值图像的过程，所述两个第一图像被包括在所述第二群集中并且具有最接近所述第二插值图像的所述波段的中心波长的波段，所述第二插值图像中的每个与所述第一波段组中的所述波段的相应不同波段有关；以及
通过组合所述第二插值图像与所述第二群集中的图像在所述多个波段中生成第四图像群集的过程；以及
通过基于所述第三图像群集的像素值与所述第四图像群集的像素值之间的比较合成所述多个波段中的所述第三图像群集和所述多个波段中的所述第四图像群集、通过在每个群集中比较图像中的像素值、将最小像素值作为受覆盖物体的影响最小的像素值、以及对包括缺陷区域的所述第二群集中的图像的像素值进行校正使得其是与所述最小像素值相同的值，来在所述多个波段中生成恢复图像的过程，其中
所述图像分类装置使用被包括在所述第一多个图像中的特定移动物体的位置和形状以作为同步。
CN201780046130.0A 2016-07-25 2017-07-18 信息处理设备、信息处理方法以及记录介质 Active CN109564675B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016145056 2016-07-25
JP2016-145056 2016-07-25
PCT/JP2017/025854 WO2018021079A1 (ja) 2016-07-25 2017-07-18 情報処理装置、情報処理方法、及び、記録媒体

Publications (2)

Publication Number Publication Date
CN109564675A CN109564675A (zh) 2019-04-02
CN109564675B true CN109564675B (zh) 2023-12-19

Family

ID=61016083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046130.0A Active CN109564675B (zh) 2016-07-25 2017-07-18 信息处理设备、信息处理方法以及记录介质

Country Status (5)

Country Link
US (1) US10963991B2 (zh)
EP (1) EP3489889B1 (zh)
JP (1) JP7077945B2 (zh)
CN (1) CN109564675B (zh)
WO (1) WO2018021079A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878588B2 (en) * 2018-06-22 2020-12-29 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
JP7345935B1 (ja) 2022-10-12 2023-09-19 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、情報処理方法、およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143054A (ja) * 1999-11-16 2001-05-25 Hitachi Ltd 衛星画像処理方法
CN102151118A (zh) * 2010-01-15 2011-08-17 奥林巴斯株式会社 图像处理装置、内窥镜系统以及图像处理方法
CN102436672A (zh) * 2010-08-25 2012-05-02 日立阿洛卡医疗株式会社 超声波图像处理装置
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
CN102714686A (zh) * 2009-12-01 2012-10-03 株式会社理光 图像信息处理方法、图像信息处理装置、图像处理装置和记录介质
JP2013092884A (ja) * 2011-10-25 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
CN103413289A (zh) * 2013-08-30 2013-11-27 中国神华能源股份有限公司 矿区图像处理方法及装置
WO2016098323A1 (ja) * 2014-12-17 2016-06-23 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3609524B2 (ja) * 1996-02-29 2005-01-12 株式会社リコー デジタルカラーエンコーダ
JP2000155379A (ja) * 1998-11-19 2000-06-06 Konica Corp 画像処理方法、プリント方法、画像処理装置、プリント装置、画像処理システム、プリントシステム、写真フィルム及びカメラ
US7180588B2 (en) * 1999-04-09 2007-02-20 Plain Sight Systems, Inc. Devices and method for spectral measurements
JP2008176415A (ja) * 2007-01-16 2008-07-31 Nikon Corp 撮像装置、画像記録プログラム、画像データ記録媒体、画像処理装置および画像処理プログラム
ITTO20070620A1 (it) * 2007-08-31 2009-03-01 Giancarlo Capaccio Sistema e metodo per presentare dati visuali rilevati a distanza in immagini multi-spettrali, di fusione, ed a tre dimensioni spaziali.
WO2009142758A1 (en) * 2008-05-23 2009-11-26 Spectral Image, Inc. Systems and methods for hyperspectral medical imaging
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
JP4365887B1 (ja) 2009-03-18 2009-11-18 株式会社パスコ 地表面画像データの生成方法および生成装置
JP2013179402A (ja) * 2012-02-28 2013-09-09 Sony Corp 端末装置、情報処理装置、表示方法、及び表示制御方法
WO2013145201A1 (ja) * 2012-03-29 2013-10-03 株式会社日立製作所 画像生成システム及び画像生成方法
US8811764B1 (en) * 2012-10-25 2014-08-19 Google Inc. System and method for scene dependent multi-band blending
JP2014140117A (ja) * 2013-01-21 2014-07-31 Panasonic Corp カメラ装置及び撮像方法
JP2014204151A (ja) * 2013-04-01 2014-10-27 パナソニック株式会社 撮像演算装置
WO2016083483A1 (en) * 2014-11-27 2016-06-02 Koninklijke Philips N.V. Imaging device and method for generating an image of a patient
JP6548320B2 (ja) 2015-02-07 2019-07-24 日本山村硝子株式会社 グリップボトル

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143054A (ja) * 1999-11-16 2001-05-25 Hitachi Ltd 衛星画像処理方法
CN102714686A (zh) * 2009-12-01 2012-10-03 株式会社理光 图像信息处理方法、图像信息处理装置、图像处理装置和记录介质
CN102151118A (zh) * 2010-01-15 2011-08-17 奥林巴斯株式会社 图像处理装置、内窥镜系统以及图像处理方法
CN102436672A (zh) * 2010-08-25 2012-05-02 日立阿洛卡医疗株式会社 超声波图像处理装置
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
JP2013092884A (ja) * 2011-10-25 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
CN103413289A (zh) * 2013-08-30 2013-11-27 中国神华能源股份有限公司 矿区图像处理方法及装置
WO2016098323A1 (ja) * 2014-12-17 2016-06-23 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Automatic cloud removal from multi-temporal SPOT images;Din-ChangTseng;《Applied Mathematics and Computation》;20081115;第205卷(第12期);第584-600页 *
Cloud Removal in Image Time Series through Unmixing;Daniele Cerra;《2015 8th International Workshop on the Analysis of Multitemporal Remote Sensing Images (Multi-Temp)》;20150722;第1-4页 *
Digital Restoration of Multichannel Images;NIKOLAS P. GALATSANOS;《IEEE TRANSACTIONS ON ACOUSTICS. SPEECH, AND SIGNAL PROCESSING》;19890301;第37卷(第3期);第415-421页 *
Sparse-based reconstruction of missing information in remote sensing images from spectral/temporal complementary information;XinghuaLi;《ISPRS Journal of Photogrammetry and Remote Sensing》;20150801;第106卷;第1-15页 *
XinghuaLi.Sparse-based reconstruction of missing information in remote sensing images from spectral/temporal complementary information.《ISPRS Journal of Photogrammetry and Remote Sensing》.2015,第106卷 *
一种基于波段组合的遥感图像彩色合成新方法;刘京会;王跃宗;;计算机工程与应用(第22期);第205-207、220页 *

Also Published As

Publication number Publication date
CN109564675A (zh) 2019-04-02
EP3489889A1 (en) 2019-05-29
JP7077945B2 (ja) 2022-05-31
WO2018021079A1 (ja) 2018-02-01
EP3489889B1 (en) 2023-09-20
US20190251665A1 (en) 2019-08-15
JPWO2018021079A1 (ja) 2019-05-09
US10963991B2 (en) 2021-03-30
EP3489889A4 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
US11810272B2 (en) Image dehazing and restoration
US11493675B2 (en) Single-sensor hyperspectral imaging device
CN107403421B (zh) 一种图像去雾方法、存储介质及终端设备
Rahman et al. Siamese network with multi-level features for patch-based change detection in satellite imagery
Dare Shadow analysis in high-resolution satellite imagery of urban areas
US8457437B2 (en) System and method for enhancing registered images using edge overlays
Ghosh et al. Assessment of pan-sharpened very high-resolution WorldView-2 images
CN107219638B (zh) 基于低通滤波的超分辨率关联成像系统及成像方法
CN109564675B (zh) 信息处理设备、信息处理方法以及记录介质
US20130329940A1 (en) Image processing apparatus, control method of image processing apparatus, and storage medium
JP6964834B2 (ja) 画像処理装置および画像処理方法
CN109643440A (zh) 图像处理设备、图像处理方法和计算机可读记录介质
Yilmaz et al. Fusion of very high-resolution UAV images with criteria-based image fusion algorithm
Kodric et al. Cepheids in M31: The PAndromeda Cepheid Sample
WO2022010997A1 (en) Neural network analysis of lfa test strips
Waldner et al. Local adjustments of image spatial resolution to optimize large-area mapping in the era of big data
US10262225B2 (en) Image information processing device, image information processing system, image information processing method, and recording medium storing image information processing program
KR20180090661A (ko) 적외선 영상 융합 방법
JP6716769B1 (ja) 画像検査方法、画像検査装置、及び画像検査プログラム
US20200084357A1 (en) Adaptive spectral and hyperspectral imaging
Steinecke et al. A standardized and efficient technique to estimate seed traits in plants with numerous small propagules
Cavallaro et al. SCORPIO–II. Spectral indices of weak Galactic radio sources
Oh et al. Pansharpening method for KOMPSAT-2/3 high-spatial resolution satellite image
Santo Lourenço Geo-rectification and cloud-cover correction of multi
Eastman et al. A Mapping of Pond Aquaculture, Mangroves and Coastal Wetlands in Vietnam, Cambodia, Thailand and Myanmar in 1999 and Comparison to 2014

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant