CN110476412B - 信息处理装置、信息处理方法和存储介质 - Google Patents

Abstract

本发明的目的在于获得这样的图像：针对该图像，在例如合成图像的合成信息中存在很少误差。为了实现前面的目的，本发明针对包括特定波长区域的信息的获取图像提取例如作为图像内的特定位置范围的特定区域的图像，并且通过合成分别从在不同时间捕获的多个成像信息项提取的多个特定区域的信息来产生合成信息。通过对在移动的同时并且在每个时间点捕获的捕获图像执行前面的操作，能够针对宽范围的被摄体获得具有很少误差的合成信息。

Description

信息处理装置、信息处理方法和存储介质

技术领域

本技术涉及一种信息处理装置、信息处理方法和程序，并且例如，涉及适合用于遥感的捕获图像的合成处理的技术领域。

背景技术

已付出许多努力以通过例如在小型飞行体上安装成像装置并且在农田上方移动并且同时对植被状况进行成像来执行植物的植被状况的遥感。

PTL 1公开一种用于对农田进行成像以用于遥感的技术。

引用列表

专利文献

[PTL 1]

日本专利No.5162890

发明内容

技术问题

例如，通过在飞行体在农田上方移动的情况下使用安装在飞行体上的成像装置对农田进行成像，获得农田中的植被的捕获图像，所述图像覆盖合理宽的范围。也就是说，在不同时间点捕获并且覆盖稍微不同的地方的图像被合成以获得覆盖农田中的宽范围的合成图像。这有助于感测农田的不同部分的植被状况。

由安装在飞行体上的成像装置捕获的图像在某种程度上彼此交叠，并且在检查图像之间的匹配的情况下对所述图像执行拼接处理。使用通过利用视差对同一位置进行成像来捕获图像的事实，图像被正投影并且转换成例如如从正上方所观察的图像。

然而，与植物的复杂性相比，以使用植物的视差图像创建正射图像的方式所涉及的信息的量较小，并且因此，困难在于实现至如从正上方所观察的植物的图像的转换。

作为结果，上述方法有助于检查图像中的植被状况的环境，但在测量结果被量化成感测数据的情况下涉及许多误差和不稳定性。该方法因此是不适当的。

因此，本技术的目的在于允许具有很少误差并且适合例如遥感的信息(诸如，图像)的获取。

问题的解决方案

根据本技术的信息处理装置包括：提取部分，提取包括关于特定波长区域的信息的获取图像中的特定区域的图像；和合成部分，合成由提取部分从在不同时间点获取的各获取图像提取的特定区域的多个图像以产生合成图像。

也就是说，从在各时间点获得的不同成像信息提取关于相同信息区域的信息以获得合成信息。

在上述信息处理装置中，所述提取部分提取作为由成像装置捕获的捕获图像的获取图像中的特定区域的图像。

也就是说，从在不同时间点捕获的各捕获图像提取每个捕获图像中的相同图像区域的图像，并且提取的图像被合成。

在上述信息处理装置中，所述特定区域可以是成像装置的成像元件上的被摄体光的入射角处于特定入射角范围中的图像区域。

在这种情况下，从在不同时间点捕获的各捕获图像提取相同入射角范围内的图像区域的图像，并且提取的图像被合成。

在上述信息处理装置中，所述提取部分可执行从捕获图像提取第一特定区域的图像和第二特定区域的图像的处理，并且合成部分可执行合成由提取部分从在不同时间点捕获的各捕获图像提取的第一特定区域的多个图像以产生第一合成图像的处理，和合成由提取部分从在不同时间点捕获的各捕获图像提取的第二特定区域的多个图像以产生第二合成图像的处理。

换句话说，从在不同时间点捕获的捕获图像产生多个合成图像。每个合成图像是每个捕获图像中的特定位置范围(例如，相同入射角范围内的图像区域)的一批图像。

在上述信息处理装置中，所述提取部分可提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于预定角度的图像区域的图像作为特定区域的图像。

换句话说，提取每个捕获图像的视角的中心(入射角较小的视野的中心的范围)的图像区域的图像，并且收集所获得的图像以产生多个合成图像。

在上述信息处理装置中，所述提取部分可提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴大于或等于第一角度并且小于或等于第二角度的图像区域的图像作为特定区域的图像。

换句话说，所述特定区域是如从图像的视角的中心所观察的偏心地位于向左方向或向右方向(或者向上方向或向下方向)的区域(入射角较大的范围)。所述区域靠近视角的边缘部分。这种图像区域的图像被提取并且收集以产生多个合成图像。

在上述信息处理装置中，所述合成部分可按照成像的时间点的次序布置由提取部分提取的特定区域的多个图像，并且对图像执行拼接处理以产生合成图像。

通过在成像装置移动的情况下在不同时间点捕获图像，能够获得覆盖宽范围的多个捕获图像。从每个捕获图像提取特定区域的图像，按照时间次序布置所获得的图像，并且对布置的图像执行拼接处理。

在所述信息处理装置中，所述合成部分可对通过拼接处理而获得的图像执行使用位置信息的处理。

例如，执行这样的处理：使用添加到捕获图像的位置信息，通过拼接而获得的图像被叠加在地图图像上。

在所述信息处理装置中，所述提取部分可执行从由第一成像装置在不同时间点捕获的第一捕获图像提取特定区域的图像的处理和从由第二成像装置在不同时间点捕获的第二捕获图像提取特定区域的图像的处理，并且合成部分可执行合成从在不同时间点捕获的第一捕获图像提取的特定区域的图像以产生第一合成图像的处理和合成从在不同时间点捕获的第二捕获图像提取的特定区域的图像以产生第二合成图像的处理。

换句话说，这个方面涉及由多个成像装置捕获的捕获图像。然后，从在不同时间点捕获的每个捕获图像提取特定区域的图像，并且所获得的图像被合成以产生合成图像。

在上述信息处理装置中，所述提取部分可从第一捕获图像并且从第二捕获图像提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于预定角度的图像区域的图像作为特定区域的图像。

对于由每个成像装置捕获的捕获图像，提取捕获图像中的视角的中心(入射角较小的视野的中心的范围)的图像区域的图像，并且收集所获得的图像区域的图像以产生多个合成图像。

在上述信息处理装置中，所述提取部分可根据获取图像设置特定区域。

根据捕获图像执行哪个区域将要被从捕获图像切出作为特定区域的确定。

在上述信息处理装置中，所述提取部分可针对在不同时间点捕获的每个捕获图像确定处于特定图像状态的区域，并且将确定的区域设置为特定区域。

根据每个捕获图像的每个部分的图像状态(例如，亮度)可变地设置特定区域。

在上述信息处理装置中，所述提取部分可根据选择信息设置特定区域。

根据用户的选择操作确定捕获图像的哪个区域被设置为特定区域。

在上述信息处理装置中，所述提取部分可执行从由线传感器类型成像装置在不同时间点捕获的捕获图像提取特定区域的图像的处理。

在线传感器类型成像装置中，光接收元件被布置为一维线，并且因此，对于捕获图像，所述线上的入射角是类似的。

在上述信息处理装置中，所述特定区域可以是成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于所述预定角度的图像区域，所述合成部分可合成由提取部分从在不同时间点捕获的各捕获图像提取的特定区域的多个图像以产生合成图像，并且所述信息处理装置可包括计算部分，所述计算部分使用合成图像执行植物的植被状况的计算。

也就是说，如从基本上正上方所观察的图像的合成图像被用作特定区域的图像以计算植物的植被状况。

在上述信息处理装置中，所述特定区域可以是成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴大于或等于第一角度并且小于或等于第二角度的图像区域，所述合成部分可合成由提取部分从在不同时间点捕获的多个捕获图像提取的特定区域的多个图像以产生合成图像，并且所述信息处理装置可包括计算部分，所述计算部分使用合成图像计算植被指数。

也就是说，使用如从图像中的视角的中心所观察的偏心地位于向左方向或向右方向(或者向上方向或向下方向)的区域(入射角较大的范围)的图像的合成图像作为特定区域的图像，计算植被指数。

由根据本技术的信息处理装置执行的信息处理方法包括：提取过程，提取包括关于特定波长区域的信息的获取图像中的特定区域的图像；和合成过程，合成在提取过程期间从在不同时间点获取的各获取图像提取的特定区域的多个图像以产生合成图像。

因此，从在不同时间点捕获的捕获图像提取每个捕获图像中的相同图像区域的图像，并且相同图像区域的图像被合成。

根据本技术的程序是用于使计算机装置执行与每个上述过程对应的处理的程序。

因此，计算机装置能够被用于容易地实现并且提供上述信息处理装置。

发明的有益效果

根据本技术，能够获得信息(图像信息等)，所述信息具有很少误差并且适合例如将成像信息量化成感测数据。

需要注意的是，这里描述的效果不必受到限制，而是可产生在本公开中描述的任何效果。

附图说明

图1是根据实施例执行的植被状况的遥感的描述性示图。

图2是实施例的照相机单元的方框图。

图3是实施例的感测系统的方框图。

图4是实施例的另一感测系统的方框图。

图5是实现实施例的信息处理装置的计算机装置的方框图。

图6是作为比较示例的图像合成的描述性示图。

图7是根据实施例和比较示例的合成图像的描述性示图。

图8是根据第一实施例的成像和特定区域的提取的描述性示图。

图9是根据第一实施例的合成图像的描述性示图。

图10是根据第一实施例的图像处理的流程图。

图11是第二实施例中的图像处理的流程图。

图12是第三实施例中的图像处理的流程图。

图13是在第三实施例中考虑的叶子的镜面反射的描述性示图。

图14是在第三实施例中提取的图像的描述性示图。

图15是在第三实施例中考虑的叶子的镜面反射的描述性示图。

图16是在第三实施例中提取的图像的描述性示图。

图17是第四实施例中的成像和特定区域的提取的描述性示图。

图18是第五实施例中的成像和特定区域的提取的描述性示图。

具体实施方式

将按照下面的次序描述实施例。

<1.植被状况的遥感的描述>

<2.装置结构>

<3.第一实施例>

<4.第二实施例>

<5.第三实施例>

<6.第四实施例>

<7.第五实施例>

<8.结论和修改示例>

<1.植被状况的遥感的描述>

在实施例中，以感测农田的植被状况的情况作为示例，将描述合成捕获图像的信息处理装置。在描述信息处理装置之前，将描述使用飞行体的遥感。

图1A表示农田100。最近已付出许多努力以便使用安装在飞行体300上的成像装置(照相机单元20)远程感测植被状况，如图1A中所示。

例如，通过操作人员的无线控制或无线自动控制，图1A中的小型飞行体300能够在农田100上方移动。

飞行体300包括照相机单元20，照相机单元20例如被设置为对下方的场景成像。当飞行体300沿着预定路线在农田100上方移动时，照相机单元20能够通过例如定期地捕获静止图像或捕获运动图像来在不同时间点获得成像视野的范围的图像。

图1B表示照相机单元20的成像视野。例如，图1B表示入射在照相机单元20内部的图像传感器44上的被摄体光的入射范围θAL(视角)。入射范围θAL根据照相机单元20中的透镜系统41(包括未示出的变焦透镜机构)明显地变化。然而，在飞行体300在农田 100上方移动并且同时捕获图像的时间段(执行至少成像以获得用于产生合成图像的图像的时间段)期间，入射范围θAL通常被固定到某个视角。

对于构成照相机单元20的成像装置，各种结构是可能的。

例如，通过利用照相机单元20成像而获得的图像文件(在某个时间点捕获的捕获图像)可包括光谱测量图像。也就是说，照相机单元 20是多光谱照相机，并且捕获图像包括测量图像，所述测量图像包括关于两个或更多个特定波长区域的信息。

需要注意的是，作为照相机单元20，还可使用捕获红色(R)、绿色(G)和蓝色(B)的可见光图像的照相机。

另外，作为照相机单元20，还可使用获得红外(RED)区域和近红外(NIR)区域的捕获图像并且允许获得NDVI(归一化差值植被指数)图像的照相机。

另外，由照相机单元20捕获并且获得的图像包括添加到图像的标签信息。标签信息包括成像日期和时间信息、作为GPS(全球定位系统)数据的位置信息(纬度/经度信息)、成像装置信息(关于照相机的个体识别信息、型号信息等)和关于每个图像数据的信息(诸如图像大小、波长和成像参数的信息)。

在本实施例中，来自照相机单元20的捕获图像数据的处理涉及具有各入射角的每个不同图像区域的数据的聚合以分离植被的密度和植被的活性，允许获取更详细的信息。

例如，在入射范围θAL内入射的被摄体光由图像传感器44以光电方式转换成单个图像数据。在图像数据中，特定区域表示在特定入射角范围θ1、θ2等内入射的被摄体光的图像区域。

在本实施例中，执行这样的处理：从在不同时间点获得的图像数据收集并且合成特定区域的图像。

通过收集并且合成特定区域的图像而获得的合成图像被用于与植被相关的各种分析和观测。例如，假设：未示出的计算装置被用于执行使用合成图像确定植被指数的处理。

用于测量环境胁迫的指数包括：

·PRI(光化学反射指数)

·叶绿素荧光强度

·叶绿素荧光指数，和

·状态转换反射率。

PRI是响应于叶黄素循环的脱环氧化作用而变化的指数化光谱反射率。叶黄素循环是这样的机制：如响应于强光或水胁迫的气孔的闭塞所见，释放超过光合作用的能力的过多光能作为热量。

这里，PRI被计算如下：

PRI＝(R570-R531)/(R570+R531)

需要注意的是，“R570”是在570nm的波长的反射光强，并且“R531”是在531nm的波长的反射光强。

叶绿素荧光强度可涉及太阳诱导叶绿素荧光(SIF)或者使用激光器或LED而非阳光诱导的叶绿素荧光。

叶绿素荧光指数通过分开地在几个波长测量叶绿素荧光而被获得，并且被表示为在685nm的波长的叶绿素荧光和在735nm的波长的叶绿素荧光之比。

使用叶绿素荧光也能够检测胁迫。叶绿素荧光是作为植物的光合作用的结果从植物发射的荧光。在这个现象中，除非在给定时间内从在光下诱导电子的反应的中心去除能量，否则在高等植物中，能量被释放作为具有大约680至770nm的波长的荧光。

释放的能量占输入光的能量的0.5％至3％。释放的能量的量根据植物的光合作用的状态波动，并且根据超过光合作用的能力的过多光能的量增加，如由强光或水胁迫引起的气孔的闭塞所见。

照相机单元20被用于捕获图像，并且使用以下描述的本实施例的技术产生合成图像。然后，基于合成图像产生上述指数以便能够实现植被的准确分析和观测。

<2.装置结构>

将描述用作实施例的信息处理装置10的各种装置。

图2表示照相机单元20的结构示例。在照相机单元20中，能够使信号处理部分45用作本实施例的信息处理装置10。

如图2中所示，照相机单元20包括测量部分21和处理部分 22，测量部分21包括透镜系统41、曝光部分42、滤波器43和图像传感器44，处理部分22包括信号处理部分45和I/F部分46。

在照相机单元20中，来自被摄体(诸如，待测量对象)的光(反射光)经透镜系统41和滤波器43入射在图像传感器44上。

透镜系统41是入射光学系统，包括各种透镜，诸如入射端透镜、变焦透镜、聚焦透镜和聚光透镜。

滤波器43是旨在针对待测量对象取出待测量波长的滤波器。滤波器43包括例如在图像传感器上构造的滤色器和布置在滤色器的前面的IR截止滤波器的组合，并且滤波器的一部分可以可选地被放置在曝光部分42(入射侧)或透镜系统41的前面。

曝光部分42使用光学系统(诸如，透镜系统41或光圈(光阑))调整开口量等以控制曝光，以使得，在图像传感器44中，在信号电荷位于动态范围内而非饱和的情况下执行感测。

图像传感器44包括感测元件，所述感测元件在传感器表面上包括按照重复图案以二维方式布置的多个像素。

图像传感器44使用感测元件检测已穿过滤波器43的光，并且因此，向信号处理部分45输出与光的量对应的测量信号(图像数据)。

信号处理部分45对从图像传感器44输出的图像数据执行各种类型的信号处理，并且将所获得的数据输出给接口部分46。

接口部分46向外部装备输出由信号处理部分45处理的图像数据和其它信息。

这里，在包括信号处理部分45的照相机单元20用作本实施例的信息处理装置10的情况下，信号处理部分45具有提取部分1、合成部分2和计算部分3，如图中所示。

提取部分1对由图像传感器44获得的捕获图像执行例如提取与图像中的特定位置范围对应的特定区域的图像的处理。

合成部分2执行合成从在不同时间点捕获的各捕获图像提取的特定区域的多个图像以产生合成图像的处理。

计算部分3使用由合成部分2产生的合成图像执行各种计算。例如，计算部分3计算指示植被状况(诸如，植被的密度和植物种类的差异)的值，并且计算植被指数(诸如上述PRI、叶绿素荧光强度、叶绿素荧光指数和状态转换反射率)。

将在以下描述处理的特定示例，并且通过在硬件或软件中提供至少提取部分1和合成部分2的功能，信号处理部分45(或包括信号处理部分45的照相机单元20)对应于在权利要求中叙述的信息处理装置。在这种情况下，接口部分46能够向外部装备输出由信号处理部分45产生的合成图像。

另外，通过被提供计算部分3的功能，信号处理部分45还能够经接口部分46向外部装备输出植被状况、植被指数等的计算值。

需要注意的是，根据系统结构，照相机单元20可不包括提取部分1或合成部分2的功能。在这种情况下，接口部分46向外部装备发送由照相机单元20在不同时间点捕获的捕获图像。

在外部装备是包括提取部分1和合成部分2的信息处理装置10 的情况下，外部装备产生合成图像。

这种系统结构的示例被示出在图3中。

在这个示例中，示出两个照相机单元20A和20B、接口部分50 和信号处理装置51。

照相机单元20A和20B中的每一个被如图2中所示配置。然而，信号处理部分45不需要具有提取部分1和合成部分2的功能。

例如，照相机单元20A和20B中的每一个向接口部分50输出在不同时间点捕获的捕获图像。

接口部分50向信号处理装置51发送在不同时间点捕获的由照相机单元20A和20B捕获的捕获图像。

信号处理装置51被例如实现为PC(个人计算机)或FPGA(现场可编程门阵列)。

通过被提供提取部分1和合成部分2的功能，信号处理装置51 能够基于由照相机单元20A捕获的捕获图像产生合成图像，并且能够基于由照相机单元20B捕获的捕获图像产生合成图像。

另外，通过被提供计算部分3的功能，信号处理装置51能够确定植被状况、植被指数等的计算值。

需要注意的是，虽然图3表示两个照相机单元20A和20B，但包括三个或更多个照相机单元20的系统结构也是可能的。

另外，例如，一个照相机单元20和信号处理装置51连接在一起的系统结构是可能的。

另外，在这些情况下，还假设：照相机单元20(20A和20B)的信号处理部分45包括提取部分1和合成部分2的功能，并且信号处理装置51不包括提取部分1和合成部分2的功能。

图4表示另一系统结构。在这个示例中，在远程位置的服务器 64用作本实施例的信息处理装置10。

图4表示两个照相机单元20A和20B、接口部分50、信号处理装置60、路由器61、基站62、网络63、服务器64和存储装置70。

像图3的情况一样，信号处理装置60是PC或FPGA。然而，在这种情况下，信号处理装置60不需要包括提取部分1和合成部分 2的功能。

路由器61是例如移动路由器，并且能够经基站62连接到网络 63(诸如，互联网)。

信号处理装置60使用路由器61向服务器64发送从照相机单元 20A和20B获取的捕获图像。因此，捕获图像经基站62和网络63 被加载到服务器64中。

服务器64包括提取部分1和合成部分2的功能。因此，服务器 64能够对接收的捕获图像执行图像提取处理和合成处理以产生合成图像。

存储装置70被用于为服务器64保存从信号处理装置60发送的捕获图像和产生的合成图像。

另外，服务器64可包括计算部分3的功能。这允许使用合成图像确定植被状况、植被指数等的计算值。

用作信号处理装置60的PC等能够访问服务器64，并且浏览和下载合成图像。

另外，在服务器64包括计算部分3的情况下，信号处理装置60 能够访问服务器64，并且浏览和获取植被状况、植被指数等的计算值。

如图2、图3和图4中所示，假设：照相机单元20、信号处理装置51(诸如，PC或FPGA)或服务器64对应于在权利要求中叙述的信息处理装置。

照相机单元20中的信号处理部分45可包括例如微型计算机，并且以软件的形式提供提取部分1、合成部分2和计算部分3的功能。

信号处理装置51和服务器64由计算机装置150实现，计算机装置150包括例如如图5中所示的硬件结构。

如图5中所示，计算机装置150包括CPU(中央处理单元)151、 ROM(只读存储器)152和RAM(随机存取存储器)153。

CPU 151根据存储在ROM 152中的程序或从存储部分159加载到RAM 153中的程序执行各种类型的处理。RAM 153存储CPU 151 执行各种类型的处理所需的合适的数据等。

CPU 151、ROM 152和RAM 153经总线154连接在一起。输入 /输出接口155也连接到总线154。

输入/输出接口155能够连接到显示器156(包括液晶面板、有机 EL(场致发光)面板等)、输入部分157(包括键盘、鼠标等)、扬声器 158、存储部分159(包括HDD(硬盘驱动器)等)、通信部分160等。

可与计算机装置150一体地或分开地提供显示器156。例如，显示捕获图像或合成图像，并且显示评估指数。

输入部分157表示由使用计算机装置150的用户使用的输入装置。

通信部分160执行经网络63(包括互联网)的通信处理，并且与外围部分的装备通信。

另外，根据需要，驱动器161被连接到输入/输出接口155，并且存储卡162被安装在输入/输出接口155中。根据需要，从存储卡162 读取的计算机程序被安装在存储部分159中，或者由CPU 151处理的数据被存储在存储卡162中。很明显地，驱动器161可以是用于可移动存储介质(诸如，磁盘、光盘或磁光盘)的记录和再现驱动器。

这种硬件结构能够执行实施例的信息处理装置10的处理，也就是说，提取部分1和合成部分2的处理或计算部分3的处理。也就是说，通过由CPU 151启动的软件，能够实现这种处理。构成软件的程序被从网络下载或从可移动存储介质读取，并且被安装在图5中的计算机装置150中。替代地，程序可被预先存储在用作存储部分159 的HDD等中。然后，CPU 151启动程序以完成上述部分的功能。

需要注意的是，根据实施例的信号处理装置51和服务器64中的每一个不限于具有如图5中所示的硬件结构的单个计算机装置(信息处理装置)150的结构，而是多个计算机装置可被配置在系统中。所述多个计算机装置可使用LAN等而被配置在系统中，或者基于使用互联网等的VPN(虚拟私有网络)等而被布置在远程位置。所述多个计算机装置可包括可通过云计算服务使用的计算机装置。

另外，图5中的计算机装置150能够被实现为桌上型或笔记本个人计算机或便携式终端(诸如，平板计算机终端或智能电话)。另外，本实施例的信息处理装置10的功能还能够被布置在包括计算机装置 150的功能的电子装备(诸如，测量装置、电视装置、监测装置、成像装置或设施管理装置)中。

<3.第一实施例>

将在以下描述作为第一实施例的图像处理。在描述实施例的操作之前，针对农田100的遥感容易采用的图像合成技术将会被描述为比较示例。

图6A表示：飞行体300在农田100上方飞行，照相机单元20 对农田100进行成像。

图6A表示农田100的区域AR1、AR2、…AR7。然而，农田 100为了描述的方便而被划分为所述区域，但农田100不需要实际上被划分为所述区域。

图6A表示区域AR1至AR5被包括在能够由照相机单元20在某个时间点t10成像的视野的范围中。

为了覆盖整个农田100，在飞行体300沿图中的箭头的方向移动的情况下，执行成像。

在下一个时间点t11，区域AR2至AR6的范围由照相机单元20 成像，如图6B中所示。

另外，在下一个时间点t12，区域AR3至AR7的范围由照相机单元20成像，如图6C中所示。

由照相机单元20在时间点t10、t11和t12捕获的图像被指定为图像G(t10)、G(t11)和G(t12)。

在不同时间点捕获的图像仅需要合成以便获得用于农田100中的宽范围的植被的观测和分析的图像。

通过由飞行体300移动照相机单元20而捕获的图像G(G(t10), G(t11),G(t12),...)被设置为彼此重叠大约90％。然后，在检查图像之间的匹配的情况下，执行拼接处理，如图6D中所示。

使用通过利用视差对同一位置进行成像来捕获图像的事实，图像被正投影并且转换成例如如从正上方所观察的图像，如图6E中所示。所述图像可以是RGB可见光图像或由RED和NIR图像形成的 NDVI图像。

然而，与植物的复杂性相比，以使用植物的视差图像创建正射图像的方式所涉及的信息的量较小，并且因此，困难在于实现至如从正上方所观察的植物的图像的转换。作为结果，这种方法有助于检查图像中的植被状况的环境，但在测量结果被量化成感测数据的情况下涉及许多误差和不稳定性。该方法因此是不适当的。

图7C示意性地表示产生的合成图像的状态，该图像包括许多不稳定的误差。

相比之下，在本实施例中，从在不同时间点捕获的每个捕获图像 G提取与捕获图像中的特定位置范围对应的特定区域的图像，并且所述特定区域的多个提取图像被合成以产生合成图像。因此，获得具有很少误差的合成图像，如图7A和图7B中所示。

在这种情况下，所述特定区域被定义为具有小入射角的图像区域 (对应于基本上正下方的区域：第一入射角范围)和具有大入射角的图像区域(对应于沿行进方向的屏幕上的区域：第二入射角范围)。用于各区域的图像数据被拼接成图7A中的第一入射角图像和图7B中的第二入射角图像。

将描述本实施例的处理的特定示例：为了植被检查而捕获的图像被分离成不同入射角范围的图像，并且每个入射角范围的图像被形成为如上所述的拼接图像。

图8A至8E表示类似于比较示例的图6在不同时间点成像的方式。

在图8A中，飞行体300在农田100上方飞行，照相机单元20 对农田100进行成像。假设：在时间点t1，农田100的区域AR1、 AR2和AR3的图像被捕获。

在图8B中的时间点t2，区域AR1、AR2、AR3和AR4的图像被捕获。

在图8C中的时间点t3，区域AR1至AR5的图像被捕获。

在图8D中的时间点t4，区域AR2至AR6的图像被捕获。

在图8E中的时间点t5，区域AR3至AR7的图像被捕获。

这里，对于照相机单元20，根据透镜系统41的状态确定被摄体光的入射角范围θAL(视角)，如上所述并且如图1B中所示。图8中示出的第一入射角范围θ1和第二入射角范围θ2被假设为被包括在所述入射范围内。

作为示例，第一入射角范围θ1是与基本上正下方的区域对应的入射角范围。

例如，如图1B中所示，第一入射角范围θ1是这样的范围：相对于作为成像元件的图像传感器44的被摄体光的入射角处于相对于透镜系统光轴J的±角度a1的范围中。也就是说，这个区域涉及最小入射角。

另外，第二入射角范围θ2是偏心地位于视角的末端部分的区域 (具有大入射角的区域)，如从视角的中心所观察。例如，在图1B 中，相对于透镜系统光轴J，图像传感器44上的被摄体光的入射角大于或等于第一角度a3并且小于或等于第二角度a4。

例如，特定区域被设置为这种入射角范围θ1和θ2，并且特定区域的图像被从在不同时间点捕获的每个捕获图像提取。

从在图8A中的时间点t1捕获的捕获图像，代表区域AR1和 AR3的图像被提取作为入射角范围θ1和θ2的图像。使用用于区域和时间点的标号，特定区域的图像被指定为图像AR1(t1)和 AR3(t1)。

从在图8B中的时间点t2捕获的捕获图像，分别代表区域AR2 和AR4的图像AR2(t2)和AR4(t2)被提取作为入射角范围θ1和θ2的图像。

从在图8C中的时间点t3捕获的捕获图像，分别代表区域AR3 和AR5的图像AR3(t3)和AR5(t3)被提取作为入射角范围θ1和θ2的图像。

从在图8D中的时间点t4捕获的捕获图像，分别代表区域AR4 和AR6的图像AR4(t4)和AR6(t4)被提取作为入射角范围θ1和θ2的图像。

从在图8E中的时间点t5捕获的捕获图像，分别代表区域AR5 和AR7的图像AR5(t5)和AR7(t5)被提取作为入射角范围θ1和θ2的图像。

特定区域的图像被类似地从在随后的时间点捕获的捕获图像提取。

如此提取的特定区域的图像被收集并且合成。

图9A表示通过收集并且合成在不同时间点获得的入射角范围θ1 的图像AR1(t1)至AR7(t7)而获得的图像。需要注意的是，从在晚于图8E中的时间点t5的时间点t6和t7捕获的捕获图像提取图像AR6(t6)和AR7(t7)。

图像AR1(t1)至AR7(t7)全部代表在各时间点的基本上正下方的区域。作为这种第一入射角图像，获得如图7A中所示的图像。

另外，图9B表示通过收集并且合成在不同时间点获得的入射角范围θ2的图像AR1(t-1)至AR7(t5)而获得的图像。需要注意的是，从在早于图8A中的时间点t1的时间点t0和t-1捕获的捕获图像提取图像AR2(t0)和AR1(t-1)。

图像AR1(t-1)至AR7(t5)全部代表在各时间点的沿飞行体300的行进方向的斜下方的区域。作为这种第二入射角图像，获得如图7B 中所示的图像。

作为图7A和图7B中的每个合成图像，由于没有不合理的图像转换，获得稳定而准确的图像。

另外，图7A中的合成图像由如从正上方所观察的图像构成，并且因此，代表土壤部分，允许观测植物的密度。

另外，图7B中的合成图像是如倾斜所观察的一批图像，允许仅观测植物的状况和活性。

图10表示由被配置为获得这种合成图像的本实施例的信息处理装置10执行的处理的示例，也就是说，由提取部分1和合成部分2 执行的处理。所述处理实际上是由用作信息处理装置10的图2中的照相机单元20的信号处理部分45、图3中的信号处理装置51或图4中的服务器64执行的处理的示例。需要注意的是，这也适用于根据以下描述的第二实施例和第三实施例的处理的示例(图11和图12)。

在图10中的步骤S101中，信息处理装置10获取数据。具体地讲，在这个处理中，在每个时间点获取捕获图像。

在步骤S102中，信息处理装置10校正图像位置。这里，关于飞行体300的方位信息(IMU：惯性测量单元)被用于根据图像的入射角校正图像的失真。

在步骤S103中，信息处理装置10执行图像分离，也就是说，提取特定区域的图像。例如，在上述示例中，从每个捕获图像分离并且提取下面的图像：具有小入射角的图像区域(对应于基本上正下方的区域)的图像(入射角范围θ1的图像)和具有大入射角的图像区域(对应于沿行进方向的屏幕上的区域)的图像(入射角范围θ2的图像)。

在步骤S104中，信息处理装置10合成图像。

也就是说，信息处理装置10收集在不同时间点捕获的入射角范围θ1的图像，并且如图9A中所示对按照成像的时间点的次序布置的图像执行拼接处理以产生具有小入射角的图像区域(对应于基本上正下方的区域)的拼接图像。另外，信息处理装置10收集在不同时间点捕获的入射角范围θ2的图像，并且如图9B中所示对按照成像的时间点的次序布置的图像执行拼接处理以产生具有大入射角的图像区域(对应于如沿行进方向所观察的斜下方的区域)的拼接图像。因此，获得两个拼接图像。

在步骤S105中，信息处理装置10保存产生的合成图像数据，并且在步骤S106中，确定是否结束该处理。

在进一步执行该处理的情况下，信息处理装置10从步骤S106返回到步骤S101，并且转变为使用其它捕获图像的处理。在结束该处理的情况下，信息处理装置10在步骤S106中结束所述一系列处理步骤。

上述处理导致从在不同时间点捕获的捕获图像收集的特定区域的合成图像。作为特定区域，假设入射角范围θ1和θ2。然而，显然地，不应该有这种限制。例如，仅入射角范围θ1被指定为特定区域，并且可产生一个合成图像。

另外，三个或更多个入射角范围θ1、θ2、θ3、…可被指定为特定区域，并且可产生三个或更多个合成图像。

入射角范围θ1和θ2完全彼此不同。然而，入射角范围θ1和θ2 可部分地彼此交叠。

另外，不必基于入射角范围θ1确定特定区域。例如，特定区域可被设置为图像传感器44的成像元件上的区域范围。特定区域可被确定为是例如成像元件的阵列上的中心区域。

另外，捕获图像区域中的成像像素(像素)的范围可在水平方向上并且在垂直方向上被设置为特定区域。

在任何情况下，仅需要捕获图像的一部分被设置为特定区域。

需要注意的是，在计算部分3被提供作为信息处理装置10的情况下，例如，在步骤S106之后，可使用合成图像执行计算处理。

在这种情况下，计算部分3可使用如图7A中所示如从基本上正上方所观察的图像的合成图像计算植物的密度，并且使用如图7B中所示如从视角的中心所观察的偏心地位于视角的左侧或右侧(或者上侧或下侧)的区域(具有大入射角的范围)的图像的合成图像计算植物的密度。

<4.第二实施例>

将参照图11描述第二实施例的处理的示例。与图10中的对应处理步骤相同的处理步骤由相同的步骤编号表示，并且避免重复的描述。

图11中的处理的示例对应于添加了步骤S110的上述图10中的处理。

在步骤S104中执行图像合成之后，信息处理装置10在步骤S110中执行地图图像处理。

这个处理涉及使用GPS信息将拼接图像叠加在地图图像上以将拼接图像与准确的位置信息进行匹配。

具有大入射角的图像未与GPS对准，并且因此，，在也考虑这一点的情况下，图像被叠加在地图图像上。这提供反映准确位置的合成图像。

<5.第三实施例>

将参照图12描述第三实施例中的处理的示例。与图10中的对应处理步骤相同的处理步骤由相同的步骤编号表示，并且避免重复的描述。图12对应于添加了步骤S120的上述图10中的处理。

在步骤S120中，信息处理装置10确定待提取图像。这个处理涉及设置特定区域。换句话说，这个处理涉及设置从在步骤S101中在不同时间点捕获的捕获图像提取哪些区域。

例如，在步骤S120中，信息处理装置10执行这样的处理：基于每个捕获图像将某些图像区域确定为特定区域，并且针对图像区域执行自适应切换。

也就是说，在分离具有小入射角的图像区域和具有大入射角的图像区域之前，信息处理装置10基于每个捕获图像确定将要切出什么图像。

例如，根据种类，植物的长度不同。即使在小入射角，较长的植物也允许仅代表植被的图像的获取。

因此，例如，对于长植物，正下方的区域的图像区域(在图像的中心的入射角是0度)被选择为入射角范围θ1，并且“在X度的入射角附近的图像区域”被选择为入射角范围θ2。

对于短植物，正下方的区域的图像区域也被选择为入射角范围θ1，并且“在Y度的入射角附近的图像区域”被选择为入射角范围θ2。这里，入射角X和入射角Y之间的关系是入射角X<入射角Y。

在捕获图像中表示的农田100的图像中，通过图像分析，容易区分植物叶子的部分与土壤的部分。在这种情况下，当正下方的区域的图像区域包括许多土壤的部分时，植物能够被确定为较短。当正下方的区域的图像区域包括很少的土壤的部分时，植物能够被确定为较长。

例如，这种方法能够被用于确定植物的长度，并且如上所述切换特定区域的设置。

在这种情况下，对于长植物，具有尽可能小的入射角的图像也被选择为具有入射角范围θ2的图像。因此，在抑制了图像失真的情况下，能够确定植被的状况和活性。

在步骤S120中的处理的另一特定示例中，根据阳光的状况识别植物位于阴影下的入射角和植物保持在阳光下的入射角。然后，特定区域能够被设置以便仅提取具有各入射角的图像。

阳光的光谱在阴影下的植物的图像和阳光下的植物的图像之间变化，并且因此，需要根据阳光光谱执行校正，并且本实施例促进这种校正。

另外，植被的胁迫状况在阳光下的状态和阴影下的状态之间变化，并且因此，测量这个差异使得能够确定胁迫状况。

在这种情况下，当阳光下的植物的区域和阴影下的植物的区域在由飞行的飞行体300在不同时间点捕获的捕获图像之中保持基本上不变时，入射角范围θ1和θ2可在单个捕获图像中被设置为特定区域。例如，这适用于下面的情况：基于周围的地形确定植物通常在阳光下的位置和植物通常在阴影下的位置，并且在与飞行体300的相对关系中，在捕获图像中反映的阳光下的植物的位置和阴影下的植物的位置保持基本上不变。

另一方面，阳光下的植物和阴影下的植物的范围可根据飞行体 300的行进在不同时间点捕获的捕获图像之中变化。因此，可针对每个捕获图像可变地设置特定区域。

也就是说，阳光下的植物的图像区域被指定为第一特定区域，并且阴影下的植物的图像区域被指定为第二特定区域。

例如，在每个捕获图像中，针对图像区域确定亮度分布、光亮度分布等，并且阳光下的植物的区域和阴影下的植物的区域因此被确定并且随后被提取作为第一和第二特定区域。

以这种方式，即使在阳光下的植物的区域和阴影下的植物的区域在捕获图像之中变化的情况下，通过收集仅代表阳光下的植物的图像或仅代表阴影下的植物的图像，也能够获得合成图像。

另外，来自植物的镜面反射的量根据太阳的位置、被摄体的角度和照相机单元20上的入射角而变化。为了感测植被状况，镜面反射的量需要被尽可能减少。因此，在另一有效示例中，根据植物的种类和生长的程度识别涉及最小量的镜面反射的入射角，并且收集具有该入射角的图像。

如图13A中所示，西红柿的叶子等经常相对朝上。在来自光源的光被正反射(镜面反射)的方向上，物体上的入射角等于来自物体的反射角。因此，西红柿具有如图13B中所示的关系。也就是说，在入射角AG1等于反射角AG2的状态下，来自太阳400的光被沿相反方向反射。

图14A和图14B表示：飞行体300相对于农田100沿方向DA 和DB飞行。方向DA表示飞行体300背对着太阳400照射行进的方向，并且方向DB表示飞行体300朝着太阳400行进的方向。

现在，考虑这样的情况：飞行体300在农田100上方飞行，如图 14C中所示。当飞行体300沿方向DA飞行时，捕获图像的上侧(飞行体300的行进方向的图像：参见图14A)被用作入射角范围θ2的提取图像。相比之下，当飞行体300沿方向DB飞行时，捕获图像的下侧(与飞行体300的行进方向相反的方向的图像：参见图14B)被用作入射角范围θ2的提取图像。这允许具有减少的量的镜面反射的图像的收集。

需要注意的是，与入射角范围θ2的图像相比，正下方的区域(入射角范围θ1)的图像涉及更大量的镜面反射，但通过被与入射角范围θ2的图像同时获取，能够被有效地用于根据角度估计植被的差异。

另外，在草坪等的情况下，许多叶子朝上，如图15A中所示，并且来自太阳400的光的镜面反射经常如图15B中所示。

在这种情况下，提取为入射角范围θ2的图像可被如图16A和图 16B中所示获取。需要注意的是，像图14C一样，图16C表示农田 100上方的飞行体300的飞行路径。

如图16A中所示，当飞行体300沿方向DA飞行时，捕获图像的下侧(与飞行体300的行进方向相反的方向的图像)被用作入射角范围θ2的提取图像。相比之下，当飞行体300沿方向DB飞行时，捕获图像的上侧(飞行体300的行进方向的图像)被用作入射角范围θ2 的提取图像，如图16B中所示。

如上所述，还能够使用这样的技术：根据捕获图像的状态，自适应地切换针对特定区域设置的入射角范围，或者从每个捕获图像选择指定为特定区域的区域本身。

另外，在被摄体明确的情况下，什么入射角被用于测量能够被预定，并且基于入射角，能够选择将要在步骤S120中提取的特定区域。也就是说，在步骤S120中，可执行处理，该处理包括：基于预输入设置信息，确定针对指定为特定区域的图像区域设置哪个入射角。

因此，工作人员能够根据农田100的类型、植物的种类等进行逐个案例的设置，允许获得合适的合成图像。

<6.第四实施例>

将参照图17描述第四实施例。

在这个示例中，根据入射角使用多个照相机单元20。

像上述图8C、图8D和图8E一样，图17A、图17B和图17C 表示在时间点t3、t4和t5的成像的方式。

在这个示例中，飞行体300装备有两个照相机单元20A和 20B，如图17D中所示。照相机单元20A的成像方向对应于正下方的区域，并且照相机单元20B的成像方向对应于沿飞行体300的行进方向的斜下方的区域。也就是说，照相机单元20B的成像方向旨在用于针对照相机单元20A而言入射角过大的范围。

换句话说，在这个示例中，特定区域被定义为在照相机单元20A 中的光轴J附近的入射角范围θ1(参见图1B)。然后，入射角范围θ1 的图像区域的图像被从由照相机单元20A在不同时间点捕获的每个捕获图像提取，并且所获得的图像被合成以产生第一合成图像。

另外，对于照相机单元20B，在光轴J附近的入射角范围θ1(参见图1B)也被指定为特定区域。然后，入射角范围θ1的图像区域的图像被从由照相机单元20B在不同时间点捕获的每个捕获图像提取，并且所获得的图像被合成以产生第二合成图像。

然后，第一合成图像和第二合成图像是正下方的区域和如沿行进方向所观察的斜下方的区域的图像，像图7A和图7B的情况一样。

然而，在这种情况下，通过收集由照相机单元20B捕获的小入射角的范围的图像，也获得沿行进方向的斜下方的区域的合成图像。换句话说，该合成图像经受较少的透镜畸变。

通过如上所述使用来自两个照相机单元20A和20B的照相机中心图像产生合成图像，入射角和视角能够被减小以提供具有减少的透镜畸变的高质量合成图像。

<7.第五实施例>

将参照图18描述第五实施例。

像上述图8C、图8D和图8E一样，图18A、图18B和图18C 表示在时间点t3、t4和t5的成像的方式。

在这种情况下，飞行体300装备有线传感器类型照相机单元 20AL和20BL，如图18D中所示。照相机单元20AL的成像方向对应于正下方的区域，并且照相机单元20BL的成像方向对应于沿飞行体300的行进方向的斜下方的区域。

线传感器类型照相机单元20AL和20BL中的每一个包括布置为一维线以形成图像传感器44的光接收元件，并且在相对于被摄体的位置变化的情况下逐行地捕获图像。在飞行体300行进时逐行地捕获图像以获得如从上方所观察的代表农田100的捕获图像。

在这种情况下，针对整个图像使用基本上相同的入射角获得由照相机单元20AL在不同时间点捕获的捕获图像，并且所述捕获图像对应于正下方的区域。

另外，针对整个图像使用基本上相同的入射角获得由照相机单元 20BL在不同时间点捕获的捕获图像，并且所述捕获图像对应于沿行进方向的斜下方的区域。

然后，使用由照相机单元20AL在不同时间点捕获的捕获图像获得合成图像，并且也使用由照相机单元20BL在不同时间点捕获的捕获图像获得合成图像。因此，容易地获得在相同角度捕获所有行的图像的合成图像。

<8.结论和修改示例>

上述实施例产生下面的效果。

实施例的信息处理装置10包括：提取部分1，获取包括关于特定波长区域的信息的捕获图像并且提取捕获图像中与特定位置范围对应的特定区域的图像；和合成部分2，合成由提取部分1从在不同时间点捕获的各捕获图像提取的特定区域的多个图像以产生合成图像。也就是说，从在不同时间点捕获的每个捕获图像提取每个捕获图像中的同一图像区域的图像，并且所获得的同一图像区域的图像被合成。

因此，能够获得这样的图像：该图像具有很少误差并且适合将测量结果量化成感测数据。

例如，每个捕获图像的侧向中心部分被设置为特定区域。在这种情况下，通过收集相对于成像装置的角度(例如，成像元件上的被摄体光的入射角)处于基本上相同的范围内的图像，能够获得合成图像。

在成像装置移动的同时执行成像的情况下，能够获得移动范围内的捕获图像作为相对于成像装置的位置保持基本上相同的图像。

例如，与植物的复杂性相比，以使用植物的视差图像创建正射图像的方式所涉及的信息的量较小，并且因此，困难在于实现至如从正上方所观察的植物的图像的转换。因此，在测量结果被量化成感测数据的情况下，这种方法涉及许多误差和不稳定性。该方法因此是不适当的。相比之下，实施例促进完全代表如从正上方所观察的植物的图像(参见图7A)的获取，而不需要导致误差的大的转换，并且因此非常适合植被状况的感测。

在每个实施例中描述的示例中，所述特定区域是照相机单元20 的图像传感器44上的被摄体光的入射角处于特定入射角范围中的图像区域。然后，从在不同时间点捕获的每个捕获图像提取相同入射角范围的图像区域的图像，并且所获得的相同入射角范围的图像区域的图像被合成。

因此，在照相机单元20由飞行体300移动的同时捕获图像的情况下，通过收集使用具有基本上相同的入射角的被摄体光捕获的图像区域的图像，能够获得合成图像。

例如，通过仅收集并且合成具有成像元件上的最小入射角的图像，能够获得具有减少的失真的图像。

另外，例如，仅收集并且合成具有大入射角的区域的图像提供如完全倾斜所观察的图像。

在第一实施例中，提取部分1执行这样的处理：从捕获图像提取第一特定区域的图像(入射角范围θ1的图像)和第二图像区域的图像 (入射角范围θ2的图像)。然后，在描述的示例中，合成部分2执行这样的处理：合成从在不同时间点捕获的各捕获图像提取的第一特定区域的多个图像以产生第一合成图像，并且合成从在不同时间点捕获的各捕获图像提取的第二特定区域的多个图像以产生第二合成图像。换句话说，从在不同时间点捕获的捕获图像产生多个合成图像。每个合成图像是与捕获图像中的特定位置范围的一批图像(例如，相同入射角范围的图像区域的图像)对应的图像。

因此，例如，能够产生收集相似入射角范围的图像的多个合成图像。例如，作为入射角范围θ1的图像区域的合成图像，能够产生如从照相机单元20向正下方所观察的农田100的捕获图像。同时，能够产生如从照相机单元20向斜下方所观察的农田100的捕获图像。

具有不同入射角的图像可适合各种观测和分析。因此，一次获得各种入射角图像非常适合植被状况的遥感。

很明显地，另外，能够产生三个或更多个合成图像，例如，由提取部分提取的第三特定区域的多个图像被合成以产生第三合成图像。

另外，收集与不同入射角对应的图像允许从不同角度评估植物的状况。例如，由如从正上方所观察的图像构成的图像适合基于例如该图像中的土壤部分并且根据植物的生长观测植物的密度。收集如倾斜所观察的植物的图像允许关注植物，并且所获得的图像适合观测植物的状况和活性。

在根据第一实施例描述的示例中，提取部分1提取照相机单元 20的图像传感器44上的被摄体光的入射角处于相对于透镜系统光轴 J的±角度a1的范围(参见图1B)中的图像区域的图像作为特定区域的图像(入射角范围θ1的图像)。换句话说，提取捕获图像中的视角的中心(入射角较小的视野的中心的范围)的图像区域的图像，并且收集所获得的该图像区域的图像以产生多个合成图像。

视角的中心的图像经受较少的图像失真。因此，获得被摄体(例如，农田)中的宽范围的合成图像作为具有更少的失真的图像。这种合成图像适合基于易受图像失真影响的方案的植被信息的分析或观测。

例如，作为如图7A中所示的合成图像(第一入射角图像)，由于没有不合理的图像转换，获得稳定而准确的图像。另外，图7A中的合成图像由如从正上方所观察的图像构成，并且因此，代表土壤部分，允许观测植物的密度。

在根据第一实施例描述的示例中，提取部分1提取照相机单元 20的图像传感器44上的被摄体光的入射角处于相对于透镜系统光轴 J大于或等于第一角度a3并且小于或等于第二角度a4的范围(参见图1B)中的图像区域的图像作为特定区域的图像(入射角范围θ2的图像)。

换句话说，所述特定区域是如从视角的中心所观察的偏心地位于图像中的视角的左侧或右侧(或者上侧或下侧)的区域(具有大入射角的范围)。换句话说，所述区域被布置为靠近视角的边缘部分。这种图像区域的图像被提取并且收集以产生多个合成图像。

靠近视角的边缘部分的图像是如倾斜所观察的图像。给定农田的图像，土壤部分可能被图像中的植物叶子遮掩。因此，能够获得适合植被分析和观测的图像，以使得图像的土壤部分代表分析的噪声。

例如，如图7B中所示的合成图像(第二入射角图像)是如倾斜所观察的植物的一批图像，允许仅观测植物的状况和活性。

在每个实施例中，合成部分2按照成像的时间点的次序布置由提取部分1提取的特定区域的多个图像，并且对图像执行拼接处理以产生合成图像(参见图9A和图9B)。

通过在移动成像装置的同时使用成像装置在不同时间点捕获图像，能够获得旨在用于宽范围的多个捕获图像。从每个捕获图像提取特定区域的图像，按照时间次序布置所获得的图像，并且对图像执行拼接处理。

例如，作为农田中的宽范围的图像，能够获得具有被摄体光的类似范围的入射角的图像，并且所述图像适合宽范围的植被分析。

在第二实施例中描述的示例中，合成部分2对通过拼接处理而获得的图像执行使用位置信息的处理。例如，合成部分2执行这样的处理：使用添加到捕获图像的GPS信息在地图图像上叠加通过拼接处理而获得的图像。

这允许具有准确位置关系的合成图像的获取。

在第四实施例中，提取部分1执行这样的处理：从由照相机单元 20A在不同时间点捕获的每个第一捕获图像提取特定区域的图像，并且从由照相机单元20B在不同时间点捕获的每个第二捕获图像提取特定区域的图像。另外，合成部分2执行这样的处理：合成从在不同时间点捕获的第一捕获图像提取的特定区域的图像以产生第一合成图像，并且合成从在不同时间点捕获的第二捕获图像提取的特定区域的图像以产生第二合成图像。

换句话说，第四实施例涉及由多个成像装置(照相机单元20)捕获的捕获图像。从由每个成像装置在不同时间点捕获的每个捕获图像提取特定区域的图像，并且所获得的图像被合成以产生合成图像。

在这种情况下，通过从由所述多个照相机单元20A和20B中的每个照相机单元在不同时间点捕获的捕获图像收集特定入射角范围的图像，能够产生合成图像。

例如，如参照图17所述，照相机单元20A被设置为朝向飞行体 300正下方的区域，并且照相机单元20B被设置为朝向飞行体300斜下方的区域以允许在宽范围上获得捕获图像。然后，通过设置照相机单元20A的成像方向或选择用于提取的特定区域，能够促进根据预期用途(诸如，植被状况的感测)的合适的图像的获取。

需要注意的是，更大量的照相机单元20(例如，除了照相机单元 20A和20B之外的未示出的照相机单元20C)能够显然被用于从捕获图像提取特定区域的图像，并且获得合成图像。

另外，即使利用多个照相机单元20，多个特定区域(第一特定区域和第二特定区域)的图像也可被提取并且合成以产生各合成图像。例如，通过针对由照相机单元20A捕获的捕获图像设置第一和第二特定区域以产生两个合成图像并且针对由照相机单元20B捕获的捕获图像设置第一和第二特定区域以产生两个合成图像，能够一次产生一共四个合成图像。

另外，在第四实施例中描述的示例中，提取部分1从由照相机单元20A捕获的每个捕获图像并且从由照相机单元20B捕获的每个捕获图像提取被摄体光的入射角相对于透镜系统光轴J小于或等于预定角度的图像区域(入射角范围θ1)的图像作为特定区域的图像。也就是说，从由照相机单元20A和20B中的每个照相机单元捕获的每个捕获图像提取捕获图像中的视角的中心(入射角较小的视野的中心的范围)的图像区域的图像，并且收集所获得的视角的中心的图像区域的图像以产生多个合成图像。

视角的中心的图像经受较少的图像失真。因此，获得被摄体(例如，农田)中的宽范围的合成图像作为具有更少的失真的图像。

例如，如图17中所示，在照相机单元20A被设置为朝向飞行体 300正下方的区域并且照相机单元20B被设置为朝向飞行体300斜下方的区域的情况下，作为两个照相机单元的小入射角的范围(靠近光轴的范围)的图像，能够获得正下方的区域的视野的图像和斜下方的区域的视野的图像。换句话说，作为两个照相机单元的具有很小图像失真的图像，能够获得正下方的区域的图像和斜下方的区域的图像。

在第三实施例中描述的示例中，在图12中的步骤S120中的处理中，提取部分1根据捕获图像设置特定区域。也就是说，提取部分1 根据捕获图像确定哪个区域将要被从捕获图像切出作为特定区域。

因此，通过提取与农田100等的感测的预期用途对应的特定区域，能够获得合成图像。例如，能够根据阳光的照射状态设置特定区域。

另外，在根据第三实施例的步骤S120中的处理中，提取部分1 可针对在不同时间点捕获的每个捕获图像确定处于特定图像状态的区域，并且将确定的区域设置为特定区域。也就是说，根据每个捕获图像的每个部分的图像状态(例如，亮度等)可变地设置特定区域。

因此，即使在阳光的照射状态在捕获图像之中变化的情况下，特定区域也能够被设置以准确地分离例如阴影下的植物与阳光下的植物。

另外，在根据第三实施例的步骤S120中的处理中，提取部分1 可根据由用户预设的选择信息设置特定区域。换句话说，捕获图像的哪个区域将要被设置为特定区域取决于由用户执行的选择操作。

因此，通过提取与农田等的感测的预期用途对应的特定区域，能够获得合成图像。例如，用户能够根据植物的种类预先选择特定区域。

在第五实施例中描述的示例中，提取部分1执行这样的处理：从由线传感器类型照相机单元20AL和20BL在不同时间点捕获的捕获图像提取特定区域的图像。每个线传感器类型成像装置包括布置为一维线的光接收元件，并且因此，对于捕获图像，所述线上的入射角是类似的。因此，容易地获得由按照相同入射角入射在所有线上的被摄体光产生的合成图像。

如图2、图3和图4中的结构示例所示，可提供计算部分3，计算部分3使用合成图像计算植物的植被状况。

提取部分1提取照相机单元20的图像传感器44上的被摄体光的入射角处于相对于透镜系统光轴J的±角度a1的范围(参见图1B)中的图像区域的图像作为特定区域的图像(入射角范围θ1的图像)，并且合成部分2合成由提取部分1从在不同时间点捕获的各捕获图像提取的特定区域的多个图像以产生合成图像。在这种情况下，计算部分 3使用如从基本上正上方所观察的图像的合成图像计算植被的密度。

例如，作为如图7A中所示的合成图像(第一入射角图像)，由于没有不合理的图像转换，获得稳定而准确的图像。另外，除了植物之外，图像代表除植物之外的部分，诸如土壤。因此，计算部分3能够合适地计算植被状况。植被状况表示例如植物的密度(拥挤的程度)和一个或多个种类的植物的差异。

另外，提取部分1提取照相机单元20的图像传感器44上的被摄体光的入射角处于相对于透镜系统光轴J大于或等于第一角度a3并且小于或等于第二角度a4的范围(参见图1B)中的图像区域的图像作为特定区域的图像(入射角范围θ2的图像)，并且合成部分2合成由提取部分1从在不同时间点捕获的各捕获图像提取的特定区域的多个图像以产生合成图像。在这种情况下，计算部分3使用如从视角的中心所观察的偏心地位于图像中的视角的左侧或右侧(或者上侧或下侧) 的区域(具有大入射角的范围)的图像的合成图像计算植物的密度。

例如，作为如图7B中所示的合成图像(第二入射角图像)，获得适合植被分析和观测的图像，以使得图像的土壤部分代表分析的噪声。因此，计算部分3能够使用这种合成图像准确地计算植被指数 (诸如，PRI)。

需要注意的是，在每个实施例中，提取部分1和合成部分2对捕获图像执行处理。然而，如本技术中所使用的“捕获图像”包括由由光电转换元件获得的信号表示的全部信息。例如，捕获图像不限于狭义的直接表示可见光的图像。

根据本发明的实施例的程序是用于使计算机装置150的CPU 151 执行下述步骤的程序：提取步骤(S103)，提取捕获图像中的特定区域的图像；和合成步骤(S104)，合成在提取步骤中从在不同时间点捕获的各捕获图像提取的特定区域的多个图像。

更具体地讲，所述程序使计算机装置150的CPU 151执行图 10、图11或图12中的处理。

这种程序促进本实施例的信息处理装置10的实现。

这种程序能够例如被存储在内置在装备(诸如，计算机装置)中的记录介质或包括CPU的微型计算机中的ROM中。替代地，这种程序能够被暂时地或永久地存储(记录)在可移动记录介质(诸如，半导体存储器、存储卡、光盘、磁光盘或磁盘)中。另外，这种可移动记录介质能够被提供作为所谓的封装软件。

另外，这种程序能够被从可移动记录介质安装到个人计算机等中，或者被经网络(诸如，LAN或互联网)从下载站点下载。

需要注意的是，这里描述的效果仅是说明性的并且不是限制性的，并且可产生任何其它效果。

需要注意的是，本技术能够被如下构造。

(1)一种信息处理装置，包括：

提取部分，提取包括关于特定波长区域的信息的获取图像中的特定区域的图像；和

合成部分，合成由提取部分从在不同时间点获取的各获取图像提取的特定区域的多个图像以产生合成图像。

(2)如以上(1)所述的信息处理装置，其中

所述提取部分提取作为由成像装置捕获的捕获图像的获取图像中的特定区域的图像。

(3)如以上(2)所述的信息处理装置，其中

所述特定区域包括成像装置的成像元件上的被摄体光的入射角处于特定入射角范围中的图像区域。

(4)如以上(2)或(3)所述的信息处理装置，其中

所述提取部分执行从捕获图像提取第一特定区域的图像和第二特定区域的图像的处理，并且

所述合成部分执行：

合成由提取部分从在不同时间点捕获的各捕获图像提取的第一特定区域的多个图像以产生第一合成图像的处理，和

合成由提取部分从在不同时间点捕获的各捕获图像提取的第二特定区域的多个图像以产生第二合成图像的处理。

(5)如以上(2)至(4)中任何一项所述的信息处理装置，其中

所述提取部分提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于预定角度的图像区域的图像作为特定区域的图像。

(6)如以上(2)至(5)中任何一项所述的信息处理装置，其中

所述提取部分提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴大于或等于第一角度并且小于或等于第二角度的图像区域的图像作为特定区域的图像。

(7)如以上(2)至(6)中任何一项所述的信息处理装置，其中

所述合成部分按照成像的时间点的次序布置由提取部分提取的特定区域的多个图像，并且对图像执行拼接处理以产生合成图像。

(8)如以上(7)所述的信息处理装置，其中

所述合成部分对通过拼接处理而获得的图像执行使用位置信息的处理。

(9)如以上(2)至(8)中任何一项所述的信息处理装置，其中

所述提取部分执行

从由第一成像装置在不同时间点捕获的第一捕获图像提取特定区域的图像的处理，和

从由第二成像装置在不同时间点捕获的第二捕获图像提取特定区域的图像的处理；以及

所述合成部分执行

合成从在不同时间点捕获的第一捕获图像提取的特定区域的图像以产生第一合成图像的处理，和

合成从在不同时间点捕获的第二捕获图像提取的特定区域的图像以产生第二合成图像的处理。

(10)如以上(9)所述的信息处理装置，其中

所述提取部分从第一捕获图像并且从第二捕获图像提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于预定角度的图像区域的图像作为特定区域的图像。

(11)如以上(1)至(10)中任何一项所述的信息处理装置，其中

所述提取部分根据获取图像设置特定区域。

(12)如以上(2)至(10)中任何一项所述的信息处理装置，其中

所述提取部分针对在不同时间点捕获的每个捕获图像确定处于特定图像状态的区域，并且将确定的区域设置为特定区域。

(13)如以上(1)至(10)中任何一项所述的信息处理装置，其中

所述提取部分根据选择信息设置特定区域。

(14)如以上(2)至(13)中任何一项所述的信息处理装置，其中

所述提取部分执行从由线传感器类型成像装置在不同时间点捕获的捕获图像提取特定区域的图像的处理。

(15)如以上(2)至(14)中任何一项所述的信息处理装置，其中

所述特定区域包括成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于所述预定角度的图像区域，

合成部分合成由提取部分从在不同时间点捕获的各捕获图像提取的特定区域的多个图像以产生合成图像，并且

所述信息处理装置包括计算部分，所述计算部分使用合成图像执行植物的植被状况的计算。

(16)如以上(2)至(15)中任何一项所述的信息处理装置，其中

所述特定区域包括成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴大于或等于第一角度并且小于或等于第二角度的图像区域，

合成部分合成由提取部分从在不同时间点捕获的多个捕获图像提取的特定区域的多个图像以产生合成图像，并且

所述信息处理装置包括计算部分，所述计算部分使用合成图像计算植被指数。

(17)一种由信息处理装置执行的信息处理方法，包括：

提取过程，提取包括关于特定波长区域的信息的获取图像中的特定区域的图像；和

合成过程，合成在提取过程期间从在不同时间点获取的各获取图像提取的特定区域的多个图像以产生合成图像。

(18)一种程序，用于使计算机装置执行：

提取步骤，提取包括关于特定波长区域的信息的获取图像中的特定区域的图像；和

合成步骤，合成在提取步骤期间从在不同时间点获取的各获取图像提取的特定区域的多个图像以产生合成图像。

标号列表

1···提取部分，2···合成部分，3···计算部分，10···信息处理装置，20、20A、20B、20AL、20BL···照相机单元，44···图像传感器，45···信号处理部分，51···信号处理装置，64···服务器，100···农田，150···计算机装置，300···飞行体。

Claims (14)

1.一种信息处理装置，包括：

提取部分，提取包括关于特定波长区域的信息的获取图像中的第一特定区域和第二特定区域的图像，第一特定区域的第一提取图像对应于第一入射角，第二特定区域的第二提取图像对应于不同于第一入射角的第二入射角；和

合成部分，合成由提取部分从在不同时间点获取的各获取图像提取的图像以产生合成图像，图像的合成包括拼接对应于第一入射角的第一提取图像以产生第一合成图像以及拼接对应于第二入射角的第二提取图像以产生第二合成图像。

2.如权利要求1所述的信息处理装置，其中

提取部分提取第一特定区域和第二特定区域的图像作为由成像装置捕获的捕获图像。

3.如权利要求2所述的信息处理装置，其中

所述合成部分执行：

合成由提取部分从在不同时间点捕获的各捕获图像提取的第一特定区域的多个图像以产生第一合成图像的处理，和

合成由提取部分从在不同时间点捕获的各捕获图像提取的第二特定区域的多个图像以产生第二合成图像的处理。

4.如权利要求1所述的信息处理装置，其中

第一入射角相对于透镜系统光轴小于或等于预定角度。

5.如权利要求4所述的信息处理装置，其中

第二入射角大于第一入射角。

6.如权利要求1所述的信息处理装置，其中

所述合成部分对通过第一提取图像和第二提取图像的拼接处理而获得的图像执行使用位置信息的处理。

7.如权利要求1所述的信息处理装置，其中

所述提取部分执行

从由第一成像装置在不同时间点捕获的第一捕获图像提取第一特定区域的图像的处理，和

从由第二成像装置在不同时间点捕获的第二捕获图像提取第二特定区域的图像的处理；以及

所述合成部分执行

合成从在不同时间点捕获的第一捕获图像提取的第一特定区域的图像以产生第一合成图像的处理，和

合成从在不同时间点捕获的第二捕获图像提取的第二特定区域的图像以产生第二合成图像的处理。

8.如权利要求7所述的信息处理装置，其中

所述提取部分从第一捕获图像并且从第二捕获图像提取成像装置的成像元件上的被摄体光的入射角相对于透镜系统光轴小于或等于预定角度的图像区域的图像作为第一特定区域和第二特定区域的图像。

9.如权利要求1所述的信息处理装置，其中

所述提取部分根据获取图像设置第一特定区域和第二特定区域。

10.如权利要求1所述的信息处理装置，其中

所述提取部分根据选择信息设置第一特定区域和第二特定区域。

11.如权利要求2所述的信息处理装置，其中

所述提取部分执行从由线传感器类型成像装置在不同时间点捕获的捕获图像提取第一特定区域和第二特定区域的图像的处理。

12.如权利要求1所述的信息处理装置，还包括

计算部分，所述计算部分被配置为使用第一合成图像计算第一植被特性，使用第二合成图像计算第二植被特性，第一植被特性不同于第二植被特性。

13.一种由信息处理装置执行的信息处理方法，包括：

提取包括关于特定波长区域的信息的获取图像中的第一特定区域和第二特定区域的图像，第一特定区域的第一提取图像对应于第一入射角，第二特定区域的第二提取图像对应于不同于第一入射角的第二入射角；和

合成从在不同时间点获取的各获取图像提取的图像以产生合成图像，图像的合成包括拼接对应于第一入射角的第一提取图像以产生第一合成图像以及拼接对应于第二入射角的第二提取图像以产生第二合成图像。

14.一种包括指令的计算机可读存储介质，所述指令在由计算机装置执行时，用于使所述计算机装置执行：

提取包括关于特定波长区域的信息的获取图像中的第一特定区域和第二特定区域的图像，第一特定区域的第一提取图像对应于第一入射角，第二特定区域的第二提取图像对应于不同于第一入射角的第二入射角；和

合成从在不同时间点获取的各获取图像提取的图像以产生合成图像，图像的合成包括拼接对应于第一入射角的第一提取图像以产生第一合成图像以及拼接对应于第二入射角的第二提取图像以产生第二合成图像。

Images