CN117999792A - 信息处理装置、方法及程序以及摄像装置 - Google Patents

Abstract

本发明提供一种信息处理装置、方法及程序以及摄像装置，该信息处理装置检测从摄像装置的图像传感器输出的图像中包含的串扰，该摄像装置通过光瞳分割拍摄特性不同的图像。本发明的信息处理装置(2)具备处理器，所述处理器处理从摄像装置(1)的图像传感器(30)输出的图像，所述摄像装置(1)通过光瞳分割拍摄特性不同的图像。处理器进行如下处理：获取第1图像，所述第1图像在第1摄影条件下由摄像装置(1)拍摄，并从图像传感器(30)输出；获取第2图像，所述第2图像在与第1摄影条件不同的第2摄影条件下由摄像装置(1)拍摄，并具有与从图像传感器(30)输出的图像中的第1图像相同的特性；根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰。

Description

信息处理装置、方法及程序以及摄像装置

技术领域

本发明涉及一种信息处理装置、方法及程序以及摄像装置，尤其涉及一种处理图像的技术，该图像从通过光瞳分割拍摄图像的摄像装置的图像传感器输出。

背景技术

以往，提出了一种摄像装置，其能够通过光瞳分割用1个图像传感器获取高品质的多光谱图像(专利文献1)。

专利文献1所述的摄像装置具备：图像传感器，具备多个像素块，该像素块将光谱透射率不同的n种(n≥2)的分光滤光片元件和透射偏振方位不同的m种(2≤m≤3)的偏振滤光片元件进行组合，由各像素接收q种(q＝n×m)的光；光学系统，具备所透射的光的波长带不同的k个(k≤q)光学区域且在各光学区域具备偏振滤光片部；及信号处理部，处理从图像传感器所得的各像素的信号值，生成光学系统的各光学区域的图像。信号处理部通过对从图像传感器的各像素块所得的q个像素的信号值(x1、x2、…、xq)进行规定的运算处理，计算与光学系统的各光学区域对应的k个像素的信号值(X1、X2、…、Xk)，生成各光学区域的图像。

规定的运算处理获得由各要素由aij表示的k行q列的矩阵构成的系数组，根据从图像传感器的各像素块所得的q个像素的信号值x1、x2、…、xq，通过下述[数式1]式，计算与光学系统的各光学区域对应的k个像素的信号值X1、X2、…、Xk。

[数式1]

由k行q列的矩阵表示的系数组为计算以入射到光学系统上的各光学区域的光由图像传感器的各像素块的各像素接收的比例为要素的矩阵的逆矩阵而获得的，如[数式1]式所示，通过运算k行q列的矩阵和从图像传感器的各像素块所得的q个像素的信号值(x1、x2、…、xq)，去除q个像素的信号值中包含的干扰成分。由此，降低与各光学区域对应的波长带的图像之间的串扰。

以往技术文献

专利文献

专利文献1：国际公开第2020/075523号

发明内容

发明要解决的技术课题

本发明的技术所涉及的一种实施方式提供一种信息处理装置、方法及程序以及摄像装置，该信息处理装置检测从摄像装置的图像传感器输出的图像中包含的串扰，该摄像装置通过光瞳分割拍摄特性不同的图像。

用于解决技术课题的手段

第1方式所涉及的发明为信息处理装置，其具备处理器，该处理器处理从摄像装置的图像传感器输出的图像，该摄像装置通过光瞳分割拍摄特性不同的图像，其中，处理器进行如下处理：获取第1图像，该第1图像在第1摄影条件下由摄像装置拍摄第1被摄体，并从图像传感器输出；获取第2图像，该第2图像在与第1摄影条件不同的第2摄影条件下由摄像装置拍摄第1被摄体，并具有与从图像传感器输出的图像中的第1图像相同的特性；及根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰。

在本发明的第2方式所涉及的信息处理装置中，优选第2摄影条件为在发生串扰的情况下对特征量赋予变化的摄影条件。

在本发明的第3方式所涉及的信息处理装置中，优选第2摄影条件为相对于第1摄影条件，聚焦位置、摄影倍率、对被摄体的照明条件及被摄体与摄像装置之间的相对的位置中的至少1个不同的摄影条件。

在本发明的第4方式所涉及的信息处理装置中，优选处理器进行如下处理：获取不同波长的多个第1图像，该第1图像在第1摄影条件下由摄像装置拍摄，并从图像传感器输出；获取不同波长的多个第2图像，该第2图像在第2摄影条件下由摄像装置拍摄，并从图像传感器输出；及根据多个第1图像与多个第2图像的相关，来检测图像中包含的串扰。

在本发明的第5方式所涉及的信息处理装置中，优选串扰为图像中包含的不同波长的图像成分。

在本发明的第6方式所涉及的信息处理装置中，优选相关为第1图像中包含的不同波长的图像成分的位置和/或强度与第2图像中包含的不同波长的图像成分的位置和/或强度的相对值。

在本发明的第7方式所涉及的信息处理装置中，优选第1图像与第2图像的特征量的相关为第1图像与第2图像的自相关系数的峰值位置或峰值的相关。

在本发明的第8方式所涉及的信息处理装置中，优选第2摄影条件为从图像传感器输出无串扰的参考图像作为第2图像的摄影条件，第1图像与第2图像的特征量的相关为第1图像与参考图像之间的互相关系数，且是使第1图像与参考图像相对偏移时获得的互相关系数。

在本发明的第9方式所涉及的信息处理装置中，优选第2摄影条件为从图像传感器输出无串扰的参考图像作为第2图像的摄影条件，第1图像与第2图像的特征量为第1图像与参考图像之间的特征点的匹配度。

在本发明的第10方式所涉及的信息处理装置中，优选第2摄影条件为从图像传感器输出无串扰的参考图像作为第2图像的摄影条件，第1图像与第2图像的特征量为将第1图像与参考图像分别分割成格子状的多个分割图像彼此的匹配度。

在本发明的第11方式所涉及的信息处理装置中，优选摄像装置具备摄影光学系统，该摄影光学系统具有特性分别不同的多个区域，输出参考图像的第2摄影条件为仅打开所述多个区域中的1个区域，遮挡其他区域的摄影条件。

在本发明的第12方式所涉及的信息处理装置中，优选摄像装置具备摄影光学系统，该摄影光学系统具有使分别不同的波长带的光透射的多个区域，输出参考图像的第2摄影条件为仅使分别不同的波长带的光中的1个波长带的光入射到摄影光学系统上的摄影条件。

在本发明的第13方式所涉及的信息处理装置中，优选处理器根据第1图像与第2图像之间的多个位置中的每个位置的特征量的相关，来检测多个位置中的每个位置的串扰。

在本发明的第14方式所涉及的信息处理装置中，优选处理器将表示多个位置中的每个位置的串扰的有无或串扰的强度的信息，与从图像传感器输出的图像重叠地显示于显示器。

在本发明的第15方式所涉及的信息处理装置中，优选处理器进行干扰去除处理，该干扰去除处理降低从图像传感器输出的图像之间的串扰，第1图像及第2图像分别为实施了干扰去除处理的图像。

第16方式所涉及的发明为摄像装置，其具备：摄影光学系统，在光瞳位置或光瞳位置附近配置有光学元件，该光学元件具有分别透射多个区域中的每个区域的波长带不同的波长选择元件；图像传感器，通过光瞳分割来接收分别透射多个波长选择元件的每个多个波长带的被摄体光；及第1方式至第15方式中任一项所述的信息处理装置。

第17方式所涉及的发明为摄像装置，其具备：多焦点的摄影光学系统，在多个区域中的每个区域具有分别不同的焦距；图像传感器，通过光瞳分割来接收分别透射摄影光学系统的多个区域的被摄体光；及第1方式至第15方式中任一项所述的信息处理装置。

在本发明的第18方式所涉及的摄像装置中，优选具备：多个第1偏振滤光片，与多个区域对应地配置，且偏振方向分别不同；及多个第2偏振滤光片，配置于图像传感器的各像素，且与多个第1偏振滤光片分别对应，多个第1偏振滤光片与多个第2偏振滤光片使透射多个区域的被摄体光按每个区域通过光瞳分割入射到图像传感器上。

第19方式所涉及的发明为信息处理方法，处理从摄像装置的图像传感器输出的图像，该摄像装置通过光瞳分割拍摄特性不同的图像，其中，信息处理方法包括：获取第1图像的步骤，该第1图像在第1摄影条件下由摄像装置拍摄第1被摄体，并从图像传感器输出；获取第2图像的步骤，该第2图像在与第1摄影条件不同的第2摄影条件下由摄像装置拍摄第1被摄体，并具有与从图像传感器输出的图像中的第1图像相同的特性；及根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰的步骤，由处理器执行各步骤的处理。

在本发明的第20方式所涉及的信息处理方法中，优选包括：进行降低从图像传感器输出的图像中包含的串扰的干扰去除处理的步骤，第1图像及第2图像为分别实施了干扰去除处理的图像。

第21方式所涉及的发明为信息处理程序，其使处理器执行第19方式或第20方式所述的信息处理方法中的各步骤的处理。

附图说明

图1是表示包含本发明所涉及的信息处理装置的摄像系统的系统结构的图。

图2是表示配置于图1所示的摄像装置的摄影光学系统的滤光片单元的立体图。

图3是图1所示的摄像装置的图像传感器的俯视图，且是表示配置于图像传感器的各像素的微起偏器的图。

图4是表示本发明所涉及的信息处理装置的硬件结构的实施方式的框图。

图5是表示无串扰图像和有串扰图像的图。

图6是表示在第1摄影条件下拍摄的第1图像与第1图像的自相关系数的图。

图7是表示在聚焦位置与第1摄影条件不同的第2摄影条件下拍摄的第2图像与第2图像的自相关系数的图。

图8是表示在发生多重像的情况下，变更对被摄体的照明条件的前后的多重像的变化的一例的图。

图9是表示在对被摄体的照明条件与第1摄影条件不同的第2摄影条件下拍摄的第2图像与第2图像的自相关系数的图。

图10是表示光瞳分割式多焦点相机的摄影光学系统的一例的图。

图11是表示由光瞳分割式多焦点相机拍摄的无串扰图像和发生串扰时的图像的图。

图12是多重影图像、多重映射图及在多重影图像上重叠多重映射图的示意图。

图13是表示本发明所涉及的信息处理方法的实施方式的流程图。

具体实施方式

以下，根据附图对本发明所涉及的信息处理装置、方法及程序以及摄像装置的优选实施方式进行说明。

[摄像系统的概要]

图1是表示包含本发明所涉及的信息处理装置的摄像系统的系统结构的图。

图1所示的摄像系统由摄像装置1、信息处理装置2构成。

图1所示的摄像装置1为拍摄波长带不同的多个图像(多光谱图像)的多光谱相机，具备摄影光学系统10、图像传感器30、信号处理部(未图示)。

本例的摄影光学系统10具有前组透镜10A和后组透镜10B，在前组透镜10A与后组透镜10B之间的光瞳位置或光瞳位置附近配置有光学元件(滤光片单元)20，该光学元件(滤光片单元)20具有分别透射的波长带不同的波长选择元件。

图2是表示配置于图1所示的摄影光学系统的滤光片单元的立体图。

如图2所示，滤光片单元20具有使不同透射波长带光的开口区域(在图2所示例中，等间隔的3个圆形的开口区域)，并具有：使第1波长带(λ1)的光透射的波长选择元件(第1带通滤光片BPF1)、使第2波长带(λ2)的光透射的波长选择元件(第2带通滤光片BPF2)、使第3波长带(λ3)的光透射的波长选择元件(第3带通滤光片BPF3)。

并且，在滤光片单元20的开口区域配置有偏振方向不同的多个(在本例中为3个)偏振滤光片(第1偏振滤光片)PL1、PL2、PL3。偏振滤光片PL1在图2上吸收非偏振光的光的左右方向成分，并使上下方向成分透射。以下，将透射偏振滤光片PL1的直线偏振光的方向(偏振方向)设为0°。

若在图2上以顺时针方向为正，则透射偏振滤光片PL2的直线偏振光的偏振方向为45°，透射偏振滤光片PL3的直线偏振光的偏振方向为90°。即，3个偏振滤光片PL1、PL2、PL3分别配置成不同的偏振方向。另外，偏振滤光片PL1、PL2、PL3的偏振方向并不限于0°、45°、90°，例如，也可以为0°、60°、120°。

返回到图2，从被摄体发出的光通过透射摄影光学系统10的3个开口区域，分别作为波长带不同且偏振方向不同的被摄体光入射到图像传感器30上。

图3是图1所示的图像传感器的俯视图，且是表示配置于图像传感器的各像素的微起偏器的图。

如图3所示，在图像传感器30的各像素中配置有偏振方向不同的4个微起偏器(第2偏振滤光片)p1、p2、p3、p4。微起偏器p1在图3上，使入射光的上下方向成分透射，被配置有微起偏器p1的像素接收。另外，若将微起偏器p1的偏振方向设为0°，则微起偏器p2、p3、p4的偏振方向为45°、90°、135°。

若将相互邻接的4个微起偏器p1～p4设为基本排列图案F，则在图像传感器30的各像素中，基本排列图案F的微起偏器p1～p4在图3上沿上下方向及左右方向重复排列。

分别配置于滤光片单元20的3个开口区域的偏振滤光片PL1、PL2、PL3(图2)和配置于图像传感器30的各像素上的微起偏器p1、p2、p3、p4是将分别透射摄影光学系统10的3个开口区域的波长带不同的被摄体光进行光瞳分割，并分别入射到与图像传感器30的偏振方向对应的像素上的光瞳分割部。即，在本例中，采用了利用光的偏振分离波长带不同的被摄体光的“偏振方式”的光瞳分割部。

然而，在这种光瞳分割方式的摄像装置1中，无法完全地分离波长带不同的被摄体光，由于在第1波长带(λ1)的图像中加上或者减去第2波长带(λ2)的图像成分及第3波长带(λ3)的图像成分的所谓“串扰”或“干扰”的现象，第1波长带(λ1)的图像变成多重像。同样地，第2波长带(λ2)的图像及第3波长带(λ2)的图像也变成多重像。

因此，通过预先测量串扰的发生量求出校正量，从而实施从图像传感器30输出的图像去除多重像的串扰校正(干扰去除处理)。

即，摄像装置1中未图示的信号处理部如以下所示，进行从图像传感器30输出的图像去除多重像的干扰去除处理。

若将从配置有从图像传感器30输出的微起偏器p1、p2、p3的偏振方向为0°、45°、90°的像素(偏振像素)输出的信号值分别设为S1、S2、S3，将表示干扰的比例的校正量(干扰去除参数)设为C11～C33，摄像装置1的信号处理部则通过以下[数式2]式计算干扰去除后的信号值S(λ1)、S(λ2)、S(λ3)。

[数式2]

S(λ1)＝C11*S1+C12*S2+C13*S3

S(λ2)＝C21*S1+C22*S2+C23*S3

S(λ3)＝C31*S1+C32*S2+C33*S3

干扰去除参数(C11～C33)在相机个体、聚焦位置等各种条件下发生变化，但是能够预先测量并存储。

关于多光谱图像的所有像素，通过进行上述[数式2]式的运算，能够生成降低了从摄像装置1的图像传感器30输出的图像之间的串扰(干扰成分)的图像。

然而，若实际使用摄像装置1，会从求出干扰去除参数(C11～C33)时的摄影条件(相机或透镜、被摄体的状态)发生变化，有时会发生校正不足或过校正。

由此，发生在从摄像装置1输出的图像中再次出现本应通过干扰去除处理去除的多重像的问题。

可以考虑将干扰去除后的多光谱图像显示于显示器，并用肉眼确认多光谱图像中是否包含串扰导致的多重像，但用肉眼难以识别微小的多重像，并且也难以判断是被摄体的边缘部分还是串扰导致的多重像。

图1所示的信息处理装置2处理从摄像装置1的图像传感器30输出的图像，并检测图像中包含的串扰(串扰的有无、串扰的大小等)。

[信息处理装置]

信息处理装置2例如如图1所示，能够由PC(personal computer：个人计算机)构成，并经由有线或无线通信或者记录介质(存储卡)获取从摄像装置1的图像传感器30输出的图像。

信息处理装置2在本例中获取与第1波长带(λ1)对应的图像(λ1)、与第2波长带(λ2)对应的图像(λ2)及与第3波长带(λ3)对应的图像(λ3)这3个图像。并且，信息处理装置2如后所述，通过变更摄影条件，至少获取对被摄体(第1被摄体)在第1摄影条件下拍摄的3个第1图像(图像(λ1)、图像(λ2)、图像(λ3))和对同一被摄体(第1被摄体)在第2摄影条件下拍摄的3个第2图像(图像(λ1)、图像(λ2)、图像(λ3))。在此，第2摄影条件为在发生串扰的情况下，相对于第1摄影条件赋予第1图像和第2图像的特征量变化的摄影条件。

图4是表示本发明所涉及的信息处理装置的硬件结构的实施方式的框图。

如图4所示，由PC构成的信息处理装置2具备处理器100、存储器110、显示器120、输入输出接口130及操作部140等。

处理器100由CPU(Central Processing Unit：中央处理器)等构成，总括控制信息处理装置2的各部，并且作为包括检测串扰的各种信息处理部发挥作用。

存储器110包括闪速存储器、ROM(Read-only Memory：只读存储器)及RAM(RandomAccess Memory：随机存取存储器)及硬盘装置等。闪速存储器、ROM或硬盘装置为存储操作系统、本发明所涉及的信息处理程序等的非易失性存储器。并且，闪速存储器或硬盘装置存储从摄像装置1获取的图像或串扰的检测结果等。

RAM作为基于处理器100的信息处理的工作区域而发挥作用，并且临时存储存储于闪速存储器等中的信息处理程序等。另外，处理器100可以内置有存储器110的一部分(RAM)。

显示器120除了显示信息处理装置2的操作用画面以外，还显示从摄像装置1获取的图像或串扰的检测结果等。

输入输出接口130包括能够与外部设备连接的连接部及能够与网络连接的通信部等。作为能够与外部设备连接的连接部，包括USB(Universal Serial Bus：通用串行总线)、HDMI(High-Definition Multimedia Interface：高清晰度多媒体接口)(HDMI为注册商标)及安装存储卡的卡槽等。

操作部140包括鼠标、触控板等指点设备、键盘等，是接受用户的各种操作输入的部分。

[本发明的原理]

图5是表示无串扰图像和有串扰图像的图。

图5的5-1中，图示了无串扰的3个图像，即，仅第1波长带(λ1)的图像、仅第2波长带(λ2)的图像及仅第3波长带(λ3)的图像。

另一方面，图5的5-2中，图示了有串扰的3个图像。在图5的5-2中，将在图像(λ1)中映入有图像(λ2)及图像(λ3)的图像作为图像(λ1’)，将在图像(λ2)中映入有图像(λ1)及图像(λ3)的图像作为图像(λ2’)，将在图像(λ3)中映入有图像(λ1)及图像(λ2)的图像作为图像(λ3’)。

另外，如图5的5-2所示，有串扰的3个图像中的串扰的大小不均，例如，在图像(λ1’)中，图像(λ2)的映入大，在图像(λ2’)中，图像(λ3)的映入大，在图像(λ3’)中，图像(λ1)及图像(λ3)的映入小。

如图5的图像(λ1’)所示，出现多重像的理由为，如上所述，图像(λ2)及图像(λ3)映入到图像(λ1)中，并且是由于λ1、λ2、λ3的光线通过的3个开口区域的光瞳位置不同(参考图1)，从而存在视差。

并且，由于串扰发生的多重像，若摄影条件(例如，聚焦位置、摄影倍率(视场角)、照明条件、被摄体和摄像装置之间的相对位置)改变，其多重像的位置、强度也改变。通常(光学产生像散的图像)而言，即使摄影条件改变，也不会导致多重像的间隔改变或强度比改变。

在作为摄影条件从聚焦位置A改变为聚焦位置B的情况下，以在聚焦位置A出现多重像为前提，若改变为聚焦位置B，则在聚焦位置A出现的多重像移动。

因此，本发明着眼于摄影条件的变化导致的、由于串扰发生的多重像的特有变化来检测串扰。

[信息处理装置的第1实施方式]

接着，对本发明所涉及的信息处理装置的第1实施方式进行说明。

图6是表示在第1摄影条件下拍摄的第1图像与第1图像的自相关系数的图。

图6的6-1所示的第1图像为有串扰的图像，第1图像中由于串扰出现重影。另外，为了简要说明，重影设为在图6上，在左右方向不同的位置上映入有同一被摄体的不同波长的图像的图像。

图6的6-2为表示第1图像的自相关系数的图。

图6的6-2所示的第1图像的自相关系数为在图6上将第1图像彼此在左右方向移位而获得的，其具有2个峰值P0、P1。

峰值P0为第1图像彼此之间的位移量为0时的峰值，作为自相关系数取最大值。峰值P1为在第1图像彼此之间的位移量相当于第1图像中的重影的间隔的位移量时发生的峰值，具有比峰值P0小的峰值。另外，因串扰导致的映入光量越大，峰值P1的峰值取越大的值。

图7是表示在聚焦位置与第1摄影条件不同的第2摄影条件下拍摄的第2图像与第2图像的自相关系数的图。

图7的7-1所示的第2图像为有串扰的图像，第2图像中由于串扰出现重影。

图7的7-1所示的第2图像为具有与图6的6-1所示的第1图像相同特性的图像。例如，在6-1所示的第1图像为有串扰的图像(λ1’)的情况下，第2图像也是同一波长带的、有串扰的图像(λ1’)，两者为聚焦位置不同的图像。这里的特性是指，用于检测串扰的图像的特性，作为一例，是通过透射特定光瞳区域而被赋予的光学特性。在这里，波长带相当于光学特性。另外，通过光瞳分割拍摄特性不同的图像的摄像装置是指，像多光谱相机那样通过位于光瞳位置的多个区域的波长带不同的多个光学滤光器进行拍摄的装置，是拍摄波长带不同的(特性不同的)图像的装置。

并且，如图7的7-1所示，第2图像的重影的间隔比图6的6-1所示的第1图像的重影的间隔宽。这是因为聚焦位置改变而导致多重像移动。另外，在本例中，第2图像的重影的间隔比第1图像的重影的间隔宽，但也有比第1图像的重影的间隔窄的情况。

图7的7-2为表示第2图像的自相关系数的图。

图7的7-2所示的第2图像的自相关系数为在图7上将第2图像彼此在左右方向移位而得到的，具有2个峰值P0、P2。

峰值P0为第2图像彼此之间的位移量为0时的峰值，作为自相关系数取最大值。峰值P2为在第2图像彼此之间的位移量相当于第2图像中的重影的间隔的位移量时发生的峰值，具有比峰值P0小的峰值。

在图7的7-2中，峰值P2相对于用虚线表示的第1图像的峰值P1，如用箭头所示，在图7上向左侧移动。

如此，在聚焦位置不同的第1图像与第2图像中，能够根据各自的相关的相对值的改变(在本例中，第1图像的自相关系数的峰值P1与第2图像的自相关系数的峰值P2的峰值位置的改变)来判断第1图像与第2图像中包含串扰。

图4所示的处理器100经由输入输出接口130获取通过操作部140的操作输入成为信息处理的对象的聚焦位置不同的第1图像与第2图像。

接着，处理器100计算所获取的第1图像的自相关系数和第2图像的自相关系数。在图6及图7所示的例中，在计算自相关系数时，将图像在左右方向移位，但是在二维的规定范围(有可能发生多重像的范围)内移位图像，计算自相关系数。并且，在图5的5-2所示的有串扰的图像的情况下，自相关系数的峰值发生包含位移量为0时的峰值的3个峰值。这是因为，串扰导致2个图像带有视差地混合在一起。

处理器100根据第1图像与第2图像的特征量的相关，来检测图像(第1图像、第2图像)中包含的串扰。即，处理器100在第1实施方式中，在以下情况下可判断为有串扰的图像，即，如图6的6-2所示，在第1图像的自相关系数中，在位移量为0以外的位移量的位置存在峰值P1，同样地如图7的7-2所示，在第1图像的自相关系数中，在位移量为0以外的位移量的位置存在峰值P2，且峰值P1和峰值P2的峰值位置随着第1图像和第2图像的聚焦位置的移动而移动。另外，峰值P1和峰值P2，优选峰值或形状近似，仅峰值位置不同。

处理器100在第1图像及第2图像的自相关系数中，在不存在如上所述的峰值P1、峰值P2的情况下，判断为图像(第1图像、第2图像)无串扰。

使用于检测串扰的聚焦位置不同的第1图像与第2图像为相同特性(在本例中，同一波长带)的图像，但能够对可同时获取的、各个多个波长带的第1图像与第2图像的每个组分别检测串扰，在这种情况下，检测串扰的精确度进而提高。

并且，不限于2个聚焦位置的第1图像及第2图像，例如，也可以使用3个聚焦位置的第1图像、第2图像及第3图像，根据从各图像计算的自相关系数进行串扰的检测。

此外，在根据第1图像及第2图像分别计算自相关系数的情况下，不限于计算整个图像的自相关系数的情况，也可以将图像分割成多个区域，对所分割的每个分割区域计算自相关系数。根据该方式，在有串扰的图像的情况下，可以知道该图像内的哪个区域有串扰(多重像)。

[信息处理装置的第2实施方式]

接着，对本发明所涉及的信息处理装置的第2实施方式进行说明。

摄像装置1获取在第1照明条件下拍摄的第1图像(多光谱图像)和在与第1照明条件不同的第2照明条件下拍摄的第2图像(多光谱图像)。

第2实施方式的信息处理装置获取在第1照明条件及第2照明条件下拍摄的第1图像和第2图像，根据这些第1图像和第2图像进行串扰的检测。

图8是表示在发生多重像的情况下，变更对被摄体的照明条件的前后的多重像的变化的一例的图。

图8所示的对被摄体的照明条件变更是通过使照明光的某个波长的强度变化来变更照明条件，具体而言，是减弱第1波长λ1的照明光与第2波长λ2的照明光中的第2波长λ2的照明光的强度。

在拍摄第1波长λ1及第2波长λ2的多光谱图像时，在某个照明条件下拍摄的第1图像及改变照明条件而拍摄的第2图像中分别有串扰的情况下，如图8所示，变成第1波长λ1的图像和第2波长λ2的图像的重影。

然后，在改变照明条件拍摄第2图像时，若减弱第2波长λ2的照明光的强度，则第2图像的重影中的第2波长λ2的图像相对于第1图像的重影的第2波长λ2的图像变暗(淡)。

在信息处理装置的第2实施方式中，通过多重像(重影)的浓度的变化来检测串扰，多重像(重影)的浓度通过改变照明条件而改变。

图9是表示在对被摄体的照明条件与第1摄影条件不同的第2摄影条件下拍摄的第2图像与第2图像的自相关系数的图。

拍摄第2图像时的照明条件相对于拍摄第1图像时的照明条件，例如，如图8所示，通过减弱第1波长λ1的照明光和第2波长λ2的照明光中的第2波长λ2的照明光的强度，来改变照明条件。

图9的9-1所示的第2图像为有串扰的图像，第2图像中由于串扰出现重影。

图9的9-1所示的第2图像为具有与图6的6-1所示的第1图像相同特性的图像，例如，在波长λ1的图像中映入有波长λ2的图像的有串扰的图像(λ1’)的情况下，第2图像也是同一波长带的、有串扰的图像(λ1’)，两者为照明条件不同的图像。

并且，如图9的9-1所示，映入在波长λ1的图像(左侧的图像)的波长λ2的图像(右侧的图像)与图6的6-1所示的映入在波长λ1的图像(左侧的图像)的波长λ2的图像(右侧的图像)相比，浓度变淡。这是因为在拍摄第2图像时，波长λ2的照明光的强度变弱。

图9的9-2是表示第2图像的自相关系数的图。

图9的9-2所示的第2图像的自相关系数通过在图9上将第2图像彼此在左右方向移位而获得，具有2个峰值P0、P3。

峰值P0为第2图像彼此之间的位移量为0时的峰值，作为自相关系数取最大值。峰值P3为在第2图像彼此之间的位移量相当于第2图像中的重影的间隔的位移量时发生的峰值，具有比峰值P0小的峰值。

在图9的9-2中，峰值P3相对于用虚线表示的第1图像的峰值P1，如用箭头所示，峰值变小。

如上所示，在照明条件不同的第1图像与第2图像中，能够根据各自的自相关系数的变化(在本例中，第1图像的自相关系数的峰值P1与第2图像的自相关系数的峰值P3的峰值变化)，判断第1图像与第2图像中含有串扰。

图4所示的处理器100经由输入输出接口130获取通过操作部140的操作输入成为信息处理的对象的照明条件不同的第1图像与第2图像。

接着，处理器100计算所获取的第1图像的自相关系数和第2图像的自相关系数。处理器100在第2实施方式中，如图6的6-2所示，在第1图像的自相关系数上在位移量为0以外的位移量的位置上存在峰值P1，同样地如图9的9-2所示，在第1图像的自相关系数上在位移量为0以外的位移量的位置上存在峰值P3，且峰值P1和峰值P3的峰值在随着照明条件的变化而变化的情况下，判定为有串扰的图像。另外，峰值P1和峰值P3存在于同一位移量的位置。并且，在本例中，由于减弱了与映入在波长λ1的图像中的波长λ2的图像对应的波长λ2的照明光的强度，因此峰值P3变得比峰值P1小，但在加强了波长λ2的照明光的强度的情况下，峰值P3变得比峰值P1大。

作为改变某一波长的强度的方式，可以考虑以下方式。

(1)在拍摄第2图像时，仅打开滤光片单元20的多个开口区域(在图2所示例中，3个开口区域)中的1个开口区域，遮挡其他开口区域。在这种情况下，仅剩下设置于1个开口区域的带通滤光片的透射波长带的光。

(2)在拍摄第2图像时，将仅使一个波长透射的带通滤光片安装于摄影光学系统10的前面。

(3)在拍摄第2图像时，使用仅一个波长的单波长光源。

(4)在拍摄第2图像时，添加与拍摄第1图像时的光源不同的光源(单波长光源)。

并且，作为改变照明条件的其他方式，可以考虑改变照明光的照射图案的方式。例如，使用仅照射画面中央的点光源。

此外，改变拍摄第1图像与第2图像时的摄影条件，除了改变上述的聚焦位置、改变照明条件以外，还包括改变物体(被摄体)和摄像装置的相对位置(被摄体的映现位置)。

改变被摄体的映现位置具有以下情况，即，通过移动相机来改变被摄体的映现位置的情况，以及通过移动被摄体来改变被摄体的映现位置的情况。

此外，本发明根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰，但第1图像与第2图像的特征量的相关，除了图6的6-2、图7的7-2及图9的9-2所示的第1图像、第2图像的各自的自相关以外，还可以求出互相关。

在根据互相关来检测图像中包含的串扰的情况下，进行通常的多光谱图像(第1图像)的摄像、无多重像的参考图像(第2图像)的摄像，来计算第1图像与第2图像的互相关系数。

无多重像的参考图像(第2图像)在通过摄像装置1拍摄时，能够通过以下方法获取：(1)仅打开滤光片单元20的多个开口区域中的1个开口区域进行拍摄，(2)将带通滤光片安装在摄影光学系统10的前面进行拍摄，或(3)使用单波长光源进行拍摄。

处理器100能够根据第1图像与第2图像之间的互相关系数来判断第1图像与第2图像之间的相似度(即，第1图像是否为多重像)。另外，在计算第1图像与第2图像之间的互相关系数的情况下，不限于计算图像整体的互相关系数的情况，也可以将图像分割成多个区域，对所分割的每个区域计算互相关系数。根据该方式，在有串扰的图像的情况下，可以知道该图像内的哪个区域有串扰(多重像)。

并且，第1图像与第2图像的特征量的相关不限于通过自相关系数、互相关系数的计算而获取的情况，例如，也可以通过特征量匹配、傅里叶变换等来获取。

在特征量匹配中，与互相关系数同样地获取通常的多光谱图像(第1图像)及无多重像的参考图像(第2图像)，在提取第2图像的边缘等的特征量(特征点)的基础上，能够根据该第2图像的特征点与第1图像的特征点的匹配度来判断第1图像中是否有串扰(多重像)。并且，也可以通过将图像分割成格子状的多个分割图像彼此之间的匹配度或者在同一图像内的类似物体的检测来检测串扰。

并且，也可以在对第1图像与第2图像进行傅里叶变换，分别变换为频域的信息的基础上，根据频域中的第1图像与第2图像的一致度来进行串扰的检测。特性为反映存在于第1图像与第2图像之间的串扰量的量，作为一例，相对于位移量的强度的值。

[摄像装置的其他实施方式]

图1所示的摄像装置1为多光谱相机，但通过光瞳分割拍摄特性分别不同的图像的摄像装置不限于多光谱相机，可以考虑各种相机。

图10是表示光瞳分割式多焦点相机的摄影光学系统的一例的图。

图10所示的摄影光学系统12具有3个透镜12A、12B、12C和偏振滤光片单元22。

3个透镜12A、12B、12C中的透镜12B及12C在图10上仅从光轴起的上半部分是透镜，摄影光学系统12的上半部分的开口区域由透镜12A的上半部分和透镜12B、12C构成长焦光学系统，摄影光学系统12的下半部分的开口区域构成仅由透镜12A的下半部分构成的广角光学系统。

即，摄影光学系统12在图10上被上下光瞳分割(2分割)的、焦距不同的多焦点(2焦点)透镜。

偏振滤光片单元22配置于透镜12A和透镜12B之间，且具备偏振方向彼此正交的、0°和90°的偏振滤光片PL1、PL3。

具有该摄影光学系统12的光瞳分割式多焦点相机的图像传感器未图示，但只要具备配置于图3所示的图像传感器30的像素上的4个微起偏器(第2偏振滤光片)p1、p2、p3、p4中的、偏振方向为0°和90°的微起偏器p1、p3即可。

偏振滤光片单元22的偏振滤光片PL1、PL3和图像传感器的微起偏器p1、p3作为光瞳分割部发挥功能，透射偏振滤光片PL1的直线偏振光(基于长焦光学系统的长焦图像)入射到配设有图像传感器的微起偏器p1的像素上，透射偏振滤光片PL3的直线偏振光(基于广角光学系统的光学像)入射到配设有图像传感器的微起偏器p3的像素上。

由此，光瞳分割式多焦点相机能够通过光瞳分割拍摄特性不同的图像(长焦图像和广角图像)。这里的特性是指，用于检测串扰的图像的特性，作为一例，是通过透射特定光瞳区域而被赋予的光学特性。在这里，由长焦光学系统赋予的视场角和由广角光学系统赋予的视场角相当于光学特性。

在拍摄长焦图像和广角图像的2个图像的光瞳分割式多焦点相机中，通过偏振方向相互正交的偏振滤光片PL1、PL3和微起偏器p1、p3，能够降低长焦图像和广角图像的图像之间的串扰，因此，能够省略去除长焦图像和广角图像的重影的串扰校正(干扰去除处理)。但是，这种情况也会因偏振滤光片PL1、PL3与微起偏器p1、p3之间的微小的角度偏差等而发生串扰，因此优选进行干扰去除处理。

图11是表示由光瞳分割式多焦点相机拍摄的无串扰图像和发生串扰时的图像的图。

图11的11-1及11-2分别表示无串扰长焦图像及广角图像，图11的11-3表示在长焦图像上映入有广角图像的发生串扰时的图像(长焦图像)。

图1及图4所示的信息处理装置2也可以同样适用于使用光瞳分割式多焦点相机的摄像装置来代替多光谱相机的摄像装置1的情况。

即，信息处理装置2的处理器100通过变更摄影条件，获取至少在第1摄影条件下拍摄的2个第1图像(长焦图像和广角图像)、在第2摄影条件下拍摄的2个第2图像(长焦图像和广角图像)。

处理器100能够根据焦距一样的第1图像(长焦图像)与第2图像(长焦图像)的特征量的相关，来检测长焦图像(第1图像、第2图像)中包含的串扰，同样地能够根据焦距一样的第1图像(广角图像)与第2图像(广角图像)的特征量的相关，来检测广角图像(第1图像、第2图像)中包含的串扰。

另外，串扰的检测能够与多光谱相机的情况同样地进行，因此省略其详细说明。

图12是多重影图像、多重映射图及在多重影图像上重叠多重映射图的图像的示意图。

图12的12-1是表示多重影图像的一例的图。

处理器100获取与图12的12-1所示的多重影图像对应的、摄影条件不同的第1图像和第2图像，如上所述，根据第1图像与第2图像的自相关系数，来检测由于串扰而映入的光量(多重像)的强度即多重像强度。

多重像强度例如如图6所示，能够通过与通过串扰而映入的图像建立关联而检测的自相关系数的峰值P1的峰值的大小来求出。

然后，处理器100如图12的12-2所示，对将图像分割成多个(例如，在图12的例中为9分割)的每个分割区域求出多重像强度和发生该峰值P1的分割区域内的位置，生成多重像强度映射图。在本例的多重映射图中，用方框表示分割区域内的多重像的位置，用方框的浓度表示多重像强度。

处理器100如图12-3所示，生成在图12的12-1所示的多重影图像上重叠图12-2所示的多重映射图的图像。处理器100能够将以此方式生成的多重映射图、或在多重影图像重叠多重映射图的图像显示于显示器120。即，处理器100能够将表示图像内的多个位置中的每个位置的串扰的有无或串扰的强度的信息与多重影图像重叠地显示于显示器120。

由此可知，在对将画面分割成9个的每个分割区域设定[数式2]式中的干扰去除参数(C11～C33)的情况下，应该修改哪个分割区域的干扰去除参数(C11～C33)。

[信息处理方法的实施方式]

图13是表示本发明所涉及的信息处理方法的实施方式的流程图。

图4所示的处理器100按照信息处理程序执行图13的流程图所示的各步骤的处理。

在图13中，处理器100经由输入输出接口130获取通过操作部140的操作输入成为信息处理的对象的在第1摄影条件下拍摄的第1图像与在第2摄影条件下拍摄的第2图像(步骤S10、步骤S20)。

处理器100根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰(步骤S30、步骤S40)。

在本例中，处理器100计算第1图像的自相关系数(第1自相关系数)和第2图像的自相关系数(第2自相关系数)(步骤S30)。

接着，处理器100比较第1自相关系数与第2自相关系数，根据第1自相关系数与第2自相关系数的峰值位置或峰值的不同，来检测图像(第1图像、第2图像)中包含的串扰(步骤S40)。

另外，在第1图像与第2图像为分别由多光谱相机拍摄的摄影条件不同的多光谱图像的情况下，比较同一波长带的第1图像的第1自相关系数与第2图像的第2自相关系数，来检测其波长带的图像中的串扰。

因此，在3个波长带中的每个波长带的多光谱图像的情况下，能够对各波长带的每个图像检测串扰。

[其他]

本实施方式的信息处理装置2是与摄像装置1分离的独立装置，但本发明也可以是摄像装置1与信息处理装置2被一体化的装置，即，具备信息处理装置2的摄像装置1。

并且，本例的滤光片单元20具有等间隔的3个圆形的开口区域作为使分别不同的透射波长带的光透射的开口区域，但开口区域的形状或个数并不限于此，例如，也可以将圆形的光瞳区域设为中心角为90°的4个扇形的开口区域或中心角为120°的3个扇形的开口区域。

并且，在本实施方式中，例如，如信息处理装置2的处理器100那样，执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU(CentralProcessing Unit/中央处理器)、FPGA(Field Programmable Gate Array/现场可编程门阵列)等的制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit/专用集成电路)等的具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA或者CPU与FPGA的组合)构成。并且，也可以将多个处理部由1个处理器来构成。作为由1个处理器构成多个处理部的例子，第一，如以客户端或服务器等计算机为代表，存在由1个以上的CPU和软件的组合构成1个处理器，并且该处理器作为多个处理部发挥作用的方式。第二，有如以片上系统(System On Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由1个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用1个以上上述各种处理器而构成。

而且，更具体而言，这些各种处理器的硬件结构为半导体元件等组合了电路元件的电路(circuitry)。

并且，本发明包括信息处理程序及记录有该信息处理程序的非易失性存储介质，该信息处理程序通过安装于计算机中，而使计算机作为本发明所涉及的信息处理装置发挥作用。

而且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，能够进行各种变形自不必说。

符号说明

1-摄像装置，2-信息处理装置，10-摄影光学系统，10A-前组透镜，10B-后组透镜，12-摄影光学系统，12A、12B、12C-透镜，20-滤光片单元，22-偏振滤光片单元，30-图像传感器，100-处理器，110-存储器，120-显示器，130-输入输出接口，140-操作部，F-基本排列图案，p1、p2、p3、p4-微起偏器，P0、P1、P2、P3-峰值，PL1、PL2、PL3-偏振滤光片，S10、S20、S30、S40-步骤。

Claims (22)

1.一种信息处理装置，其具备处理器，所述处理器处理从摄像装置的图像传感器输出的图像，所述摄像装置通过光瞳分割拍摄特性不同的图像，其中，

所述处理器进行如下处理：

获取第1图像，所述第1图像在第1摄影条件下由所述摄像装置拍摄第1被摄体，并从所述图像传感器输出；

获取第2图像，所述第2图像在与所述第1摄影条件不同的第2摄影条件下由所述摄像装置拍摄所述第1被摄体，并具有与从所述图像传感器输出的图像中的所述第1图像相同的特性；及

根据所述第1图像与所述第2图像的特征量的相关，来检测所述图像中包含的串扰。

2.根据权利要求1所述的信息处理装置，其中，

所述第2摄影条件为在发生所述串扰的情况下对所述特征量赋予变化的摄影条件。

3.根据权利要求1或2所述的信息处理装置，其中，

所述第2摄影条件为相对于所述第1摄影条件，聚焦位置、摄影倍率、对被摄体的照明条件及被摄体与所述摄像装置之间的相对的位置中的至少1个不同的摄影条件。

4.根据权利要求1至3中任一项所述的信息处理装置，其中，

所述处理器进行如下处理：

获取不同波长的多个所述第1图像，所述第1图像在所述第1摄影条件下由所述摄像装置拍摄，并从所述图像传感器输出；

获取所述不同波长的多个所述第2图像，所述第2图像在所述第2摄影条件下由所述摄像装置拍摄，并从所述图像传感器输出；及

根据所述多个第1图像与所述多个第2图像的相关，来检测所述图像中包含的串扰。

5.根据权利要求4所述的信息处理装置，其中，

所述串扰为所述图像中包含的所述不同波长的图像成分。

6.根据权利要求4或5所述的信息处理装置，其中，

所述相关为，

所述第1图像中包含的所述不同波长的图像成分的位置和/或强度与所述第2图像中包含的所述不同波长的图像成分的位置和/或强度的相对值。

7.根据权利要求1至6中任一项所述的信息处理装置，其中，

所述第1图像与所述第2图像的特征量的相关为所述第1图像与所述第2图像的自相关系数的峰值位置或峰值的相关。

8.根据权利要求1至6中任一项所述的信息处理装置，其中，

所述第2摄影条件为从所述图像传感器输出无所述串扰的参考图像作为所述第2图像的摄影条件，

所述第1图像与所述第2图像的特征量的相关为所述第1图像与所述参考图像之间的互相关系数，且是使所述第1图像与所述参考图像相对偏移时获得的互相关系数。

9.根据权利要求1至6中任一项所述的信息处理装置，其中，

所述第2摄影条件为从所述图像传感器输出无所述串扰的参考图像作为所述第2图像的摄影条件，

所述第1图像与所述第2图像的特征量为所述第1图像与所述参考图像之间的特征点的匹配度。

10.根据权利要求1至6中任一项所述的信息处理装置，其中，

所述第2摄影条件为从所述图像传感器输出无所述串扰的参考图像作为所述第2图像的摄影条件，

所述第1图像与所述第2图像的特征量为将所述第1图像与所述参考图像分别分割成格子状的多个分割图像彼此的匹配度。

11.根据权利要求8至10中任一项所述的信息处理装置，其中，

所述摄像装置具备摄影光学系统，所述摄影光学系统具有特性分别不同的多个区域，

输出所述参考图像的所述第2摄影条件为仅打开所述多个区域中的1个区域，遮挡其他区域的摄影条件。

12.根据权利要求8至10中任一项所述的信息处理装置，其中，

所述摄像装置具备摄影光学系统，所述摄影光学系统具有使分别不同的波长带的光透射的多个区域，

输出所述参考图像的所述第2摄影条件为仅使所述分别不同的波长带的光中的1个波长带的光入射到所述摄影光学系统上的摄影条件。

13.根据权利要求1至9中任一项所述的信息处理装置，其中，

所述处理器根据所述第1图像与所述第2图像之间的多个位置中的每个位置的特征量的相关，来检测所述多个位置中的每个位置的所述串扰。

14.根据权利要求13所述的信息处理装置，其中，

所述处理器将表示所述多个位置中的每个位置的所述串扰的有无或所述串扰的强度的信息，与从所述图像传感器输出的图像重叠地显示于显示器。

15.根据权利要求1至14中任一项所述的信息处理装置，其中，

所述处理器进行干扰去除处理，所述干扰去除处理降低从所述图像传感器输出的图像之间的所述串扰，

所述第1图像及所述第2图像分别为实施了所述干扰去除处理的图像。

16.一种摄像装置，其具备：

摄影光学系统，在光瞳位置或光瞳位置附近配置有光学元件，该光学元件具有分别透射多个区域中的每个区域的波长带不同的波长选择元件；

所述图像传感器，通过光瞳分割来接收分别透射所述多个波长选择元件的每个所述多个波长带的被摄体光；及

权利要求1至15中任一项所述的信息处理装置。

17.一种摄像装置，其具备：

多焦点的摄影光学系统，在多个区域中的每个区域具有分别不同的焦距；

所述图像传感器，通过光瞳分割来接收分别透射所述摄影光学系统的所述多个区域的被摄体光；及

权利要求1至15中任一项所述的信息处理装置。

18.根据权利要求16或17所述的摄像装置，其具备：

多个第1偏振滤光片，与所述多个区域对应地配置，且偏振方向分别不同；及

多个第2偏振滤光片，配置于所述图像传感器的各像素，且与所述多个第1偏振滤光片分别对应，

所述多个第1偏振滤光片与所述多个第2偏振滤光片使透射所述多个区域的被摄体光按每个区域通过光瞳分割入射到所述图像传感器上。

19.一种信息处理方法，其处理从摄像装置的图像传感器输出的图像，该摄像装置通过光瞳分割拍摄特性不同的图像，其中，信息处理方法包括：

获取第1图像的步骤，该第1图像在第1摄影条件下由所述摄像装置拍摄第1被摄体，并从所述图像传感器输出；

获取第2图像的步骤，该第2图像在与所述第1摄影条件不同的第2摄影条件下由所述摄像装置拍摄所述第1被摄体，并具有与从所述图像传感器输出的图像中的所述第1图像相同的特性；及

根据所述第1图像与所述第2图像的特征量的相关，来检测所述图像中包含的串扰的步骤，

由处理器执行各步骤的处理。

20.根据权利要求19所述的信息处理方法，其包括：

进行降低从所述图像传感器输出的图像中包含的所述串扰的干扰去除处理的步骤，

所述第1图像及所述第2图像分别为实施了所述干扰去除处理的图像。

21.一种信息处理程序，其使所述处理器执行权利要求19或20所述的信息处理方法中的各步骤的处理。

22.一种记录介质，其为非暂时性且计算机可读取的记录介质，记录有权利要求21所述的程序。