CN109923855B

CN109923855B - 图像处理装置、图像处理方法和程序

Info

Publication number: CN109923855B
Application number: CN201780069382.5A
Authority: CN
Inventors: 平泽康孝; 近藤雄飞; 小柳津秀纪; 海津俊; 栗田哲平; 庄沱; 陆颖; 三原基
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-11-15
Filing date: 2017-10-26
Publication date: 2022-08-19
Anticipated expiration: 2037-10-26
Also published as: EP3544283A1; EP3544283B1; WO2018092540A1; JPWO2018092540A1; EP3544283A4; JP6988819B2; US10812735B2; CN109923855A; US20190273856A1

Abstract

提供使得可以从在各个方向上拍摄的图像中去除反射分量光的图像处理装置和方法。本发明包括：图像输入单元，其获得由非偏振图像或具有不同偏振方向的偏振图像组成的至少三种图像；角度输入单元，其将反射角输出至强度透射率和强度反射率计算单元，反射角是由所获得的图像的拍摄方向和与反射面的法线方向相对应的表面方向形成的角度；计算单元，其通过应用反射角来计算S波和P波的各个强度透射率和强度反射率；以及反射分量分离单元，其通过应用S波和P波的各个强度透射率和强度反射率来从由图像输入单元获得的图像中去除反射光分量。这些处理步骤使得可以从具有各种反射角的拍摄图像中去除反射光分量。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开内容涉及图像处理装置、图像处理方法和程序。更具体地，例如，本公开内容涉及用于通过从反射表面(诸如水表面或玻璃)的内侧上的对象的捕获图像中去除反射光分量来生成清晰的对象图像的图像处理装置、图像处理方法和程序。

背景技术

在对象存在于通过部分光并反射部分光的反射表面(诸如玻璃或水表面)的内侧上的情况下，当利用相机捕获反射表面的内侧上的对象的图像时，来自反射表面的反射分量被显示在捕获图像中，并且不能捕获经由反射表面的对象或通过玻璃的对象或水中的对象的清晰的图像。

作为解决这样的问题的技术，存在一种技术，通过该技术，在相机的成像元件与对象之间布置偏振滤光器(偏振板)，并且通过偏振滤光器去除反射分量，使得成像元件仅接收不包括任何反射分量的光分量，并且捕获清晰的对象图像。

例如，专利文献1(日本专利申请特开第2016-126410号)公开了一种配置，其使用能够获取两种图像的相机，这两种图像是经由偏振滤光器捕获的偏振滤光器应用图像和通过常规图像捕获处理捕获的亮度图像，并且通过使用反射光已经减少的偏振滤光器应用图像来获取车辆的前挡风玻璃后面的驾驶员的更清晰的图像。

同时，专利文献2(日本专利申请特开第2007-086720号)公开了一种配置，其通过在多个不同的偏振方向上获取关于图像捕获目标的亮度信息，将正弦波拟合到每个偏振方向上的亮度，并且选择正弦波的最小值来获取如下图像，在该图像中，来自反射表面(例如存在于对象前方的玻璃表面)的反射光已经减少。

引用列表

专利文献

专利文献1：日本专利申请特开第2016-126410号

专利文献2：日本专利申请特开第2007-086720号

发明内容

本发明要解决的问题

如上所述，存在一种通过使用偏振滤光器减少从存在于主体前方的诸如玻璃的反射表面反射到成像元件的图像的输入来捕获对象的清晰的图像的方法。

然而，根据上述专利文献1中公开的技术，偏振滤光器是固定的，并且仅在特定条件下或仅在反射光分量的输入被偏振滤光器阻挡的特定图像捕获角度下能够利用偏振滤光器实现期望的反射光去除效果。

具体地，在利用道路上安装的相机捕获车辆的图像的情况下，如果车辆相对于相机呈对角线行进，则偏振滤光器的阻挡方向和反射光的S波方向彼此不一致，从而不能实现足够的反射光去除效果。

此外，上述专利文献1和专利文献2中公开的配置中的每一个配置是仅在满足特定条件的情况下才有效的配置，或者在与垂直于反射表面的方向相对应的平面方向与相机的视线之间的角度与特定角度(布儒斯特角)一致或接近特定角度(布儒斯特角)的情况下才有效的配置。在不满足该特定条件的情况下，不能实现反射光去除效果。

在通过使用如上所述的偏振滤光器来捕获从水表面、玻璃表面等反射的光已经被去除的图像的情况下，图像需要在如下特定条件下被捕获：与垂直于反射表面的方向相对应的平面方向与相机的视线之间的角度与特定角度(布儒斯特角)一致或接近特定角度(布儒斯特角)。

然而，通过该技术，必须从特定方向捕获图像捕获目标，而不能从各个方向自由地捕获图像。

例如，本公开内容是鉴于上述问题而作出的，并且旨在提供不仅能够从由上述布儒斯特角限制的特定方向捕获的图像而且还能够从各个方向捕获的图像中去除反射光分量的图像处理装置、图像处理方法和程序。问题的解决方案

本公开内容的第一方面在于一种图像处理装置，该图像处理装置包括：

图像输入单元，其获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种图像；

角度输入单元，其获取反射角，反射角是由图像输入单元获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；以及

反射分量分离单元，其基于由图像输入单元获取的至少三种图像和从角度输入单元获取的反射角从由图像输入单元获取的图像中去除反射光分量。

此外，本公开内容的第二方面在于一种在图像处理装置中实现的图像处理方法，该图像处理方法包括：

图像输入步骤，图像输入单元获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种图像；

角度输入步骤，角度输入单元将反射角输出至反射分量分离单元，该反射角是在图像输入步骤中获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；以及

反射分量分离步骤，反射分量分离单元基于由图像输入单元获取的至少三种图像和从角度输入单元获取的反射角从由图像输入单元获取的图像中去除反射光分量。

此外，本公开内容的第三方面在于一种使图像处理装置执行图像处理的程序，

图像处理包括：

图像输入步骤，使图像输入单元获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种图像；

角度输入步骤，使角度输入单元将反射角输出至反射分量分离单元，该反射角是在图像输入步骤中获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；以及

反射分量分离步骤，使反射分量分离单元基于由图像输入单元获取的至少三种图像和从角度输入单元获取的反射角从由图像输入单元获取的图像中去除反射光分量。

注意，例如，根据本公开内容的程序是可以以计算机可读格式从存储介质或通信介质提供给可以执行各种程序代码的图像处理装置或计算机系统的程序。由于以计算机可读格式提供这样的程序，因此在信息处理装置或计算机系统中执行根据该程序的处理。

通过下面描述的本发明的实施方式和参照附图的详细描述，本公开内容的其他目的、特征和优点将变得明显。注意，在本说明书中，系统是多个装置的逻辑集合，并且不一定意味着具有并入到一个外壳中的不同配置的装置。

发明效果

根据本公开内容的实施方式的配置实施了能够从各个方向捕获的图像中去除反射分量光的图像处理装置和方法。

具体地，例如，图像处理装置包括：图像输入单元，其获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种类型的图像；角度输入单元，其将反射角输出至强度透射率和强度反射率计算单元，该反射角是所获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；计算单元，其使用反射角计算S波和P波的各自的强度透射率和各自的强度反射率；以及反射分量分离单元，其使用S波和P波的各自的强度透射率和各自的强度反射率从由图像输入单元获取的图像中去除反射光分量。这些处理使得能够从具有各种反射角的捕获的图像中去除反射光分量。

该配置实施了一种能够从各个方向捕获的图像中去除反射分量光的图像处理装置和方法。

应当注意，在本说明书中描述的有益效果仅仅是示例，并且本技术的有益效果不限于这些示例，并且可以包括另外的效果。

附图说明

图1是用于说明发生来自反射表面的反射光的影响的图像捕获配置的示例的图。

图2是用于说明当反射表面反射反射分量时构成入射光的S波和P波的反射率的曲线图。

图3是示出作为偏振滤光器的设定角度的偏振板角度与穿过偏振滤光器的透射光的亮度之间的关系的曲线图。

图4是用于说明光如何进入具有不同折射率的界面并被该界面反射的图。

图5是用于说明通过穿过反射表面来从第二区域行进到第一区域中的透射光(漫射光)的偏振的图。

图6是示出反射光和透射光的S波和P波的各自的值与入射角之间的关系的曲线图。

图7是用于说明在从输入光的相机的视点观察到反射光和透射光两者时发生的偏振的图。

图8是示出本公开内容的图像处理装置的实施方式的配置的图。

图9是用于说明获取偏振图像的图像输入单元的示例的图。

图10是用于说明获取偏振图像的图像输入单元的示例的图。

图11是用于说明获取偏振图像的图像输入单元的示例的图。

图12是用于说明获取偏振图像的图像输入单元的示例的图。

图13是示出本公开内容的图像处理装置的实施方式的配置的图。

图14是用于说明配备有执行反射角计算的陀螺仪的相机的示例的图。

图15是用于说明作为图像处理装置的相机捕获人眼的图像并且去除虹膜上的反射的示例的图。

图16是用于说明使用深度图来计算对象上的每个点处的平面方向的处理的图。

图17是示出本公开内容的图像处理装置的实施方式的配置的图。

图18是示出本公开内容的图像处理装置的实施方式的配置的图。

图19示出了用于说明由本公开内容的图像处理装置执行的处理序列的流程图。

图20是示出本公开内容的图像处理装置的实施方式的配置的图。

图21是用于说明方位角和天顶角的图。

图22是用于说明方位角和天顶角的图。

图23是用于说明方位角和天顶角的图。

图24是用于说明方位角计算处理的示例的图。

图25是用于说明方位角计算处理的示例的曲线图。

图26是用于说明天顶角计算处理的示例的图。

图27是用于说明天顶角计算处理的示例的图。

图28是用于说明天顶角计算处理的示例的图。

图29是用于说明方位角、天顶角和相机角度之间的对应关系的示例的曲线图。

图30是用于说明天顶角计算处理的示例的图。

图31是用于说明方位角、天顶角和反射表面倾斜角之间的对应关系的示例的曲线图。

图32是示出本公开内容的图像处理装置的实施方式的配置的图。

图33是示出本公开内容的图像处理装置的实施方式的配置的图。

图34是用于说明图像处理装置的示例硬件配置的图。

图35是示意性地示出车辆控制系统的示例配置的框图。

图36是示出外部信息检测器和成像单元的安装位置的示例的说明图。

具体实施方式

以下是参照附图对本公开内容的图像处理装置、图像处理方法和程序的详细描述。注意，将按以下顺序进行说明。

1.发生来自反射表面的反射光的影响的图像捕获配置的示例，以及术语的定义

2.通过使用偏振滤光器来去除由反射表面反射的光的处理的原理和问题

3.通过取决于反射角的图像处理的反射光去除处理

4.用于生成从图像捕获方向的图像中去除反射光分量的图像的图像处理装置和图像处理方法

5.其他实施方式

5-1.不包括折射率输入单元的示例配置

5-2.使用陀螺仪传感器的角度输入单元的示例

5-3.取决于对象来执行角度输入处理的角度输入单元的示例

5-4.包括深度传感器的角度输入单元的示例

5-5.包括反射去除结果呈现单元的实施方式

5-6.用于基于生成的图像的像素的亮度来估计反射角的实施方式

5-7.用于通过使用从安装在相机上的传感器获取的相机姿势信息来计算天顶角并且将天顶角用作入射角(＝反射角)的实施方式

6.图像处理装置的示例硬件配置

7.本公开内容的图像处理装置的示例应用

8.本公开内容的配置的概述

[1.发生来自反射表面的反射光的影响的图像捕获配置的示例，以及术语的定义]

首先，参照图1，描述发生来自反射表面的反射光的影响的图像捕获配置的示例，以及术语的定义。

图1是用于说明生成来自反射表面的反射光的图像捕获配置的示例的图。

在图1中，相机10捕获在诸如水表面或玻璃表面的反射表面51的背侧上的作为对象20的鱼的图像。

在图1中，诸如水表面或玻璃表面的反射表面51的上侧的区域被示出为存在相机10的相机侧区域，以及反射表面51的下侧的区域被示出为存在对象(＝鱼)20的对象侧区域。

在相机侧区域的光源30下执行图像捕获处理。光源30例如是太阳、室内灯等。

反射表面51是诸如水表面或玻璃表面的表面。反射表面51透射来自光源30的部分光并且反射部分光。注意，反射表面51例如由透明材料或抗反射材料形成。

在由相机10利用这样的设置来捕获图像的情况下，下面示出的两种光(a)和(b)进入相机10，相机10的图像捕获方向被定向成朝向反射表面51。

(a)与对象20的对象图像相对应的透射光(漫射光)Lt

(b)与反射表面51的反射表面图像相对应的反射光Lr

(a)与对象20的对象图像相对应的透射光(漫射光)Lt是与对象20的图像相对应的光，对象20的图像由已经穿过诸如水表面或玻璃的反射表面51并且已经从反射表面51的内侧上的对象20(＝鱼)被反射的光源30的光(入射光Lx)形成。

(b)与反射表面51的反射表面图像相对应的反射光Lr是与诸如在反射表面51(诸如水表面或玻璃)上反射的光源的外部的景观图像相对应的光。

这两个类型的光进入相机10。

因此，相机10捕获这两种光的叠加图像。

因此，由相机10捕获的图像是来自诸如水表面或玻璃的反射表面51的反射光图像叠加在作为要被捕获的原始目标的对象20(＝鱼)的图像上的图像。在来自反射光的反射光图像的分量的量较大的情况下，对象20(＝鱼)的图像模糊。

在图1中，与对象20(＝鱼)的图像相对应的光被显示为从诸如水表面或玻璃的反射表面51的内侧(附图中的下侧)朝向外侧(附图中的上侧＝相机侧)延伸的实线。

在图1中，透射光(或漫射光)Lt被显示为输入至相机10的光。

另一方面，与来自诸如水表面或玻璃的反射表面51的反射光图像相对应的光是由虚线指示为输入至图1中的相机10的光的反射光Lr(＝反射分量)。

注意，与反射光Lr(＝反射分量)相对应的光束被反射表面51反射之前的状态被称为入射光Lx，而与被反射表面51反射的反射分量相对应的光是反射光Lr。

此外，由反射光Lr(＝反射分量)进入反射表面51并且被反射的路径形成的平面被称为“入射平面52”。

附图中示出的入射光Lx、反射光Lr和透射光Lt各自具有两个光分量：P波(或P偏振光)和S波(或S偏振光)。

光是电磁波，并且由与行进方向正交振荡的电场和磁场形成。

其电场平行于入射平面振荡的光分量、或具有平行于入射平面51的偏振方向的光被称为P波(P偏振光)。

同时，其电场垂直于入射平面振荡的光分量、或者具有垂直于入射平面51的偏振方向的光被称为S波(S偏振光)。

与反射表面51正交的线被称为法线55，以及法线55的朝向反射光Lr侧的方向被称为法线方向或平面方向。法线方向(平面方向)是图1中垂直向上方向的箭头的方向。

由法线55和入射光Lx形成的角被称为入射角。

由法线55和反射光Lr形成的角被称为反射角。如图1中所示，反射角和入射角是相同的角度α。

如上所述，由相机10捕获的图像是在诸如水表面或玻璃的反射表面51上反射的反射光图像叠加在作为要被捕获的原始目标的对象20(＝鱼)的对象图像上的图像。因此，如果反射光分量的量较大，则不能获得对象20(＝鱼)的清晰的图像。

注意，可以在等同于与反射表面垂直的方向的平面方向与相机的视线之间的角度被设置为特定角度(布儒斯特角)或者被设置为接近特定角度的角度的特定条件下，通过使用偏振滤光器捕获图像来捕获反射光被去除的图像。

在下面的描述中，描述了使用偏振滤光器的图像捕获处理及其问题。

[2.通过使用偏振滤光器来去除由反射表面反射的光的处理的原理和问题]

接下来，参照图2和其他附图，描述通过使用偏振滤光器来去除由反射表面反射的光的处理的原理和问题。

图2是示出当反射表面反射反射分量时构成入射光Lx的S波和P波的反射率的曲线图。

横坐标轴是入射光Lx的入射角α(＝反射角)，而纵坐标轴是反射率(反射光强度/入射光强度)。

Rs表示S波的反射率，而Rp表示P波的反射率。

Rs和Rp也可以被认为是反射光Lr中包含的S波和P波的量。

明显的是，图2中的曲线图的纵坐标轴上示出的反射率取决于横坐标轴上示出的入射角(α)而变化。注意，反射率还取决于反射表面51的折射率而变化。图2示出了图1中示出的反射表面51具有特定折射率的示例情况。

如从图2中示出的曲线图可以看出，当注意到入射角(＝反射角)α在70度附近时，P波的反射率几乎为零。

如上所述P波的反射率几乎为0的入射角被称为布儒斯特角。

换言之，当入射角(＝反射角)α被设置为布儒斯特角时，反射光不包含任何P波分量，而仅包含S波。

因此，使相机10相对于反射表面51的方向形成布儒斯特角以消除反射光的P波，并且偏振滤光器还被附接至相机10，并且以阻挡反射光的S波的方向上旋转。以这种方式，反射光的S波也可以用偏振滤光器来去除。

换言之，当利用这样的设置捕获图像时，可以去除由反射表面51反射的光的P波和S波、或者所有反射分量，并且因此，可以捕获仅由透射光分量形成的清晰的图像(透射分量图像)。

在图1中示出的示例中，可以捕获对象20(鱼)的清晰的图像。

注意，使用布儒斯特角和偏振滤光器的这样的反射分量去除技术是公知的常规技术，并且也在上述专利文献1(日本专利申请特开第2016-126410号)中被公开。

注意，根据该方法，必须调节附接至相机10的偏振滤光器，以阻挡反射光的S波。然而，例如，还可以通过使用通过旋转偏振滤光器捕获多个图像的方法获取三个或更多个偏振方向的图像并且将这些图像组合来生成反射分量被去除的图像。

如该曲线图中所示，亮度I随偏振板角度而变化，并且取决于偏振板角度的亮度变化形成正弦波。

其中，通过偏振滤光器(偏振板)的透射光的观察亮度由I_pol表示，

观察亮度I_pol由下面的(表达式1)表示。

[数学公式1]

注意，在上面的(表达式1)中，各个参数具有以下含义。

I_pol：经由偏振滤光器(偏振板)的观察亮度

θ_pol：旋转的偏振滤光器(偏振板)的角度

观察光的相位

Imax、Imin：cos函数的振幅的上限和下限

在图3中示出的曲线图中，亮度为Imin的角度是阻挡S波的偏振滤光器的角度，即布儒斯特角。

存在在上述(表达式1)中包括的以下三种未知数字。

观察光的相位

Imax、Imin：cos函数的振幅的上限和下限

为了计算这三个未知参数，旋转偏振滤光器，以获取三个或更多个角度的亮度或(I_pol)。

通过将正弦波拟合到这三个亮度，可以获取三个未知数，即正弦模型参数Imin、Imax和

这等同于针对上面的(表达式1)设置三个联立等式并计算三个未知数的处理。

换言之，可以通过旋转附接至相机10的偏振滤光器并且获取在三个或更多个不同的角度下捕获的图像来计算上述(表达式1)的未知参数Imin、Imax和Φ。

此处，亮度Imin等同于通过阻挡S波而获得的亮度。

如上所述，例如，通过通过调节附接至相机10的偏振滤光器以便阻挡S波来一次捕获图像的方法、或者通过通过旋转偏振滤光器来捕获多个图像的方法，获取三个或更多个偏振方向的图像，并且执行使用这些图像的未知参数计算，使得可以生成反射分量已经被去除的图像。

然而，只有在在反射角被设置为接近布儒斯特角的角度来捕获图像的情况下才可以使用这些处理。

换言之，反射分量已经通过上述处理被去除的图像是利用在特定方向上取向的相机捕获的特定方向的图像。

如从图2可以看出的，在反射角与布儒斯特角相差很大角度的情况下，反射光包含S波分量和P波分量两者。因此，无论如何旋转偏振滤光器，都不能完全去除反射光。

如上所述，在要捕获使所有反射光分量被去除的清晰的对象图像的情况下，相机的图像捕获方向由布儒斯特角限定到一个方向。

换言之，需要在以下特定条件下捕获图像：在等同于与反射表面垂直的方向的平面方向与相机的视线之间的角度被设置为特定角度(布儒斯特角)，或者被设置为接近特定角度的角度。

因此，根据该技术，必须从特定方向捕获图像捕获目标的图像，而不能从各个方向自由地捕获图像。

根据本公开内容的图像处理装置解决了该问题，并且执行以下处理：通过不仅从由布儒斯特角限定的特定方向捕获的图像中而且从来自各个方向捕获的图像中去除或减少反射光分量来获取清晰的对象图像(透射光图像，或透射光分量图像)。

在下面的描述中，详细说明该处理。

[3.通过取决于反射角的图像处理的反射光去除处理]

以下是通过执行取决于反射角的图像处理来去除从各个方向捕获的图像中的反射分量的处理的描述。

图4是示出光如何进入具有不同折射率的界面并被该界面反射的图。

在图4中，反射表面70上方的区域是第一区域，而反射表面70下方的区域是第二区域。

上面参照图1描述的入射平面52等同于图4的平面(纸平面)。

图4中示出的入射光的P波是其电场平行于入射平面(图4的平面)振荡的光分量，而图4中示出的入射光的S波是其电场垂直于入射平面振荡的光分量。

由图4中示出的反射表面70划分的第一区域和第二区域是具有不同折射率的区域。

第一区域的折射率由n₁表示，以及

第二区域的折射率由n₂表示。此外，

入射光的入射角(＝入射光反射角)由α表示，以及

漫射光的入射角由β表示。

已知的是，在这样的情况下，根据斯涅尔定律，每个值满足下述内容(表达式2)。

[数学公式2]

n₁ sinα＝n₂ sinβ...(表达式2)

此外，根据菲涅耳公式，指示镜面反射中的S波和P波的行为的振幅反射率可以被表示为下面示出的内容(表达式3)。

[数学公式3]

S波：

P波：

…(表达式3)

在上面的(表达式3)中，

r_s表示反射分量的S波振幅反射率，以及

r_p表示反射分量的P波振幅反射率。

除此之外，指示与反射光的光强度相对应的反射率的强度反射率可以由根据上述(表达式3)计算的振幅反射率的平方来表示。

此处，第二区域相对于第一区域的相对折射率n被设置为

n＝n₂/n₁，

以及根据斯涅尔定律，上面(表达式3)被转换成表示反射分量中的各个波的光强度。换言之，获得以下值：

反射分量中包含的S波的光强度Rs，以及

反射分量中包含的P波的光强度Rp。

这些值的计算公式可以由下面示出的(表达式4)来表示。

[数学公式4]

S波：

P波：

…(表达式4)

接下来，描述通过穿过反射表面70从图4中示出的第二区域行进到第一区域中的透射光(漫射光)的偏振。

透射光是用于在第二区域中形成对象图像的光。该光等同于形成图1中示出的示例中的对象20(鱼)的图像的光。

图5是用于说明通过穿过反射表面70从第二区域行进到第一区域中的透射光(漫射光)的偏振的图。

各个区域的区域设置和折射率类似于图4中示出的各个区域的区域设置和折射率。

第一区域的折射率由n₁表示，以及

第二区域的折射率由n₂表示。

此外，从第二区域发出的入射光的入射角(＝入射光反射角)由β表示，以及

通过穿过反射表面70行进到第一区域中的透射光(漫射光)的折射角度由α表示。

在该阶段，各个参数n₁、n₂、α和β满足上述斯涅尔定律(表达式2)。

此外，根据菲涅耳公式，指示透射光(漫射光)中的S波和P波的行为的振幅透射率可以被表示为下面示出的内容(表达式5)。

[数学公式5]

S波：

P波：

…(表达式5)

在上面的(表达式5)中，

ts表示透射光(漫射光)的S波振幅透射率，以及

tp表示透射光(漫射光)的P波振幅透射率。

此外，指示与透射光的光强度相对应的透射率的强度透射率Ts和Tp可以由下面示出的内容(表达式6)表示。

[数学公式6]

S波：

P波：

…(表达式6)

此处，第二区域相对于第一区域的相对折射率n被设置为n＝n₂/n₁，

并且根据斯涅尔定律，上述(表达式5)被转换成表示透射分量中的各个波的光强度。换言之，获得以下值：

透射光中包含的S波的光强度Ts，以及

透射光中包含的P波的光强度Tp。

这些值的计算公式可以由下面示出的内容(表达式7)表示。

[数学公式7]

S波：

P波：

…(表达式7)

当针对每个入射角绘制反射光和透射光的S波和P波的值时，获得图6中示出的曲线图。图6示出了以下两个曲线图。

(A)入射角与反射光的反射率之间的对应关系数据

(B)入射角与透射光的透射率之间的对应关系数据

注意，图6中示出的曲线图是在第一区域与第二区域之间的相对折射率(n＝n₂/n₁)为1.6的情况下获得的示例。

应当理解，在图6中示出的两个曲线图中的每一个曲线图中，S波与P波之间相对于入射角的强度变化的方式不同。

换言之，这种行为差异是反射光中的非偏振光被偏振的因素。偏振光的这种差异无法被人眼或常规图像传感器检测到。为了观察光的偏振状态，使用偏振器或偏振滤光器。以下是在偏振滤光器放置在相机前方时观察的光的强度的描述。

首先，由具有不同折射率的两个区域之间的边界处的边界表面(反射表面)反射的反射光的强度、穿过边界表面(反射表面)的透射光的强度、以及反射之前和透射之前的入射光的强度如下所示被定义。

这些光强度是：

I^r，表示在反射光的反射之前的入射光的光强度，以及

I^t，表示在透射光的透射之前的入射光的光强度。

在该阶段，反射光和透射光中的S波和P波的强度是通过将S波和P波的强度中的每一个强度的一半乘以上述强度反射率和强度透射率而获得的值。因此，这些值可以由下面示出的内容(表达式8)表示。

[数学公式8]

图7示出了在从输入光的相机的视点观察反射光和透射光两者时发生的偏振。

图7是从相机侧观察的入射在相机上的光的分析图，如图7(参考图)中所示。

相机位于图7的平面的前侧，以及包括透射光和反射光两者的观察光从图7的平面的后侧输入至相机。观察光沿垂直于相机的入射平面行进。

图7中示出的入射平面的线指示在垂直于图7的平面的方向上扩展的平面，并且光沿入射平面从图7的后侧朝向前侧(相机侧)行进。

观察光(即进入相机的光)包含透射光和反射光两者。

在图7中，在由透射光和反射光形成的观察光中包含的P波和S波的强度由实线箭头指示。

具有这些强度的波是图7中示出的P波81和S波82。

在偏振滤光器放置在相机前方的情况下透射/偏振方向被假设为由图7中的双线指示的透射/偏振方向85。

注意，透射/偏振方向85相对于入射平面的倾斜角由τ表示。

已经穿过偏振滤光器并由相机观察到的P波和S波的强度是图7中的虚线指示的强度。

这些强度是图7中示出的滤光器透射光的P波分量86和滤光器透射光的S波分量87。

图7中示出的滤光器透射光的P波分量86等同于与入射平面平行的P波81的矢量的偏振滤光器的透射/偏振方向85上的分量。

同时，图7中示出的滤光器透射光的S波分量87等同于与入射平面垂直的S波82的矢量的偏振滤光器的透射/偏振方向85上的分量。

基于这种关系，穿过偏振滤光器并被观察到的反射光的强度I^r _pol可以由下面示出的内容(表达式9)表示。

[数学公式9]

同样地，穿过偏振滤光器并被观察到的透射光的强度I^t _pol可以由下面示出的内容(表达式10)表示。

[数学公式10]

此外，由于由相机观察到的光的强度是透射光和反射光的总和，因此包含透射光和反射光的相机观察光的强度I_pol可以由下面示出的内容(表达式11)表示。

[数学公式11]

此处，描述相机、偏振滤光器的透射/偏振方向与入射平面的方向之间的关系。

在由相机获取的图像平面的水平方向是X轴而竖直方向是Y轴的情况下，可以容易地获取Y轴与偏振滤光器的透射/偏振方向之间的相对角度，但不容易获取入射平面的方向。

换言之，参照图7描述的“入射平面”与“偏振滤光器的透射/偏振方向”之间的角度τ是未知的。

鉴于此，在相机获取的图像的竖直方向“Y轴”与偏振滤光器的透射/偏振方向之间的相对角度由θ表示而Y轴与入射平面的方向之间的相对未知角度由Φ表示的情况下，上面的(表达式11)可以被重写为下面示出的(表达式12)。

[数学公式12]

在反射角和相对折射率已知的情况下，

如上所述，可以根据上面示出的(表达式4)和(表达式7)计算：

指示与反射光的光强度相对应的反射率的强度反射率Rs和Rp，以及

指示与透射光的光强度相对应的透射率的强度透射率Ts和Tp。

同时，相机获取的图像的竖直方向“Y轴”与偏振滤光器的透射/偏振方向之间的相对角度θ是根据附接至相机的偏振滤光器的设定角度而确定的角度，以及可以基于偏振滤光器的设定角度来计算。

因此，上面的(表达式12)可以被视为具有以下三个未知数的三个变量的函数：

I^r：在反射光的反射之前的入射光的光强度，

I^t：在透射光的透射之前的入射光的光强度，以及

Φ：相机获取的图像的竖直方向“Y轴”与入射平面的方向之间的相对角度。

为了从包括三个未知数的表达式导出三个未知数，应当获得包括三种等式的等式组。

为此，通过涉及附接至相机的偏振滤光器的旋转等的偏振方向控制，在三个不同的设置角度θ下捕获图像。换言之，通过设置相机获取的图像的竖直方向“Y轴”与偏振滤光器的透射/偏振方向之间的至少三个不同的相对角度θ来执行图像捕获处理，并且获取上面的(表达式12)中的I_pol的值，即相机的观察光强度I_pol的值。

通过该处理，可以获取包括三种等式的等式组，并且可以通过求解该等式组来计算上面的(表达式12)中的三个未知数。也就是说，可以计算以下未知数：

I^r：在反射光的反射之前的入射光的光强度，

I^t：在透射光的透射之前的入射光的光强度，以及

此处，在透射光的透射之前的入射光的光强度由I^t表示，而I^t等同于相机捕获的图像中包含的透射光分量。因此，生成I^t的值被设置为像素值的图像，使得可以生成仅由透射光形成的图像，或者通过从包含反射光和透射光的观察图像中去除反射光分量而形成的、并且仅包含透射光的图像。

注意

根据上面的包括相对折射率n＝n₂/n₁和反射角α的(表达式4)和(表达式7)计算：

指示与透射光的光强度相对应的透射率的强度透射率Ts和Tp。

优选地，根据图像捕获环境获取相对折射率n和反射角α的相应值。

可替选地，由于许多物质相对于空气的相对折射率n为1.5至1.6，因此可以利用被设置为n＝1.5至n＝1.6的相对折射率n执行计算。

例如，作为空气的折射率n₁与诸如水或玻璃的物质的折射率n₂之间的比率的相对折射率n＝n₂/n₁的值为1.5至1.6。在要捕获水或玻璃中的对象的图像的情况下，即使利用被设置在1.5至1.6的范围内的相对折射率n执行计算，也不会发生明显的误差。

例如，在反射表面水平的情况下，可以从诸如检测相机的图像捕获角度的陀螺仪的传感器获取反射角α。

下面描述图像处理装置和图像处理方法的具体示例。

[4.用于生成从图像捕获方向的图像中去除反射光分量的图像的图像处理装置和图像处理方法]

现在参照图8和其他附图，描述用于生成从图像捕获方向的图像中去除反射光分量的图像的图像处理装置和图像处理方法。

图8中示出的图像处理装置100包括图像输入单元101、角度输入单元102、折射率输入单元103、强度透射率/强度反射率计算单元104和反射分量分离单元105。

例如，图像处理装置100输入在图1中示出的环境中捕获的图像、或者由包括反射光和透射光的观察光形成的图像，并且生成从输入图像中去除反射光分量的仅由透射光分量形成的透射光分量图像110。

图像输入单元101输入多个方向上的不同偏振图像。

具体地，例如，输入通过旋转被设置在相机组上的偏振滤光器而捕获的三个或更多个不同的偏振图像。

可替选地，可以输入对于其逐像素地使用堆叠有不同偏振滤光器的成像元件的一个捕获图像。将稍后描述该成像元件的配置。

在通过旋转被设置在相机上的偏振滤光器而捕获的三个或更多个不同的偏振图像被输入的情况下，执行下面描述的处理。

图像输入单元101输入多个偏振方向的不同偏振图像，并且将输入图像输入至反射分量分离单元105。

反射分量分离单元105基于由强度透射率/强度反射率计算单元104计算的强度透射率和强度反射率将反射分量与所获取的图像分离。然后，反射分量分离单元105生成并输出仅由透射光分量形成的透射光分量图像110。

强度透射率/强度反射率计算单元104基于已经从角度输入单元102输入的对象的反射角α和已经从折射率输入单元103输入的各个捕获图像(场景)中的相对折射率n＝n₂/n₁来计算S波和P波的各自的强度透射率Ts和Tp以及各自的强度反射率Rs和Rp。

注意，强度透射率/强度反射率计算单元104不一定是独立于反射分量分离单元105的部件，而可以是反射分量分离单元105中的一个部件。

在这样的配置中，在反射分量分离单元105中的强度透射率/强度反射率计算单元104输入来自角度输入单元102的反射角α和来自折射率输入单元103的相对折射率n＝n₂/n₁，并且计算S波和P波的各自的强度透射率Ts和Tp以及各自的强度反射率Rs和Rp。此外，同一反射分量分离单元105基于计算结果将反射分量与从图像输入单元101获取的图像分离，并且生成并输出仅由透射光分量形成的透射光分量图像110。

在下面的描述中，详细说明各个部件。

图像输入单元101获取多个不同方向的偏振图像。多个方向的偏振图像意指：当在偏振滤光器放置在相机前方的情况下通过在不同方向上旋转偏振滤光器来捕获多个图像时，所获得的多个图像。

可以考虑各种手段作为获取多个偏振图像的方法。

现在参照图9描述用于获取多个偏振图像的方法的示例。

例如，如图9中所示，提供三个或更多个相机，诸如相机a 120、相机b 130和相机c140。此外，在各个相机a 120至c 140前方布置不同方向的偏振滤光器121a、131a和141a，并且捕获图像，使得各个相机a 120至c 140的成像元件122a至142c捕获多个不同方向的偏振图像。

在这种情况下，例如，相机a 120的偏振滤光器a 121的设定角度(对应于透射/偏振方向)被设置为0度，相机b 130的偏振滤光器b 131的设定角度被设置为60度，并且相机c140的偏振滤光器c 141的设定角度被设置为120度。然后，同时捕获图像。通过该图像捕获处理，可以捕获三个不同偏振方向的偏振图像。

注意，偏振滤光器的上述设定角度是示例，并且可以使用角度的任何组合，只要所有三个角度不同即可。此外，可以使用四个或更多个相机。

使用图10中示出的相机150的方法也可以被认为是用于获取多个方向的偏振图像的手段。

相机150以时分方式捕获图像多次。在相机150中设置有能够旋转的可旋转偏振滤光器151。

每当相机150捕获图像时，可旋转偏振滤光器151旋转预定角度。

例如，如附图中所示，可旋转偏振滤光器151在各个图像捕获时间t1、t2和t3处被设置为不同的角度。例如，可旋转偏振滤光器151每次旋转45度。当用该相机150捕获图像三次时，可以获取多个方向的偏振图像。

在该实施方式中，考虑通过以上这样的方法来获取三个方向的偏振图像的情况。

具体地，

从透射/偏振方向＝0度获取的偏振图像中的每个像素i的像素值由I_i ⁰表示，

从透射/偏振方向＝45度获取的偏振图像中的每个像素i的像素值由I_i ⁴⁵表示，以及

从透射/偏振方向＝90度获取的偏振图像中的每个像素i的像素值由I_i ⁹⁰表示。

此外，可以利用如图11中示出的偏振图像捕获相机160来捕获图像。

图11中示出的偏振图像捕获相机160配备有特殊图像传感器，即偏振器堆叠的成像元件162。

偏振器堆叠的成像元件162具有以下配置：对用于构成成像元件的各个像素的具有不同偏振方向的偏振滤光器(偏振器)进行堆叠。

构成偏振器堆叠的成像元件162的像素中的每一个像素配备有偏振器，其用作仅通过在特定方向上偏振的光的光学滤光器。在偏振器下方设置有接收已经穿过偏振器的光的光电转换元件。

为构成偏振器堆叠的成像元件162的像素中的每一个像素设置的偏振器具有以下配置：例如，2×2＝4个像素被设置为一个单元，并且这四个像素彼此仅通过不同偏振方向的光。

在图11的右下部分中示出的偏振器堆叠的成像元件162的每个像素中示出的阴影线指示偏振方向。

图11(a)中的偏振器堆叠的成像元件的偏振方向的示例是由箭头指示偏振器堆叠的成像元件162的各个像素的偏振方向的图。

例如，左上边缘处的四个像素a、b、c和d的偏振方向被设置如下。

像素a的偏振方向是竖直方向(0度)，从而像素a仅接收竖直偏振光。

像素b的偏振方向是向上倾斜方向(45度)，从而像素b仅接收在向上倾斜方向上偏振的光。

像素c的偏振方向是向下倾斜方向(135度)，从而像素c仅接收在向下倾斜方向上偏振的光。

像素d的偏振方向是水平方向(90度)，从而像素d仅接收水平偏振光。

注意，在以上描述中，竖直方向、向上倾斜方向、向下倾斜方向和水平方向是相对于相机的方向，并且是在相机的横向方向被定义为水平方向而相机的竖直方向被定义为竖直方向的情况下的方向。因此，各个像素的偏振方向随相机的倾斜而改变。

图12示出了上面参照图11描述的偏振器堆叠的成像元件162的示例截面配置。如图12中所示，偏振器堆叠的成像元件162的截面具有堆叠结构，其中，在从上侧(成像元件表面)朝向下侧(成像元件的内侧)的方向上形成有下面提及的层：

(1)硅透镜；

(2)偏振器；以及

(3)光电转换元件。

堆叠结构包括这些层(1)至(3)。

在要捕获图像时进入成像元件的光经由硅透镜穿过偏振器，并且被光电转换元件接收。

注意，在上面参照图11和图12描述的示例中，偏振器堆叠的成像元件162被设计成具有2×2＝4个像素作为一个单元，并且通过偏振方向彼此不同的光。重复设置这样的四个像素单元，使得形成偏振器堆叠的成像元件162的所有像素。

偏振器堆叠的成像元件162被设计成以2×2＝4个像素的单元捕获四个不同偏振方向的偏振图像，并且可以获得四个不同的偏振图像。

注意，一个偏振图像仅具有关于四个像素的单元的一个像素值，并且因此，同一像素值被设置在其他三个像素中。通过该处理，尽管分辨率变低，但是可以在一个图像捕获处理中获得四个不同的偏振图像。

注意，尽管图11中示出的示例是能够以四个像素单元获取四个偏振图像的成像元件的配置，但是偏振方向的数目可以是不小于三的任何数目。此外，偏振方向的设置不限于图11中示出的示例，而是可以设置各种方向。

例如，图8中示出的图像处理装置100的图像输入单元101获取由上面参照图9、图10或图11以及图12描述的相机捕获的三个或更多个不同的偏振图像，并且将偏振图像输入至反射分量分离单元105。

角度输入单元102获取与由图像输入单元101输入的输入图像的各个像素相对应的反射角(α)，并且将反射角(α)输入至强度透射率/强度反射率计算单元104。

可以考虑各种方法作为获取与图像的各个像素相对应的反射角的方法。例如，由用户(操作者)根据捕获输入图像的相机的图像捕获角度输入的角度数据被存储到例如存储器中，并且所存储的数据用于计算与图像的各个像素相对应的反射角。

可替选地，关于相机中包括的角度传感器等的信息被设置为关于输入图像的属性信息，并且与图像一起被输入和存储到存储器中。所存储的数据可以用于计算与图像的各个像素相对应的反射角。

可替选地，例如，指示45度的规定角度信息可以预先存储到存储器中，并且该角度信息可以用作与图像的各个像素相对应的反射角。

注意，可以计算对于构成图像的像素中的每一个像素不同的、严格逐像素的反射角，但是也可以简单地设置和使用对于构成图像的或者在预定区域中的像素组单元中的所有像素相同的反射角。

例如，角度输入单元102通过上述方法中的一种方法获取与由图像输入单元101输入的输入图像的各个像素相对应的反射角(α)，并且将反射角(α)输入至强度透射率/强度反射率计算单元104。

折射率输入单元103获取与由图像输入单元101输入的输入图像的各个像素相对应的相对折射率，并且将该相对折射率输入至强度透射率/强度反射率计算单元104。

注意，相同的相对折射率可以用作构成图像的所有像素共用的值。

可以考虑各种方法作为获取相对折射率的方法。例如，由捕获输入图像的用户(操作者)输入的相对折射率(n＝n₂/n₁)的数据可以被存储到存储器中，并且可以使用所存储的数据。

可替选地，例如，可以将诸如1.5的相对折射率(n＝n₂/n₁)数据预先存储到存储器中，并且可以使用所存储的数据。

如上所述，由于很多物质相对于空气的相对折射率n的范围是从1.5至1.6，因此可以将被设置为n＝1.5或n＝1.6的固定的相对折射率数据存储到存储器中，并且可以使用所存储的数据。

例如，空气的折射率约为1.0，水的折射率约为1.33，玻璃的折射率约为1.4至2.0。折射率以这种方式在物质之间轻微变化，但除空气之外的大多数物质具有从1.3至1.6范围的折射率。

用户可以取决于区域是在水还是玻璃中来设置与对象存在的区域的折射率相对应的相对折射率。

例如，折射率输入单元103通过上述方法中的一种方法获取与由图像输入单元101输入的输入图像的各个像素相对应的相对折射率，并且将该相对折射率输入至强度透射率/强度反射率计算单元104。

强度透射率/强度反射率计算单元104获取与由图像输入单元101输入的输入图像的各个像素相对应的反射角和相对折射率，并且计算与图像的各个像素相对应的强度透射率和强度反射率。

具体地，在与由图像输入单元101输入的输入图像的每个像素i相对应的反射角由α_i表示以及与每个像素相对应的相对折射率由n_i表示的情况下，强度透射率/强度反射率计算单元104执行计算以下值中的每一个值的处理：

(a)反射光的S波在像素i处的强度反射率Rs_i；

(b)反射光的P波在像素i处的强度反射率Rp_i；

(c)透射光的S波在像素i处的强度透射率Ts_i；以及

(d)透射光的P波在像素i处的强度透射率Tp_i。

根据上述(表达式4)计算

(a)反射光的S波在像素i处的强度反射率Rs_i，以及

(b)反射光的P波在像素i处的强度反射率Rp_i。

此外，根据上述(表达式7)计算

(c)透射光的S波在像素i处的强度透射率Ts_i，以及

(d)透射光的P波在像素i处的强度透射率Tp_i。

注意，从角度输入单元102和折射率输入单元103输入的值用作(表达式4)和(表达式7)中所需的反射角(α)和相对折射率(n＝n₂/n₁)的相应值。

由强度透射率/强度反射率计算单元104计算的、与输入图像的各个像素i相对应的强度反射率Rs_i和Rp_i以及强度透射率Ts_i和Tp_i的值被输入至反射分量分离单元105。

反射分量分离单元105校正从图像输入单元101输入的输入图像的像素值，计算已经去除各个像素的反射分量的像素值，并且生成透射光分量图像110。

在该像素值计算处理中，反射分量分离单元105使用从强度透射率/强度反射率计算单元104输入的各个像素的强度透射率和强度反射率。换言之，反射分量分离单元105使用以下值来计算已经去除各个像素的反射分量的像素值：

(a)反射光的S波在像素i处的强度反射率Rs_i；

(b)反射光的P波在像素i处的强度反射率Rp_i；

(c)透射光的S波在像素i处的强度透射率Ts_i；以及

(d)透射光的P波在像素i处的强度透射率Tp_i。

现在描述要由反射分量分离单元105执行的具体示例处理。

注意，假定从图像输入单元101输入的输入图像为以下三种类型的偏振图像：

从透射/偏振方向＝0度获取的偏振图像I⁰；

从透射/偏振方向＝45度获取的偏振图像I⁴⁵；以及

从透射/偏振方向＝90度获取的偏振图像I⁹⁰。

这三种类型的偏振图像是从图像输入单元101输入的输入图像。

此外，这三个偏振图像的像素i的像素值被如下定义。

注意，这些像素值中的每一个像素值是包括反射光分量和透射光分量的观察像素值。

反射分量分离单元105首先获取从图像输入单元101输入的三个偏振图像I⁰、I⁴⁵和I⁹⁰的各个像素i处的像素值I_i ⁰、I_i ⁴⁵和I_i ⁹⁰，并且还获取以下值：

(a)反射光的S波在每个像素i处的强度反射率Rs_i；

(b)反射光的P波在每个像素i处的强度反射率Rp_i；

(c)透射光的S波在每个像素i处的强度透射率Ts_i；以及

(d)透射光的P波在每个像素i处的强度透射率Tp_i。

这些值是从强度透射率/强度反射率计算单元104输入的值。

基于这些获取的值，反射分量分离单元105设置包括下面示出的三个观察像素值计算等式的等式组(表达式13)。

[数学公式13]

上面的(表达式13)类似于上面参考(表达式12)描述的观察像素值计算公式，并且如上所述，是用于计算包括反射光分量和透射光分量的观察像素值的公式。

在上面公式(13)中，

从透射/偏振方向＝0度获取的偏振图像中的每个像素i的像素值(观察像素值)由I_i ⁰表示，

从透射/偏振方向＝45度获取的偏振图像中的每个像素i的像素值(观察像素值)由I_i ⁴⁵表示，以及

从透射/偏振方向＝90度获取的偏振图像中的每个像素i的像素值(观察像素值)由I_i ⁹⁰表示。

这些像素值是从输入的偏振图像获得的像素值(观察像素值)，并且是已知值。

此外，

(a)反射光的S波在每个像素i处的强度反射率由Rs_i表示，

(b)反射光的P波在每个像素i处的强度反射率由Rp_i表示，

(c)透射光的S波在像素i处的强度透射率由Ts_i表示，以及

(d)透射光的P波在每个像素i处的强度透射率由Tp_i表示。

这些值中的每一个值是从强度透射率/强度反射率计算单元104输入的值，并且是已知值。

因此，上面的(表达式13)中包括的未知数是以下三个值：

I_i ^r：在反射光的反射之前的入射光在每个像素i处的光强度；

I_i ^t：在透射光的透射之前的入射光在每个像素i处的光强度；以及

上面的(表达式13)是具有这三个变量(未知数)的等式组。

(表达式13)是关于这三个变量存在三个等式的等式组，并且可以通过求解该等式组来计算三个变量I_i ^r、I_i ^t和Φ。

此处，在透射光的透射之前的入射光的光强度由I_i ^t表示，并且I_i ^t等同于在相机捕获的图像中包含的透射光分量。

反射分量分离单元105生成其中I_i ^t的值被设置为像素值的图像，并且将该图像输出为透射光分量图像110。

该透射光分量图像110是通过从包含反射光和透射光的观察图像中去除反射光分量而形成的图像，并且其仅由透射光分量形成。

通过执行这样的处理，图8中示出的图像处理装置不仅可以在相机的设定角度或相对于反射表面的角度是特定角度(布儒斯特角)的情况下从从各个方向捕获的图像中去除反射分量。因此，图像处理装置可以生成并输出清晰的对象图像(＝透射光分量图像)。

注意，在上述实施方式中，从图像输入单元101输入三个不同偏振方向的偏振图像，并且然后执行处理。然而，也可以在将非偏振图像(其为在没有任何偏振滤光器的情况下捕获的常规图像)与两个不同偏振方向的偏振图像组合的情况下执行根据以上实施方式的处理。

换言之，即使在来自图像输入单元101的输入图像中包括非偏振图像，也可以去除反射分量，并且生成和输出清晰的对象图像(＝透射光分量图像)。

此外，如上所述，强度透射率/强度反射率计算单元104可以是包括在反射分量分离单元105中的部件。换言之，反射分量分离单元105输入来自角度输入单元102和折射率输入单元103的反射角α和相对折射率n＝n₂/n₁，并且计算S波和P波的各自的强度透射率Ts和Tp以及各自的强度反射率Rs和Rp。此外，相同的反射分量分离单元105可以基于计算结果将反射分量与从图像输入单元101获取的图像分离，并且生成和输出仅由透射光分量形成的透射光分量图像110。

[5.其他实施方式]

接下来，描述具有与以上实施方式不同的配置并且执行不同的处理的实施方式。

(5-1.不包括折射率输入单元的示例配置)

上面参照图8描述的图像处理装置100包括输入反射角α的角度输入单元102和输入相对折射率(n＝n₂/n₁)的折射率输入单元103。

这些参数输入单元可以排除折射率输入单元103。

图13示出了排除折射率输入单元103的图像处理装置200的示例配置。

图13中示出的图像处理装置200包括图像输入单元101、角度输入单元102、强度透射率/强度反射率计算单元104和反射分量分离单元105。

该配置不包括在上面参照图8描述的图像处理装置100中包括的折射率输入单元103。

与图8中示出的图像处理装置100类似，图13中示出的图像处理装置200也输入例如在图1中示出的环境中捕获的图像或者由包括反射光和透射光的观察光形成的图像，并且生成从输入图像中去除反射光分量的、仅由透射光分量形成的透射光分量图像110。

图13中示出的图像处理装置200的强度透射率/强度反射率计算单元104基于预设的固定的相对折射率n来计算强度透射率和强度反射率。

考虑到这些事实，例如，图13中示出的图像处理装置200的强度透射率/强度反射率计算单元104使用预设的固定的相对折射率n(诸如固定的相对折射率n＝1.45)来计算强度透射率和强度反射率。

注意，在该配置中，与输出透射光的区域中的物质相对应的相对折射率数据可以被存储到存储器中，并且可以在捕获图像时选择和使用与该物质相对应的相对折射率数据。

例如，在输出透射光的区域是水的情况下，相对折射率n为1.33。例如，在输出透射光的区域是玻璃的情况下，相对折射率n为1.5。以这种方式，可以使用与物质相对应的相对折射率数据。

此外，如在上述实施方式中那样，强度透射率/强度反射率计算单元104可以是包括在反射分量分离单元105中的部件。换言之，反射分量分离单元105输入来自角度输入单元102的反射角α和来自折射率输入单元103的相对折射率n＝n₂/n₁，并且计算S波和P波的各自的强度透射率Ts和Tp以及各自的强度反射率Rs和Rp。此外，相同的反射分量分离单元105可以基于计算结果将反射分量与从图像输入单元101获取的图像分离，并且生成和输出仅由透射光分量形成的透射光分量图像110。

(5-2.使用陀螺仪传感器的角度输入单元的示例)

图8或图13中示出的图像处理装置中设置的角度输入单元102将反射角α输入至强度透射率/强度反射率计算单元104。

如上面参照图8描述的，角度输入单元102获取与由图像输入单元101输入的输入图像的各个像素相对应的反射角(α)，并且将反射角(α)输入至强度透射率/强度反射率计算单元104。

如上所述，可以考虑各种方法作为获取与图像的各个像素相对应的反射角的方法。例如，由用户(操作者)根据捕获输入图像的相机的图像捕获角度输入的数据被存储到例如存储器中，使得可以使用所存储的数据。

可替选地，关于相机中包括的角度传感器等的信息被设置为关于输入图像的属性信息，并且与图像一起被输入和存储到存储器中，使得可以使用所存储的数据。

可替选地，诸如45度的规定角度可以预先被存储到存储器中，使得可以使用角度信息。

例如，角度输入单元102通过上述方法中的一种方法获取与由图像输入单元101输入的输入图像的各个像素相对应的反射角(α)，并且将该反射角(α)输出至强度透射率/强度反射率计算单元104。

角度输入单元102可以包括能够测量捕获图像的相机的姿势的陀螺仪。在对象的平面方向已知的情况下，可以基于由陀螺仪测量的相机姿势来计算对象的平面方向。

例如，在要实现仅去除来自水表面的反射的情况下，可以假设水表面的平面方向(法线方向)总是竖直的。

例如，如图14中所示，由安装在捕获图像的图像处理装置(相机)300上的陀螺仪测量的图像处理装置(相机)300的倾斜具有等于反射角α的值。

由陀螺仪测量的图像处理装置(相机)300的倾斜可以用作从角度输入单元102输出至强度透射率/强度反射率计算单元104的反射角α。

(5-3.取决于对象执行角度输入处理的角度输入单元的示例)

接下来，描述取决于对象执行角度输入处理的角度输入单元102的示例。

如上所述，图8或图13中示出的图像处理装置中设置的角度输入单元102将反射角α输出至强度透射率/强度反射率计算单元104。

在下面描述的示例处理中，在图像中要捕获的对象是预定的特定对象的情况下，角度输入单元102基于由图像处理装置保存的特定对象的形状模型对于图像中的每个像素来估计对象的平面方向，基于所估计的平面方向来计算与每个像素相对应的反射角α，并且将所计算的反射角α输出至强度透射率/强度反射率计算单元104。

现在参照图15，描述该实施方式。

换言之，图像处理装置将眼球模型作为特定对象的形状模型保存在存储器中。

图15中示出的Gullstrand模型401可以用作眼球模型。在该模型中，眼球由两个球体形成，并且较小的球体对应于角膜402。角膜402是具有中心n的小球体。当从眼球图像中识别与虹膜403相对应的区域(图中由圆圈403包围的区域)时，可以应用该模型。因此，如图15中所示，例如，图15中的虹膜403中的部分虹膜区域404的位置处的平面方向可以被确定为被示出为从虹膜的中心n延伸的直线的平面方向(法线方向)405。

该平面方向(法线方向)与相机的图像捕获方向之间的角度等同于反射角α。

相机的图像捕获方向是眼睛的前方，以及附图中示出的反射角α是部分虹膜区域404的像素位置处的反射角。

角度输入单元102计算该角度α，并且将该角度作为与部分虹膜区域404的像素位置相对应的反射角α输出至强度透射率/强度反射率计算单元104。

在捕获图像中包括的对象的形状可以以这种方式指定的情况下，可以估计对象图像中的每个像素位置处的平面方向，并且可以计算与各个像素相对应的反射角。

以这种方式，角度输入单元102可以将与各个像素相对应的反射角的计算结果输出至强度透射率/强度反射率计算单元104。

(5-4.包括深度传感器的角度输入单元的示例)

接下来，描述包括深度传感器的角度输入单元102的示例。

如上所述，在图8或图13中示出的图像处理装置中设置的角度输入单元102将反射角α输出至强度透射率/强度反射率计算单元104。

在下面描述的实施方式的配置中，角度输入单元102包括深度传感器。

例如，可以使用立体相机、飞行时间(TOF)相机、结构光类型的深度传感器等作为深度传感器。

包括深度传感器的角度输入单元102生成包含由深度传感器获得的对象距离信息的深度图，并且对深度图中记录的距离数据进行微分，以计算对象上的各个点处的平面方向。

此外，根据所计算的平面方向计算对象上的各个点处的反射角。

现在参照图16，描述该实施方式。

图16(a)示出了由图像处理装置(相机)捕获的图像的示例。在此，将捕获图像501中的像素1和2作为示例来描述。

图像处理装置的角度输入单元102包括深度传感器，其测量在捕获图像的每个像素处对象距相机的距离。

图16(b)示出了关于像素1和2测量的距离信息的示例。

关于像素2的距离和像素1的距离，如图16(b)中所示，像素2位于比像素1更远的位置，并且如从来自深度传感器的测量信息而生成的深度图可以看出，如图中示出的那样被布置。

基于关于如图16(b)中示出的各个像素的距离信息，图像处理装置的角度输入单元102可以估计如图16(c)中示出的由像素1和像素2形成的平面。

图像处理装置的角度输入单元102将垂直于该平面的方向估计为平面方向(法线方向)。

法线方向与相机的图像捕获方向之间的角度等同于反射角α。

该角度是图16(c)中示出的反射角α510。

角度输入单元102计算该角度α，并且将该角度作为与像素1和2相对应的反射角α输出至强度透射率/强度反射率计算单元104。

(5-5.包括反射去除结果呈现单元的实施方式)

接下来，描述图像处理装置包括反射去除结果呈现单元的实施方式。

图17是示出包括反射去除结果呈现单元的图像处理装置600的示例配置的图。

图17中示出的图像处理装置600包括图像输入单元601、角度输入单元602、强度透射率/强度反射率计算单元604和反射分量分离单元605，类似于上面参照图8或图13描述的那些。图像处理装置600还包括反射去除结果呈现单元606。

反射去除结果呈现单元606呈现由反射分量分离单元605生成的图像、或者通过从输入图像中去除反射分量而生成的透射分量图像。

例如，操作图像处理装置600的操作者将任何适当的角度输入角度输入单元602，检查在反射去除结果呈现单元606上呈现的图像，并且搜索以最优选的方式已经去除了反射的角度。

注意，例如，可以采用使用用户接口的配置作为角度输入方法，该用户接口通过转动附图中示出的诸如旋钮的角度操作单元610来调节角度。

(5-6.基于所生成的图像的像素的亮度估计反射角的实施方式)

接下来，描述基于所生成的图像的像素的亮度估计反射角的实施方式。

图18是示出该实施方式的图像处理装置的示例配置的图。

图18中示出的图像处理装置700包括图像输入单元701、角度输入单元702、强度透射率/强度反射率计算单元704和反射分量分离单元705，类似于上面参照图8或图13描述的那些。图像处理装置700还包括反射去除结果存储存储器706和反射去除结果比较单元707。

图18中示出的图像处理装置700的反射分量分离单元705执行将输入图像的各个像素的反射角设置为各种角度的反射分量去除处理，并且生成反射去除结果图像A。

所生成的反射去除结果图像A被存储到反射去除结果存储存储器706中。

然后，角度输入单元702更新要被输入至强度透射率/强度反射率计算单元704的反射角。例如，角度输入单元702执行用α+Δα替换α的反射角更新处理，并且将更新的反射角α输入至强度透射率/强度反射率计算单元704。

强度透射率/强度反射率计算单元704基于更新的新反射角α计算强度透射率和强度反射率，并且将所计算的值输出至反射分量分离单元705。

反射分量分离单元705通过使用从强度透射率/强度反射率计算单元704输入的、基于新反射角α的强度透射率和强度反射率来生成新反射去除结果图像B，并且将反射去除结果图像B存储到反射去除结果存储存储器706中。

反射去除结果比较单元707从反射去除结果存储存储器706中提取反射去除结果图像A和反射去除结果图像B，并且对不同反射角设置下的这两个图像的对应像素的亮度进行比较。反射去除结果比较单元707选择具有亮度较低的像素值的图像作为具有较大反射去除效果的图像，并且以覆写方式将所选择的图像作为反射去除结果图像A存储到反射去除结果存储存储器706中。

重复执行该处理，以生成由具有最低亮度的像素形成的图像。

当执行该处理时，最终将由已经去除了最大量的反射分量的像素形成的透射分量图像存储到反射去除结果存储存储器706中。

通过组合透射分量和反射分量而计算的亮度被设置在输入图像的像素中。

因此，通过设置获得具有最低亮度的像素值的反射角而生成的图像的像素值具有从其去除的最大量的反射分量，并且被假设为仅由透射分量形成的像素值。

在该实施方式中，通过该估计处理生成透射分量图像。

现在参照图19中示出的流程图，描述要由图18中示出的图像处理装置700执行的一系列处理。

(步骤S101)

首先，在步骤S101中，角度输入单元702将初始值的反射角α设置为0度，并且将反射角α输入至强度透射率/强度反射率计算单元704。

(步骤S102)

接下来，在步骤S102中，强度透射率/强度反射率计算单元704基于从角度输入单元702输入的反射角α计算下面示出的值：

指示与反射光的光强度相对应的反射率的强度反射率Rs和Rp；以及

指示与透射光的光强度相对应的透射率的强度透射率Ts和Tp。

强度透射率/强度反射率计算单元704根据稍早描述的(表达式4)和(表达式7)计算这些值。

强度透射率/强度反射率计算单元704将所计算的值输出至反射分量分离单元705。

(步骤S103)

接下来，在步骤S103中，反射分量分离单元705使用来自强度透射率/强度反射率计算单元704的输入值(Rs、Rp、Ts和Tp)来计算已经针对构成图像的各个像素去除了反射分量的像素值，并且将像素值作为处理结果A存储到反射去除结果存储存储器706中。

注意，使用从图像输入单元701输入的三种不同的偏振图像通过根据稍早描述的(表达式13)的处理来执行该像素值计算处理。

(步骤S104)

在步骤S104中，角度输入单元702然后将反射角α增加规定的更新角度Δα，以计算新反射角α＝α+Δα。

注意，例如，Δα被设置为一度等。

角度输入单元702将该更新的角度α输入至强度透射率/强度反射率计算单元704。

(步骤S105)

接下来，在步骤S105中，强度透射率/强度反射率计算单元704基于从角度输入单元702输入的更新的反射角α来计算下面示出的值：

指示与透射光的光强度相对应的透射率的强度透射率Ts和Tp。

(步骤S106)

接下来，在步骤S106中，反射分量分离单元705使用来自强度透射率/强度反射率计算单元704的输入值(Rs、Rp、Ts和Tp)来计算已经针对构成图像的各个像素去除了反射分量的像素值，并且将像素值作为处理结果B存储到反射去除结果存储存储器706中。

(步骤S107)

接下来，在步骤S107中，反射去除结果亮度比较单元707将已经在不同的反射角设置下生成的、并且存储在反射去除结果存储存储器706中的处理结果A和处理结果B的对应像素的像素值(亮度)进行比较。反射去除结果亮度比较单元707确定具有较小像素值(亮度)的像素值是具有较高反射分量去除率的像素值，并且利用这些像素值作为处理结果A来覆写已经存储在反射去除结果存储存储器706中的处理结果A。

(步骤S108)

接下来，在步骤S108中，角度输入单元702确定反射角α是否小于90度。如果反射角α小于90度，则处理返回至步骤S104，执行更新反射角α的处理，并且然后重复步骤S104至S107中的处理。

如果在步骤S108中确定反射角α不小于90度，则处理结束。

在处理结束时，存储在反射去除结果存储存储器706中的处理结果A是设置反射角α＝0至90度而生成的反射分量去除的图像中的具有最小像素值(亮度)的图像。该图像是通过从输入图像(观察图像)中去除反射分量而形成的透射分量图像。

注意，对输入图像的所有像素执行图19中示出的流程。

当执行该处理时，可以生成通过从输入图像(观察图像)中去除反射分量而形成的透射分量图像。

注意，在该实施方式中，如在上述实施方式中那样，强度透射率/强度反射率计算单元704可以是包括在反射分量分离单元705中的部件。换言之，反射分量分离单元705依次输入来自角度输入单元702的更新的反射角α，并且计算S波和P波的各自的强度透射率Ts和Tp以及各自的强度反射率Rs和Rp。此外，相同的反射分量分离单元705可以基于计算结果将反射分量与从图像输入单元701获取的图像分离，依次生成与更新的反射角α相对应的透射光分量图像，并且将该透射光分量图像存储到反射去除结果存储存储器706中。

(5-7.通过使用从安装在相机上的传感器获取的相机姿势信息来计算天顶角并且将该天顶角用作入射角(＝反射角)的实施方式)

以下是对通过使用从安装在相机上的传感器获取的相机姿势信息来计算天顶角并且将该天顶角用作入射角(＝反射角)的实施方式的描述。

图20是示出该实施方式的图像处理装置720的示例配置的图。

除了角度输入单元102的配置之外，图20中示出的图像处理装置720具有与参照图8描述的图像处理装置100的配置类似的配置。

如图20中所示，角度输入单元102包括方位角计算单元721、相机姿势获取单元722和天顶角计算单元723。

图20中示出的图像处理装置720的角度输入单元102计算天顶角，并且将计算的天顶角输入至强度透射率/强度反射率计算单元104。

强度透射率/强度反射率计算单元104使用从角度输入单元102输入的天顶角作为在以上实施方式中描述的入射角(＝反射角)α来执行处理。

换言之，强度透射率/强度反射率计算单元104基于已经从角度输入单元102输入的对象的天顶角θv(＝入射角＝反射角α)和已经从折射率输入单元103输入的各个捕获图像(场景)中的相对折射率n＝n₂/n₁来计算S波和P波的各自的强度透射率Ts和Tp以及各自的强度反射率Rs和Rp。

如上所述，该实施方式的角度输入单元102包括方位角计算单元721、相机姿势获取单元722和天顶角计算单元723。天顶角计算单元723使用由方位角计算单元721计算的方位角和从相机姿势获取单元722输入的相机姿势信息来计算天顶角。

以这种方式，在该实施方式中执行使用天顶角、方位角和相机姿势的处理。

首先，参照图21描述这些信息。

在图21中，反射表面70是透明或半透明玻璃等的表面。

相机10经由反射表面70捕获对象(图像捕获目标)20的图像。

指示相机10的图像捕获方向的矢量被称为相机眼矢量nv。

相机10配备有检测相机的姿势的传感器15。传感器15例如由陀螺仪、IMU、加速度传感器、倾斜传感器等形成，并且用于获得相机眼矢量nv。

注意，惯性测量单元(IMU)是检测角速度和加速度或者三个轴向方向上的角度的传感器。

在图21中，反射表面70的平面是x-y平面，以及垂直于反射表面70的方向是z轴。换言之，z轴方向(即垂直于反射表面70的方向)是反射表面的法线。

法向矢量n的方向被定义为n＝(x，y，z)＝(0，0，1)。

如图21中所示，相机眼矢量nv是指示相机的图像捕获方向的矢量，并且是从相机10的位置开始并在相机10的视线上的反射表面70上的点处结束的矢量。

如下面(a)和(b)中所述定义相机眼矢量nv的天顶角θv和方位角Φv。

(a)相机眼矢量nv的天顶角θv是由天顶对应的参考轴(z轴)和相机眼矢量nv形成的角度。

(b)相机眼矢量nv的方位角Φv是由相机眼矢量nv在反射表面(x-y平面)上的投影和方位对应的参考轴(x轴)形成的角度。

如上面(a)和(b)中所述定义相机眼矢量nv的天顶角θv和方位角Φv。

如从图21与稍早描述的图1之间的比较可以理解，图21中示出的相机眼矢量nv的天顶角θv和稍早描述的图1中示出的反射角α(＝入射角α)是具有相同定义的角度。

因此，如上面参照图20描述的，由图20中示出的角度输入单元102的天顶角计算单元723计算的天顶角θv被输入至强度透射率/强度反射率计算单元104，使得强度透射率/强度反射率计算单元104可以将从角度输入单元102输入的天顶角θv用作在以上实施方式中描述的入射角(＝反射角)α来执行处理。

图20中示出的角度输入单元102的天顶角计算单元723使用由方位角计算单元721计算的方位角和从相机姿势获取单元722输入的相机姿势信息来计算相机眼矢量nv的天顶角θv。

在下面的描述中，说明计算相机眼矢量nv的天顶角θv的处理的具体示例。

首先，参照图22和图23，描述相机眼矢量nv的天顶角θv与由附接至相机10的传感器15获取的相机角度θcm之间的关系。

由传感器15获取的相机角度θcm是相机的倾斜角度，并且由形成传感器15的陀螺仪、IMU等获取。

作为图20中示出的角度输入单元102的部件的相机姿势获取单元722通过使用从传感器15输入的信息来获取相机角度θcm，并且将所获取的相机角度θcm输出至天顶角计算单元723。

如图22中所示，相机角度θcm是由相机眼矢量nv和x-z平面形成的角度，其中，x-z平面形成由反射表面70的平面(x-y平面)的x轴和反射表面70的法线方向的z轴形成。注意，x-z平面等同于水平平面。

图22中示出的示例是相机眼矢量nv的方位角Φv不是90度(＝y轴方向)的一般相机设置的示例。

在这种情况下，相机角度θcm和相机眼矢量nv的天顶角θv彼此不一致。

接下来，参照图23，描述相机角度θcm和相机眼矢量nv的天顶角θv彼此一致的相机设置的示例。

图23中示出的示例是相机眼矢量nv的方位角Φv是90度(＝y轴方向)的相机设置的示例。

在这种情况下，相机角度θcm和相机眼矢量nv的天顶角θv彼此一致。

在这些设置的情况下，由作为图20中示出的角度输入单元102的部件的相机姿势获取单元722获取的相机角度θcm可以在没有任何改变的情况下用作相机眼矢量nv的天顶角θv。

然而，在大多数情况下，相机眼矢量nv的方位角Φv与90度(＝y轴方向)不一致，如图22中所示。

在下面的描述中，说明要由图20中示出的角度输入单元102在这样的情况下执行的处理。

图20中示出的角度输入单元102的天顶角计算单元723使用由方位角计算单元721计算的方位角Φv和从相机姿势获取单元722输入的相机姿势信息来计算相机眼矢量nv的天顶角θv。

首先，参照图24和其他附图，描述要由方位角计算单元721执行以计算相机眼矢量nv的方位角Φv的处理。

图24是示出相机10经由诸如玻璃的反射表面70捕获对象20的图像的示例的图。

相机10接收透射光和反射光的混合，透射光是经由反射表面70来自对象20的光，反射光是从相机10的一侧发出并被反射表面70反射的光。

图20中示出的角度输入单元102的方位角计算单元721输入来自图像输入单元101的偏振图像。

如稍早描述的，例如，图像输入单元101输入由上面参照图9、图10或图11以及图12描述的相机捕获的三种或更多种不同的偏振图像。图20中示出的角度输入单元102的方位角计算单元721输入来自图像输入单元101的这些偏振图像。

方位角计算单元721通过分析从图像输入单元101输入的偏振图像来计算方位角Φv。

如图24中所示，相机10接收透射光和反射光的混合，透射光是经由反射表面70来自对象20的光，反射光是从相机10的一侧发出并被反射表面70反射的光。

作为经由反射表面70来自对象20的光的透射光包含在各个方向上来自对象的光。换言之，透射光是混合了不同的光偏振状态的偏振光。

然而，作为在反射表面70上反射的光的反射光是被由一个特定平面形成的反射表面70反射的光，并且是包含取决于反射表面70的方向的大量特定偏振分量的偏振光。

因此，当分析由相机10捕获的偏振图像的偏振方向的分布状态时，可以估计反射表面70相对于相机眼矢量nv的方向，并且因此，可以估计相机眼矢量nv的方位角Φv。

如上所述，相机眼矢量nv的方位角Φv是由相机眼矢量nv在反射表面(x-y平面)上的投影和方位对应的参考轴(x轴)形成的角度，并且可以根据反射表面70相对于相机眼矢量nv的方向来唯一确定。

图25是通过分析由相机10捕获的偏振图像而生成的直方图，并且该直方图在横坐标轴上示出了估计的方位角并在纵坐标轴上示出了与每个方位角相对应的偏振程度(偏振强度)。

指示该直方图中的突出程度(偏振强度)的方位角可以基于从反射表面70反射的光被估计为与偏振相对应的数据。

在图25中示出的示例中，方位角＝120度时的强度是显著的，并且120度可以被估计为相机眼矢量nv的方位角Φv。

如上所述，方位角计算单元721通过分析从图像输入单元101输入的偏振图像来计算相机眼矢量nv的方位角Φv。

由方位角计算单元721计算的相机眼矢量nv的方位角Φv被输出至天顶角计算单元723。

天顶角计算单元723接收以下各个数据(a)和(b)的输入：

(a)由方位角计算单元721计算的相机眼矢量nv的方位角Φv；以及

(b)已经由相机姿势获取单元722从传感器15获取的、并且指示相机的倾斜的相机角度θcm。

天顶角计算单元723使用各个数据(a)和(b)来计算相机眼矢量nv的天顶角θv。

现在参照图26和其他附图描述要由天顶角计算单元723执行以计算相机眼矢量nv的天顶角θv的处理。

图26示出了相机10、x-y平面中的反射表面70、作为由x轴和反射表面70的法线(z轴)形成的水平平面的x-z平面、以及相机眼矢量nv。

反射表面70上的作为相机眼矢量nv的终点的点被设置为点A，并且作为相机眼矢量nv的起点的相机10的位置被设置为点C。

三角形EAF是由相机眼矢量nv在反射表面(x-y平面)上的投影(＝EA)和方位对应的参考轴(x轴)(＝AF)形成的直角三角形。三角形EAF的顶点A的角度是相机眼矢量nv的方位角Φv。注意，三角形EAF的点F的角度是90度，从而三角形EAF是直角三角形。

此外，从相机位置C的垂线与x-z平面之间的交点被设置为点D，并且z轴与包括线段CD并且与反射表面70平行的平面之间的交点被设置为点B。

三角形CBD是与三角形EAF相同的三角形，并且三角形CBD的顶点B的角度是相机眼矢量nv的方位角Φv。注意，三角形CBD的点D的角度是90度，从而三角形CBD是直角三角形。

在这些设置中，(1)相机角度θcm，(2)相机眼矢量nv的方位角Φv，以及(3)相机眼矢量nv的天顶角θv是下面示出的角度。

(1)相机角度θcm

相机角度θcm是指示相机10相对于水平平面x-z的倾斜的角度，并且是附图中示出的三角形CAD的顶点A的角度。注意，三角形CAD的点D的角度是90度，从而三角形CAD是直角三角形。

(2)相机眼矢量nv的方位角Φv

相机眼矢量nv的方位角Φv是由相机眼矢量nv在反射表面(x-y平面)上的投影(＝EA)和方位对应的参考轴(x轴)(＝AF)形成的角度，并且是附图中示出的三角形EAF的顶点A的角度。注意，三角形EAF的点F的角度是90度，从而三角形EAF是直角三角形。

(3)相机眼矢量nv的天顶角θv

(3)相机眼矢量nv的天顶角θv是由天顶对应的参考轴(z轴)(＝AB)和相机眼矢量nv(＝CA)形成的角度，并且是附图中示出的三角形CAB的顶点A的角度。注意，三角形CAB的点B的角度是90度，从而三角形CAB是直角三角形。

在相机眼矢量nv的大小(长度)＝1的情况下，相机眼矢量nv是使天顶角θv作为顶点A的角度的直角三角形CAB的边CA。

因此，如图26中所示，

边AB的长度＝cosθv，以及

边BC的长度＝sinθv。

接下来，参照图27，描述由平行于反射表面70的平面形成的直角三角形CBD的边BD和CD的长度。

如上所述，直角三角形CBD的点D的角度是90度，并且点B的角度是相机眼矢量nv的方位角Φv。如上面参照图26描述的，边BC的长度如下：

边BC的长度＝sinθv。

因此，直角三角形CBD的边BD和CD的长度如图27中示出并且如下：

边BD的长度＝sinθv·cosΦv，以及

边CD的长度＝sinθv·sinΦv。

接下来，参照图28，描述包括相机角度θcm的三角形CAD的边CD和AD的长度。

如上所述，直角三角形CAD的点D的角度是90度，并且点A的角度是相机角度θcm。边CA是相机眼矢量nv并且其长度为1。

因此，直角三角形CAD的边CD和AD的长度如图28中示出并且如下：

边CD的长度＝sinθcm，以及

边AD的长度＝cosθcm。

此处，关于边CD的长度，计算基于下面描述的两个三角形的两个值。具体地，这两个值是：

基于上面参照图27描述的三角形CBD的计算的值，

CD＝sinθv·sinΦv，以及

基于上面参照图27描述的三角形CAD的计算的值，

CD＝sinθcm。

这些是指示同一边CD的长度的值，并且是相等的值。也就是说，满足以下等式：

CD＝sinθcm＝sinθv·sinΦv。

基于该等式，相机眼矢量nv的天顶角θv由下面示出的(表达式14)表示。

[数学公式14]

上面的(表达式14)是使用相机角度θcm和相机眼矢量nv的方位角Φv来计算相机眼矢量nv的天顶角θv的表达式。

图20中示出的角度输入单元102的天顶角计算单元723输入

来自方位角计算单元721的相机眼矢量nv的方位角Φv，以及

来自相机姿势获取单元722的相机角度θcm。

天顶角计算单元723根据上面的(表达式14)计算相机眼矢量nv的天顶角θv，并且将所计算的相机眼矢量nv的天顶角θv输入至强度透射率/强度反射率计算单元104。

如上所述，并且如从图21与稍早描述的图1之间的比较可以理解，图21中示出的相机眼矢量nv的天顶角θv和稍早描述的图1中示出的反射角α(＝入射角α)是具有相同定义的角度。

注意，如图28中所示，相机眼矢量nv可以用边DB、CD和BA的长度来表示，并且可以被表示如下：

nv＝(x，y，z)＝(DB，CD，BA)＝(sinθv·cosΦv，sinθv·sinΦv，cosθv)

此外，下面示出的三个值具有由上面的(表达式14)中示出的关系表达式所表达的关系：

(1)相机眼矢量nv的天顶角θv，

(2)相机眼矢量nv的方位角Φv，以及

(3)相机角度θcm。

在这三个角度之间的关系绘制在图表上的情况下，获得图29中示出的曲线图。

图29是将相机眼矢量nv的方位角Φv设置在横坐标轴上并且将相机眼矢量nv的天顶角θv设置在纵坐标轴上的曲线图，并且指示由多个不同的相机角度θcm形成的曲线。

图20中示出的角度输入单元102的天顶角计算单元723可以被设计成存储与图29中示出的曲线图类似的各个角度的对应关系数据，并且计算相机眼矢量nv的天顶角θv。

也就是说，天顶角计算单元723可以被设计成输入来自方位角计算单元721的相机眼矢量nv的方位角Φv以及来自相机姿势获取单元722的相机角度θcm，并且使用所存储的对应关系数据来计算相机眼矢量nv的天顶角θv。

接下来，参照图30，描述计算相机眼矢量nv的天顶角θv的处理的示例。在反射表面70不垂直于水平平面并且倾斜的情况下执行该计算处理。

图30示出了相对于垂直于水平平面的轴是倾斜的反射板70，诸如玻璃。反射表面70相对于竖直轴以倾斜角θg倾斜。

在该设置中，反射表面70的法线ng是

ng＝(0，sinθg，cosθg)。

在该阶段，相机眼矢量nv的天顶角θv是作为天顶对应的参考轴的反射表面70的法线ng与相机眼矢量nv之间的角度，如附图中所示。

因此，相机眼矢量nv的天顶角θv可以根据下面示出的(表达式15)来计算。

θv＝cos^-1(ng·nv)...(表达式15)

上面的(表达式15)是用于根据由反射表面70的法线ng和相机眼矢量nv形成的角度来计算相机眼矢量nv的天顶角θv的表达式。

如上所述，反射表面70的法线ng是(0，sinθg，cosθg)，并且相机眼矢量nv通过下面示出的处理来获得：

nv＝(sin(θv+θg)·cosΦv，sin(θv+θg)·sinΦv，cos(θv+θg))，这类似于上述处理。

图20中示出的角度输入单元102的天顶角计算单元723根据上面的(表达式15)来计算相机眼矢量nv的天顶角θv，并且将所计算的相机眼矢量nv的天顶角θv输入至强度透射率/强度反射率计算单元104。

强度透射率/强度反射率计算单元104将从角度输入单元102输入的天顶角用作在以上实施方式中描述的入射角(＝反射角)α来执行处理。

此外，下面示出的三个值具有由上面的(表达式15)中示出的关系表达式所表达的关系：

(1)相机眼矢量nv的天顶角θv，

(2)相机眼矢量nv的方位角Φv，以及

(3)反射表面的倾斜角θg。

在这三个角度之间的关系绘制在图表上的情况下，获得图31中示出的曲线图。

图31是将相机眼矢量nv的方位角Φv设置在横坐标轴上并且将相机眼矢量nv的天顶角θv设置在纵坐标轴上的曲线图，并且指示由多个不同的反射表面倾斜角θg形成的曲线。

图20中示出的角度输入单元102的天顶角计算单元723可以被设计成存储与图31中示出的曲线图类似的各个角度的对应关系数据，并且计算相机眼矢量nv的天顶角θv。

注意，在图20中示出的角度输入单元102的配置中，对从图像输入单元101输入的整个图像执行处理。然而，如图32中所示，例如，可以在角度输入单元102中设置区域选择单元724，使得从由图像输入单元101输入的图像中仅选择要经受反射去除的区域，并且仅对所选择的区域执行处理。

具体地，操作者使用诸如鼠标或触摸显示器的接口从图像中选择反射表面所在的区域。方位角计算单元721计算与所选择的区域相对应的方位角，并且天顶角计算单元723计算与所选择的区域相对应的天顶角。角度输入单元102将与该选择的区域相对应的天顶角输出至后续阶段的处理单元。后续阶段的处理单元执行仅在选择的区域中去除反射分量的处理。

此外，如图33中所示，可以在角度输入单元102中设置区域划分单元725，并且可以针对每个划分的区域执行处理。

具体地，例如，区域划分单元725将从图像输入单元101输入的图像划分为预设大小的矩形像素区域。方位角计算单元721计算与各个划分的区域相对应的各个方位角。天顶角计算单元723计算关于每个划分的区域的天顶角。角度输入单元102将关于每个划分的区域的天顶角输出至后续阶段的处理单元。后续阶段的处理单元使用关于各个划分的区域的各个天顶角来执行去除反射分量的处理。

[6.图像处理装置的示例硬件配置]

接下来，参照图34，描述图像处理装置的示例硬件配置。

注意，图34中示出的硬件配置是示出可以用作以上实施方式中描述的图像处理装置中的一种图像处理装置的示例硬件配置的框图。

中央处理单元(CPU)801用作数据处理单元，其根据只读存储器(ROM)802或存储单元808中存储的程序执行各种处理。例如，执行以上实施方式中描述的处理。要由CPU 801执行的程序、数据等存储在随机存取存储器(RAM)803中。CPU 801、ROM 802和RAM 803通过总线804彼此连接。

CPU 801经由总线804连接至输入/输出接口805，并且由各种开关、键盘、鼠标、麦克风等形成的输入单元806和由显示器、扬声器等形成的输出单元807也连接至输入/输出接口805。注意，输入单元806可以包括图像捕获单元，或者可以包括输入来自成像装置的图像的输入单元。

例如，CPU 801根据通过输入单元806输入的指令执行各种处理，并且将处理结果输出至输出单元807。

例如，连接至输入/输出接口805的存储单元808由硬盘等形成，并且存储各种数据和要由CPU 801执行的程序。通信单元809用作经由诸如因特网或局域网的网络进行数据通信的发送/接收单元，并且还用作用于广播波以与外部装置通信的发送/接收单元。

连接至输入/输出接口805的驱动器810驱动可移动介质811，诸如磁盘、光盘、磁光盘、如同存储卡的半导体存储器，并且执行数据的记录或读取。

[7.本公开内容的图像处理装置的示例应用]

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实施为安装在任何类型的移动对象上的装置，移动对象诸如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船、机器人、建筑机械或农业机械(拖拉机)。

图35是示意性地示出作为可以应用根据本公开内容的技术的移动对象控制系统的示例的车辆控制系统7000的示例配置的框图。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图35中示出的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、外部信息检测单元7400、车载信息检测单元7500和总控制单元7600。例如，连接多个控制单元的通信网络7010可以是符合适当标准的车载通信网络，如，控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或者FlexRay(注册商标)。

控制单元中的每一个包括：微机，其根据各种程序执行运算处理；存储单元，其存储要由微机执行的程序、要用于各种计算的参数等；以及驱动电路，其驱动要经受各种控制的电流装置。控制单元中的每一个包括：通信接口，用于通过有线通信或无线通信执行与外部装置或传感器等的通信；以及网络接口，用于经由通信网络7010与另一控制单元通信。在图35中，微机7610、通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车载装置接口7660、声音/图像输出单元7670、车载网络接口7680和存储单元7690被示出为总控制单元7600的功能部件。同样地，其他控制单元各自包括微机、通信接口、存储单元等。

驱动系统控制单元7100根据各种程序来控制装置的与车辆的驱动系统相关的操作。例如，驱动系统控制单元7100用作控制装置，如，用于生成车辆的驱动力的驱动力生成装置(诸如内燃机或驱动马达)、用于将驱动力传递到车轮的驱动力传递机制、用于调节车辆的转向角的转向机制、以及用于生成车辆的制动力的制动装置。驱动系统控制单元7100还可以具有控制装置的功能，如，防抱死制动系统(ABS)或电子稳定性控制器(ESC)。

车辆状态检测器7110连接至驱动系统控制单元7100。例如，车辆状态检测器7110包括以下部件中的至少一个：陀螺仪传感器，其检测车身的轴向旋转运动的角速度；加速度传感器，其检测车辆的加速度；以及传感器，用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、车轮转速等。驱动系统控制单元7100使用从车辆状态检测器7110输入的信号执行运算处理，并且控制内燃机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序来控制车身上安装的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或用于各种灯诸如前照灯、倒车灯、制动灯、转向信号灯或雾灯的控制装置。在这种情况下，车身系统控制单元7200可以接收从替代钥匙的便携式装置发送的无线电波或来自各种开关的信号。车身系统控制单元7200接收这些无线电波或信号的输入，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序来控制作为驱动马达的动力供应源的二次电池7310。例如，电池控制单元7300从包括二次电池7310的电池装置接收诸如电池温度、电池输出电压或电池的剩余容量的信息。电池控制单元7300使用这些信号执行运算处理，以控制二次电池7310的温度调节或者控制电池装置中设置的冷却装置等。

外部信息检测单元7400检测配备有车辆控制系统7000的车辆外部的信息。例如，成像单元7410和/或外部信息检测器7420连接至外部信息检测单元7400。成像单元7410包括以下相机中的至少一种：飞行时间(ToF)相机、立体相机、单目相机、红外相机或其他相机。例如，外部信息检测器7420包括：环境传感器，用于检测当前天气或气象现象；和/或周围环境信息检测传感器，用于检测配备有车辆控制系统7000的车辆周围的另一车辆、障碍物、行人等。

例如，环境传感器可以由以下传感器中的至少一种形成：检测雨水的雨滴传感器、检测雾的雾传感器、检测太阳辐射的程度的太阳辐射传感器、或者检测降雪的雪传感器。周围环境信息检测传感器可以是以下装置中的至少一个：超声波传感器、雷达装置或激光雷达(光检测和测距、激光成像检测和测距)装置。成像单元7410和外部信息检测器7420可以分别设置为独立装置和独立传感器，或者可以设置为集成多个传感器或装置的装置。

此处，图36示出了成像单元7410和外部信息检测器7420的安装位置的示例。例如，成像单元7910、7912、7914、7916和7918设置在以下位置中的至少一个位置处：车辆7900的前端边缘、侧镜、后保险杠、后门或车辆内部的前挡风玻璃的上部。设置在前端边缘上的成像单元7910和设置在车辆内部的前挡风玻璃的上部上的成像单元7918主要捕获车辆7900前方的图像。设置在侧镜上的成像单元7912和7914主要捕获车辆7900侧面上的图像。设置在后保险杠或后门上的成像单元7916主要捕获车辆7900后面的图像。设置在车辆内部的前挡风玻璃的上部上的成像单元7918主要用于检测在车辆前方行驶的车辆、行人、障碍物、交通信号灯、交通标志、车道等。

注意，图36示出了成像单元7910、7912、7914和7916中的每一个的成像范围的示例。成像范围a指示设置在前端边缘上的成像单元7910的成像范围，成像范围b和c指示设置在各个侧镜上的成像单元7912和7914的成像范围，而成像范围d指示设置在后保险杠或后门上的成像单元7916的成像范围。例如，由成像单元7910、7912、7914、7916捕获的图像数据相互叠加，使得获得从上方观察的车辆7900的俯视图像。

例如，设置在车辆7900的前、后、侧、角和车辆内部的前挡风玻璃的上部上的外部信息检测器7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达装置。例如，设置在车辆7900的前端边缘、后保险杠和后门以及车辆内部的前挡风玻璃的上部上的外部信息检测器7920、7926和7930可以是激光雷达装置。这些外部信息检测器7920至7930主要用于检测在车辆7900前方行驶的车辆、行人、障碍物等。

返回参照图35，继续进行说明。外部信息检测单元7400使成像单元7410捕获车辆外部的图像，并且接收所捕获的图像数据。外部信息检测单元7400还从与其连接的外部信息检测器7420接收检测信息。在外部信息检测器7420是超声波传感器、雷达装置或激光雷达装置的情况下，外部信息检测单元7400使外部信息检测器7420发送超声波或电磁波等，并且接收关于所接收的反射波的信息。基于所接收的信息，外部信息检测单元7400可以执行用于检测人、车辆、障碍物、标志、路面上的字符等的对象检测处理，或者执行距离检测处理。基于所接收的信息，外部信息检测单元7400还可以执行用于识别降雨、雾、路面状况等的环境识别处理。基于所接收的信息，外部信息检测单元7400还可以计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，外部信息检测单元7400可以执行用于识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或者执行距离检测处理。外部信息检测单元7400还可以对所接收的图像数据执行诸如失真校正或定位的处理，并且组合由不同的成像单元7410捕获的图像数据，以生成俯视图像或全景图像。外部信息检测单元7400还可以使用由不同成像单元7410捕获的图像数据来执行视点转换处理。

车载信息检测单元7500检测关于车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测器7510连接至车载信息检测单元7500。驾驶员状态检测器7510可以包括捕获驾驶员的图像的相机、检测关于驾驶员的生物信息的生物识别传感器、收集车辆内部的声音的麦克风等。例如，生物识别传感器设置在座椅表面或方向盘等上，并且检测关于坐在座位上的乘客或者握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测器7510输入的检测信息，车载信息检测单元7500可以计算驾驶员的疲劳程度或集中程度，或者确定驾驶员是否正在打瞌睡。车载信息检测单元7500还可以对收集的声音信号执行噪声消除处理等。

总控制单元7600根据各种程序控制车辆控制系统7000中的整个操作。输入单元7800连接至总控制单元7600。例如，输入单元7800由乘客可以在其上执行输入操作的装置诸如触摸面板、按钮、麦克风、开关或操纵杆形成。总控制单元7600可以接收通过对经由麦克风输入的声音执行语音识别而获得的数据。例如，输入单元7800可以是使用红外线或一些其他无线电波的远程控制装置，或者是与车辆控制系统7000上的操作兼容的外部连接装置诸如便携式电话或个人数字助理(PDA)。例如，输入单元7800可以是相机，并且在这种情况下，乘客可以通过手势输入信息。可替选地，可以输入通过检测乘客佩戴的可穿戴装置的移动而获得的数据。此外，例如，输入单元7800可以包括输入控制电路等，输入控制电路基于由乘客等使用上述输入单元7800输入的信息来生成输入信号，并且将输入信号输出至总控制单元7600。通过操作该输入单元7800，乘客等将各种数据输入至车辆控制系统7000，或者向车辆控制系统7000发出处理操作指令。

存储单元7690可以包括存储要由微机执行的各种程序的只读存储器(ROM)以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等形成。

通用通信接口7620是用于与外部环境7750中存在的各种装置的通信的通用通信接口。通用通信接口7620可以实现诸如GSM(注册商标)(全球移动通信系统)、WiMAX、LTE(长期演进)或LTE-A(LTE-升级版)的蜂窝通信协议、或诸如无线LAN(也被称为Wi-Fi(注册商标))或蓝牙(注册商标)的一些其他无线通信协议。通用通信接口7620可以经由基站或接入点连接至存在于外部网络(例如因特网、云网络或公司特定网络)中的装置(例如应用服务器或控制服务器)。可替选地，通用通信接口7620可以使用点对点(P2P)技术连接至存在于车辆附近的终端(例如驾驶员的终端、行人的终端、或商店的终端、或机器类型通信(MTC)终端)。

专用通信接口7630是支持被制定成在车辆中使用的通信协议的通信接口。例如，专用通信接口7630可以实现标准协议，如：车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)或者蜂窝通信协议，WAVE是作为下层的IEEE802.11p和作为上层的IEEE1609的组合。通常，专用通信接口7630执行V2X(车辆对车辆)通信，其是包括以下种类的通信中的至少一种的概念：车辆对车辆通信、车辆对基础设施通信、车辆对家通信和车辆对行人通信。

定位单元7640从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，执行定位，并且生成包括车辆的纬度、经度和海拔高度的位置信息。应当注意，定位单元7640可以通过与无线接入点交换信号来识别当前位置，或者可以从具有定位功能的终端诸如便携式电话、PHS或智能电话来获取位置信息。

例如，信标接收单元7650接收从道路上安装的无线电台等发送的无线电波或电磁波，并且获取关于当前位置、交通拥堵、道路封闭、所需时间等的信息。应当注意，信标接收单元7650的功能可以被包括在上述专用通信接口7630中。

车载装置接口7660是调解微机7610与车辆中存在的各种车载装置7760之间的连接的通信接口。车载装置接口7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车载装置接口7660可以经由连接终端(未示出)(和电缆，如果必要的话)建立到通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链路(MHL)等的有线连接。例如，车载装置7760可以包括由乘客拥有的移动装置或可穿戴装置，和/或安装在车辆中或附接至车辆的信息装置。车载装置7760还可以包括搜索到期望目的地的路线的导航装置。车载装置接口7660与这些车载装置7760交换控制信号或数据信号。

车载网络接口7680是调解微机7610与通信网络7010之间的通信的接口。车载网络接口7680根据由通信网络7010支持的预定协议发送和接收信号等。

总控制单元7600的微机7610在通过以下部件中的至少一个获取信息之后根据各种程序控制车辆控制系统7000：通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车载装置接口7660和车载网络接口7680。例如，基于所获取的外部信息和内部信息，微机7610可以计算驱动力生成装置、转向机制或制动装置的控制目标值，并且将控制命令输出至驱动系统控制单元7100。例如，微机7610可以执行协同控制，以实现高级驾驶员辅助系统(ADAS)的功能，包括：车辆碰撞避免或撞击减轻、基于车辆之间的距离的跟进行驶、车辆速度保持行使、车辆碰撞警告、车辆车道偏差警告等。微机7610还可以通过基于所获取的关于车辆周边环境的信息控制驱动力生成装置、转向机制，制动装置等来执行协同控制，以进行不依赖于驾驶员的操作而自动地行驶的自动驾驶等。

微机7610可以生成关于车辆与诸如附近建筑结构或人的对象之间的三维距离的信息，并且基于经由以下部件中的至少一个获取的信息来创建包括关于车辆的当前位置的周边环境信息的本地地图信息：通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车载装置接口7660和车载网络接口7680。微机7610还可以通过基于所获取的信息预测危险(诸如车辆的碰撞、行人等的靠近或进入封闭道路)来生成警告信号。例如，警告信号可以是用于生成警报声或用于打开警告灯的信号。

声音/图像输出单元7670向输出装置发送音频输出信号和/或图像输出信号，其中，输出装置能够视觉上或听觉上向车辆的乘客或车辆的外部通知信息。在图35中示出的示例中，音频扬声器7710、显示单元7720和仪表面板7730被示出为输出装置。例如，显示单元7720可以包括车载显示器和/或平视显示器。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以是除以上装置之外的一些装置，诸如由乘客佩戴的如同耳机或眼镜式显示器的可穿戴装置、投影仪或灯。在输出装置是显示装置的情况下，显示装置以各种形式诸如文本、图像、表格、曲线图来在视觉上显示通过微机7610执行的各种处理获得的结果、或从其他控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出装置通过将再现的声音数据、由声学数据形成的音频信号等转换为模拟信号来可听地输出模拟信号。

注意，在图35中示出的示例中，经由通信网络7010连接的至少两个控制单元可以集成到一个控制单元中。可替选地，每个控制单元可以由多个控制单元形成。此外，车辆控制系统7000可以包括未在附图中示出的另一控制单元。此外，在以上描述中，控制单元中的一个控制单元的功能的一些或所有功能可以由一些其他控制单元提供。也就是说，只要经由通信网络7010发送和接收信息，就可以通过任何控制单元执行预定运算处理。同样地，连接至任何控制单元的传感器或装置可以连接至另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

注意，用于实现参照图8、图13、图34以及其他附图描述的图像处理装置的各个功能的计算机程序可以在任何控制单元等中实现。还可以提供存储这样的计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘、闪存等。此外，例如，以上计算机程序可以在不利用任何记录介质的情况下经由网络来传送。

在上述车辆控制系统7000中，根据参照图8、图13、图34以及其他附图描述的实施方式中的任意实施方式的图像处理装置可以应用于图35中示出的示例应用的总控制单元7600。例如，图34中示出的图像处理装置的CPU 801等同于图35中示出的总控制单元7600的微机7610，图34中示出的图像处理装置的ROM 802、RAM 803和存储单元808等同于图35中示出的总控制单元7600的存储单元7690，以及图34中示出的图像处理装置的通信单元809等同于图35中示出的总控制单元7600的车载网络接口7680。

此外，参照图8、图13以及图34描述的任何图像处理装置的部件中的至少一个部件可以在图35中示出的总控制单元7600的模块(例如，由一个管芯形成的集成电路模块)中形成。可替选地，参照图8、图13、图34以及其他附图描述的任何图像处理装置可以由图35中示出的车辆控制系统7000的多个控制单元形成。

[8.本公开内容的配置的概述]

到目前为止已经通过具体示例描述了本公开内容的实施方式。然而，对本领域技术人员而言明显的是，可以在不脱离本公开内容的范围的情况下对实施方式进行修改和替换。也就是说，本发明以示例的形式公开，并且以上描述不应以限制性方式解释。在理解本公开内容的主题时应当考虑权利要求书。

注意，本说明书中公开的技术也可以以下面描述的配置来实施。

(1)一种图像处理装置，包括：

反射分量分离单元，其基于由图像输入单元获取的至少三种图像和从角度输入单元获取的反射角，从由图像输入单元获取的图像中去除反射光分量。

(2)根据(1)所述的图像处理装置，其中，

反射分量分离单元包括使用反射角计算S波和P波的各自的强度透射率和各自的强度反射率的强度透射率和强度反射率计算单元，并且

反射分量分离单元使用作为由强度透射率和强度反射率计算单元执行的计算结果的S波和P波的各自的强度透射率和各自的强度反射率从由图像输入单元获取的图像中去除反射光分量。

(3)根据(2)所述的图像处理装置，还包括：

折射率输入单元，其将由反射表面作为边界分开的两个区域的相对折射率输出至强度透射率和强度反射率计算单元。

(4)根据(3)所述的图像处理装置，其中，

强度透射率和强度反射率计算单元使用从角度输入单元输入的反射角和从折射率输入单元输入的相对折射率来计算S波和P波的各自的强度透射率和各自的强度反射率。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，图像输入单元获取由配备有具有不同偏振角度设置的偏振板的三个或更多个成像单元捕获的图像。

(6)根据(1)至(4)中任一项所述的图像处理装置，其中，图像输入单元获取由配备有可旋转偏振板的成像单元捕获的图像，并且获取在偏振板被设置成至少三种类型的旋转角度的状态下捕获的三种或更多种偏振图像。

(7)根据(1)至(4)中任一项所述的图像处理装置，其中，图像输入单元获取由偏振器堆叠的成像元件捕获的偏振图像，在偏振器堆叠的成像元件中，至少三种不同类型的偏振角度设置的偏振器被堆叠在成像元件的各个像素上。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，角度输入单元从检测成像单元的角度的陀螺仪获取检测信息，并且计算反射角，成像单元捕获要由图像输入单元获取的图像。

(9)根据(1)至(8)中任一所述的图像处理装置，其中，角度输入单元基于具有关于在图像输入单元获取的图像中要捕获的对象的形状信息的对象模型来计算反射角。

(10)根据(1)至(9)中任一项所述的图像处理装置，其中，角度输入单元获取关于在图像输入单元获取的图像中要捕获的对象的距离信息，并且基于所获取的距离信息计算反射角。

(11)根据(1)至(10)中任一项所述的图像处理装置，还包括：

图像呈现单元，其呈现由反射分量分离单元生成的透射光分量图像，已经从透射光分量图像中去除了反射光分量。

(12)根据(11)所述的图像处理装置，还包括

角度操作单元，其通过用户操作来调节要由角度输入单元输出的反射角，

其中，角度操作单元是能够在观察由图像呈现单元呈现的透射光分量图像期间调节反射角设置以使得呈现具有小反射分量的图像的操作单元。

(13)根据(1)至(12)中任一项所述的图像处理装置，还包括：

反射去除结果亮度比较单元，其将由反射分量分离单元根据不同的反射角设置而生成的多个反射去除图像的对应像素的亮度进行比较，将具有较低亮度的像素值确定为已经去除较大的反射光分量的像素值，并且选择该像素值。

(14)根据(13)所述的图像处理装置，其中，

角度输入单元通过规定步骤更新反射角，并且将更新的反射角数据依次输出至反射分量分离单元，

反射分量分离单元通过使用更新的反射角数据从由图像输入单元获取的图像中去除反射光分量来生成反射去除结果，并且

反射去除结果亮度比较单元执行以下处理：将由反射分量分离单元根据不同反射角设置而生成的多个反射去除图像的对应像素的亮度进行比较。

(15)根据(14)所述的图像处理装置，其中，

反射分量分离单元包括使用反射角来计算S波和P波的各自的强度透射率和各自的强度反射率的强度透射率和强度反射率计算单元，

强度透射率和强度反射率计算单元使用从角度输入单元依次输入的更新的反射角数据来计算S波和P波的各自的强度透射率和各自的强度反射率，并且

反射分量分离单元使用基于更新的反射角数据的S波和P波的各自的强度透射率和各自的强度反射率通过从由图像输入单元获取的图像中去除反射光分量来依次生成反射去除结果。

(16)根据(1)至(7)中任一项所述的图像处理装置，其中，

角度输入单元包括：

计算方位角的方位角计算单元，方位角是指示相机的图像捕获方向的相机眼矢量在反射表面上的投影与方位对应的参考轴之间的角度；

相机姿势获取单元，其获取相机姿势信息，相机姿势信息指示捕获要由图像输入单元获取的图像的相机的姿势；以及

计算天顶角的天顶角计算单元，天顶角是由相机眼矢量和天顶对应的参考轴形成的角度，

其中，天顶角计算单元通过输入方位角和相机姿势信息来计算等同于反射角的天顶角。

(17)根据(16)所述的图像处理装置，其中，

角度输入单元还包括从由图像输入单元获取的图像中选择部分图像区域的区域选择单元，部分图像区域经受反射光分量去除，并且

天顶角计算单元计算与由区域选择单元选择的图像区域相对应的天顶角。

(18)根据(16)所述的图像处理装置，其中，

角度输入单元还包括对由图像输入单元获取的图像执行区域划分的区域划分单元，并且

天顶角计算单元计算针对由区域划分单元形成的每个划分区域的天顶角。

(19)一种在图像处理装置中实现的图像处理方法，

图像处理方法包括：

图像输入步骤：图像输入单元获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种图像；

角度输入步骤：角度输入单元将反射角输出至反射分量分离单元，该反射角是在图像输入步骤中获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；以及

反射分量分离步骤：反射分量分离单元基于由图像输入单元获取的至少三种图像和从角度输入单元获取的反射角从由图像输入单元获取的图像中去除反射光分量。

(20)一种使图像处理装置执行图像处理的程序，

图像处理包括：

图像输入步骤：使图像输入单元获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种图像；

角度输入步骤：使角度输入单元将反射角输出至反射分量分离单元，该反射角是在图像输入步骤中获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；以及

反射分量分离步骤：使反射分量分离单元基于由图像输入单元获取的至少三种图像和从角度输入单元获取的反射角从由图像输入单元获取的图像中去除反射光分量。

此外，本说明书中描述的一系列处理可以由硬件、软件或硬件和软件的组合来执行。在由软件执行处理的情况下，记录处理序列的程序可以安装到被并入计算机中的专用硬件的存储器中，或者可以安装到可以执行各种处理的通用计算机中。例如，可以将程序预先记录到记录介质中。程序可以从记录介质安装到计算机中，或者可以经由诸如LAN(局域网)或因特网的网络被接收，并且被安装到诸如内部硬盘的记录介质中。

注意，本说明书中描述的各个处理可以不以根据描述的时间顺序执行，而是可以根据执行处理的装置的配置/能力或者根据需要来并行或彼此独立地执行。此外，在本说明书中，系统是多个装置的逻辑集合，并且不一定意味着具有并入到一个外壳中的具有不同配置的装置。

工业应用

如上所述，根据本公开内容的实施方式的配置实施了一种能够从各个方向捕获的图像中去除反射分量光的图像处理装置和方法。

具体地，例如，图像处理装置包括：图像输入单元，其获取由非偏振图像或不同偏振方向的偏振图像形成的至少三种类型的图像；角度输入单元，其将反射角输出至强度透射率和强度反射率计算单元，该反射角是所获取的图像的图像捕获方向和与反射表面的法线方向相对应的平面方向之间的角度；计算单元，其使用反射角计算S波和P波的各自的强度透射率和各自的强度反射率；以及反射分量分离单元，其使用S波和P波的各自的强度透射率和各自的强度反射率从由图像输入单元获取的图像中去除反射光分量。这些处理使得能够从具有各种反射角的捕获图像中去除反射光分量。

附图标记列表

10 相机

15 传感器

20 对象

30 光源

51 反射表面

52 入射平面

100 图像处理装置

101 图像输入单元

102 角度输入单元

103 折射率输入单元

104 强度透射率/强度反射率计算单元

105 反射分量分离单元

110 透射光分量图像

120、130、140 相机

121、131、141 偏振滤光器

122、132、142 成像元件

150 相机

151 可旋转偏振滤光器

152 成像元件

160 偏振图像捕获相机

162 偏振器堆叠的成像元件

200 图像处理装置

300 相机

600 图像处理装置

601 图像输入单元

602 角度输入单元

604 强度透射率/强度反射率计算单元

605 反射分量分离单元

606 反射去除结果呈现单元

610 角度操作单元

700 图像处理装置

701 图像输入单元

702 角度输入单元

704 强度透射率/强度反射率计算单元

705 反射分量分离单元

706 反射去除结果存储存储器

707 反射去除结果比较单元

721 方位角计算单元

722 相机姿势获取单元

723 天顶角计算单元

724 区域选择单元

725 区域划分单元

801 CPU

802 ROM

803 RAM

804 总线

805 输入/输出接口

806 输入单元

807 输出单元

808 存储单元

809 通信单元

810 驱动器

811 可移动介质

Claims

1.一种图像处理装置，包括：

图像输入单元，其获取包括不同偏振方向的偏振图像的至少三种图像，或者获取非偏振图像和包括两个不同的偏振方向的偏振图像的三种图像；

角度输入单元，其获取反射角，所述反射角是由所述图像输入单元获取的图像的图像捕获方向和与在每个像素处垂直于反射表面的平面的方向之间的角度；以及

反射分量分离单元，其基于由所述图像输入单元获取的图像和从所述角度输入单元获取的反射角从由所述图像输入单元获取的图像中去除反射光分量，其中，所述角度输入单元基于对象模型在每个像素处估计垂直于对象的平面方向的方向，所述对象模型具有在所述图像输入单元要获取的图像中的捕获对象的形状信息，并且基于所估计的方向计算所述反射角，

其中，所述反射分量分离单元包括使用所述反射角来计算S波和P波的各自的强度透射率和各自的强度反射率的强度透射率和强度反射率计算单元，并且

所述反射分量分离单元使用作为由所述强度透射率和强度反射率计算单元执行的计算结果的S波和P波的各自的强度透射率和各自的强度反射率从由所述图像输入单元获取的图像中去除反射光分量。

2.根据权利要求1所述的图像处理装置，还包括：

折射率输入单元，其将以所述反射表面作为边界而分开的两个区域的相对折射率输出至所述强度透射率和强度反射率计算单元。

3.根据权利要求2所述的图像处理装置，其中，

所述强度透射率和强度反射率计算单元使用从所述角度输入单元输入的反射角和从所述折射率输入单元输入的相对折射率来计算S波和P波的各自的强度透射率和各自的强度反射率。

4.根据权利要求1所述的图像处理装置，其中，所述图像输入单元获取由三个或更多个成像单元捕获的图像，所述成像单元配备有具有不同偏振角度设置的偏振板。

5.根据权利要求1所述的图像处理装置，其中，所述图像输入单元获取由配备有能够旋转的偏振板的成像单元捕获的图像，并且获取在所述偏振板被设置为至少三种类型的旋转角度的状态下捕获的三种或更多种偏振图像。

6.根据权利要求1所述的图像处理装置，其中，所述图像输入单元获取由偏振器堆叠的成像元件捕获的偏振图像，在所述偏振器堆叠的成像元件中，至少三种不同类型的偏振角度设置的偏振器被堆叠在成像元件的各个像素上。

7.根据权利要求1所述的图像处理装置，其中，所述角度输入单元获取在所述图像输入单元要获取的图像中的捕获对象的距离信息，并且基于所获取的距离信息计算所述反射角。

8.根据权利要求1所述的图像处理装置，还包括：

图像呈现单元，其呈现由所述反射分量分离单元生成的透射光分量图像，反射光分量已经从所述透射光分量图像中被去除。

9.根据权利要求8所述的图像处理装置，还包括：

角度操作单元，其通过用户操作来调节要由所述角度输入单元输出的所述反射角，

其中，所述角度操作单元是能够在观察由所述图像呈现单元呈现的透射光分量图像期间调节反射角设置使得呈现具有小反射分量的图像的操作单元。

10.根据权利要求1所述的图像处理装置，还包括：

反射去除结果亮度比较单元，其将由所述反射分量分离单元根据不同的反射角设置生成的多个反射去除图像的对应像素的亮度进行比较，将具有较低亮度的像素值确定为已经去除了较大的反射光分量的像素值，并且选择所述像素值。

11.根据权利要求10所述的图像处理装置，其中，

所述角度输入单元通过规定步骤更新所述反射角，并且将更新的反射角数据依次输出至所述反射分量分离单元，

所述反射分量分离单元通过使用所更新的反射角数据从由所述图像输入单元获取的图像中去除反射光分量来生成反射去除结果，并且

所述反射去除结果亮度比较单元执行以下处理：将由所述反射分量分离单元生成的、根据不同反射角设置而生成的多个反射去除图像的对应像素的亮度进行比较。

12.根据权利要求11所述的图像处理装置，其中，

所述反射分量分离单元包括使用所述反射角计算S波和P波的各自的强度透射率和各自的强度反射率的强度透射率和强度反射率计算单元，

所述强度透射率和强度反射率计算单元使用从所述角度输入单元依次输入的所更新的反射角数据来计算S波和P波的各自的强度透射率和各自的强度反射率，并且

所述反射分量分离单元通过使用基于所更新的反射角数据的S波和P波的各自的强度透射率和各自的强度反射率从由所述图像输入单元获取的图像中去除反射光分量来依次生成反射去除结果。

13.根据权利要求1所述的图像处理装置，其中，

所述角度输入单元包括：

方位角计算单元，其计算方位角，所述方位角是指示相机的图像捕获方向的相机眼矢量在所述反射表面上的投影与方位对应的参考轴之间的角度；

相机姿势获取单元，其获取指示所述相机的姿势的相机姿势信息，所述相机捕获要由所述图像输入单元获取的图像；以及

天顶角计算单元，其计算天顶角，所述天顶角是由所述相机眼矢量和天顶对应的参考轴形成的角度，

其中，所述天顶角计算单元通过输入所述方位角和所述相机姿势信息来计算等同于所述反射角的天顶角。

14.根据权利要求13所述的图像处理装置，其中，

所述角度输入单元还包括区域选择单元，其从由所述图像输入单元获取的图像中选择部分图像区域，所述部分图像区域经受反射光分量去除，并且

所述天顶角计算单元计算与由所述区域选择单元选择的图像区域相对应的天顶角。

15.根据权利要求13所述的图像处理装置，其中，

所述角度输入单元还包括区域划分单元，其对由所述图像输入单元获取的图像执行区域划分，并且

所述天顶角计算单元计算由所述区域划分单元形成的每个划分区域的天顶角。

16.一种在图像处理装置中实现的图像处理方法，

所述图像处理方法包括：

图像输入步骤，图像输入单元获取包括不同偏振方向的偏振图像的至少三种图像，或者获取非偏振图像和包括两个不同的偏振方向的偏振图像的三种图像；

角度输入步骤，角度输入单元将反射角输出至反射分量分离单元，所述反射角是在所述图像输入步骤中获取的图像的图像捕获方向和与在每个像素处垂直于反射表面的平面的方向之间的角度；以及

反射分量分离步骤，反射分量分离单元基于由所述图像输入单元获取的图像和从所述角度输入单元获取的反射角从由所述图像输入单元获取的图像中去除反射光分量，其中，所述角度输入单元基于对象模型在每个像素处估计垂直于对象的平面方向的方向，所述对象模型具有在所述图像输入单元要获取的图像中的捕获对象的形状信息，并且基于所估计的方向计算所述反射角，

17.一种其上存储有使图像处理装置执行图像处理的程序的计算机可读介质，所述程序在由计算机执行时使得所述计算机执行根据权利要求16所述的方法。