CN112912930A - 图像处理装置、拍摄装置、移动体以及图像处理方法 - Google Patents

Abstract

图像处理装置(10)具有：接口(12)，获取包含从不同视点拍摄到的基准图像和参照图像的立体图像；以及处理器(13)，对获取到的基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

Description

图像处理装置、拍摄装置、移动体以及图像处理方法

相关申请的相互参照

本申请主张2018年10月29日在日本专利申请的日本特愿2018-203192的优先权，并将该在先申请的全部公开内容援引入本申请。

技术领域

本公开涉及图像处理装置、拍摄装置、移动体以及图像处理方法。

背景技术

在专利文献1中，公开了一种使用利用搭载于车辆的拍摄系统对车外的对象进行拍摄的一对立体图像来检测距对象的距离的技术。在该技术中，将一对立体图像中的一方作为基准图像，将另一方作为比较图像，通过立体匹配处理，计算基准图像和比较图像中对应的部分在图像上的位置的差(视差)，使用计算出的视差，利用三角测量的原理获取距对象的距离信息。

现有技术文献

专利文献

专利文献1：日本特开平7-152914号公报

发明内容

解决问题的技术手段

一个方式的图像处理装置具有：接口，获取包含从不同的视点拍摄到的基准图像和参照图像的立体图像；以及处理器，对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

一个方式的拍摄装置包括：第一拍摄部，具有第一拍摄光学系统和对经由所述第一拍摄光学系统成像的像进行拍摄的第一拍摄元件；第二拍摄部，具有第二拍摄光学系统和对经由所述第二拍摄光学系统成像的像进行拍摄的第二拍摄元件，从与所述第一拍摄部不同的视点进行拍摄；接口，获取由所述第一拍摄部和所述第二拍摄部拍摄到的、包含从不同的视点拍摄到的基准图像和参照图像的立体图像；以及处理器，对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

一个方式的移动体具备对所述移动体的周边进行拍摄的拍摄装置，所述拍摄装置包括：第一拍摄部，具有第一拍摄光学系统和对经由所述第一拍摄光学系统成像的像进行拍摄的第一拍摄元件；第二拍摄部，具有第二拍摄光学系统和对经由所述第二拍摄光学系统成像的像进行拍摄的第二拍摄元件，从与所述第一拍摄部不同的视点进行拍摄；接口，获取由所述第一拍摄部和所述第二拍摄部拍摄到的、包含从不同的视点拍摄到的基准图像和参照图像的立体图像；以及处理器，对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

一个方式的图像处理方法，用于图像处理装置，包括：获取包含从不同的视点拍摄的基准图像和参照图像的立体图像的步骤，以及对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差的步骤。

附图说明

图1是表示本公开的一个实施方式的图像处理装置的结构例的图。

图2是用于说明基于图1所示的处理器的期望的特征量的决定的一例的图。

图3A是表示与前方的车辆的距离为5m的情况下的原始左图像和右图像以及得到的视差图的图。

图3B是表示与前方的车辆的距离为5m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图3C是表示与前方的车辆的距离为5m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图3D是表示与前方的车辆的距离为5m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图4A是表示与前方的车辆的距离为20m的情况下的原始左图像和右图像以及得到的视差图的图。

图4B是表示与前方的车辆的距离为20m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图4C是表示与前方的车辆的距离为20m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图4D是表示与前方的车辆的距离为20m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图5A是表示与前方的车辆的距离为30m的情况下的原始左图像和右图像以及得到的视差图的图。

图5B是表示与前方的车辆的距离为30m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图5C是表示与前方的车辆的距离为30m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图5D是表示与前方的车辆的距离为30m的情况下的基于奇异值分解的低秩近似后的左图像和右图像以及得到的视差图的图。

图6是用于说明图1所示的图像处理装置中的图像处理方法的流程图。

具体实施方式

在基于立体匹配处理的距离的检测中，抑制检测精度的下降并且降低处理负荷是有益的。根据本公开的一个方式，能够抑制基于立体匹配处理的距离的检测精度的下降并且降低处理负荷。

以下，参照附图对本公开的实施方式进行例示说明。在各附图中，相同的附图标记表示相同或同等的构成元素。

图1是表示本公开的一个实施方式的图像处理装置10的结构例的图。本实施方式的图像处理装置10使用包含基准图像和参照图像的一对立体图像，通过立体匹配处理，计算基准图像和比较图像中对应的部分在图像上的位置的差(视差)，使用计算出的视差来获取距离信息。图像处理装置10例如如图1所示搭载于移动体1。在图像处理装置10搭载于移动体1的情况下，图像处理装置10使用对移动体1的周边进行拍摄的一对立体图像，获取距该图像中包含的人、其他移动体等对象为止的距离信息。以下，作为图像处理装置10搭载于移动体1来进行说明。

本公开中的移动体1例如是车辆。车辆包括汽车以及工业车辆，但不限于此，也可以包括铁路车辆、生活车辆以及行驶在跑道上的固定翼飞机。汽车包括乘用车、卡车、公共汽车、摩托车以及无轨电车等，但不限于此，也包括行驶在道路上的其他车辆。工业车辆包括面向农业以及面向建筑业的工业车辆。工业车辆包括叉车以及高尔夫球车，但不限于此。面向农业的工业车辆包括拖拉机、耕种机、移植机、收割扎束机、联合收割机以及割草机，但不限于此。面向建筑业的工业车辆包括推土机、铲土机、铲车、吊车、翻斗车以及压路机，但不限于此。车辆包括靠人力行驶的车辆。需要说明的是，车辆的分类不限于上述。例如，汽车可以包括能够在道路行驶的工业车辆，可以在多种分类中包括相同的车辆。

图1所示的图像处理装置10具有接口12、处理器13以及存储器14。在移动体1上搭载有作为第一拍摄部的拍摄部11a以及作为第二拍摄部的拍摄部11b，该拍摄部11a和拍摄部11b获取对移动体1的周边进行拍摄而得到的图像。图像处理装置10、拍摄部11a和拍摄部11b构成搭载于移动体1的拍摄装置1A。以下，在不区分拍摄部11a和拍摄部11b的情况下，统称为拍摄部11。首先，对拍摄部11进行说明。

拍摄部11是搭载于移动体1的车载摄像头。拍摄部11获取对移动体1的周边进行拍摄而得到的图像。拍摄部11至少具有拍摄光学系统和拍摄元件。即，拍摄部11a具有作为第一拍摄光学系统的拍摄光学系统111a以及作为第一拍摄元件的拍摄元件112a。另外，拍摄部11b具有作为第二拍摄光学系统的拍摄光学系统111b以及作为第二拍摄元件的拍摄元件112b。以下，在不区分拍摄光学系统111a和拍摄光学系统111b的情况下，统称为拍摄光学系统111。另外，在不区分拍摄元件112a和拍摄元件112b的情况下，统称为拍摄元件112。

拍摄光学系统111例如包括一个以上的透镜以及光圈等光学构件。拍摄光学系统111所具备的透镜例如也可以是鱼眼透镜等视角广的透镜。拍摄光学系统111使被拍摄体像在拍摄元件112的受光面上成像。拍摄元件112例如包括CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)图像传感器等。在拍摄元件112的受光面上排列有复数个像素。拍摄元件112生成对在受光面上成像的被拍摄体像进行拍摄而得到的拍摄图像。拍摄部11也可以向搭载于移动体1的ECU(Electronic Control Unit：电子控制单元)、显示器以及导航装置等外部装置输出拍摄到的图像。另外，拍摄部11也可以具有对拍摄到的图像实施白平衡调整处理、曝光调整处理以及伽马校正处理等规定的图像处理的功能。

拍摄部11a和拍摄部11b以光轴相互平行的方式，例如，在移动体1的前方稍微向下配置。另外，拍摄部11a和拍摄部11b在移动体1的车宽度方向上横向排列地分离配置。因此，拍摄部11a和拍摄部11b从不同的视点拍摄大致相同的范围。拍摄部11a和拍摄部11b例如在移动体1是汽车的情况下，设置于汽车的前挡风玻璃的内侧。

以下，将拍摄部11a拍摄到的图像称为“基准图像”，将拍摄部11b拍摄到的图像称为“参照图像”。如上所述，拍摄部11a和拍摄部11b从不同的视点拍摄大致相同的范围。因此，基准图像和参照图像是从不同的视点拍摄了大致相同的范围而得到的立体图像。另外，基准图像和参照图像是拍摄部11a和拍摄部11b在相同或者实质上相同的定时下拍摄到的图像。“实质上相同”是指，基准图像和参照图像被拍摄的定时的偏差是不会对后述的基于立体匹配处理的距离的检测造成影响的程度的偏差。

接着，对图像处理装置10所具备的结构进行说明。

接口12经由有线或无线与移动体1所具备的各种结构进行通信。例如，接口12获取拍摄部11a拍摄到的基准图像，并向处理器13输出。另外，接口12获取拍摄部11b拍摄到的参照图像，并向处理器13输出。以下，有时将接口12获取到的基准图像和参照图像一并称为“获取图像”。

处理器13例如包括DSP(Digital Signal Processor：数字信号处理器)、GPU(Graphics Processing Uni：图形处理单元)以及FPGA(Field-Programmable Gate Array：现场可编程门阵列)等专用的处理器、或者CPU(Central Processing Unit：中央处理单元)等通用处理器。处理器13控制图像处理装置10整体的动作。例如，处理器13使用接口12获取到的基准图像和参照图像，进行立体匹配处理来计算视差，使用计算出的视差来获取距离信息。立体匹配处理，是通过在从不同的视点拍摄到的基准图像和参照图像之间匹配对应的区域而求出视差，并根据求出的视差来计算拍摄装置1A与图像所包含的物体之间的距离信息的处理。立体匹配处理能够使用公知的任意方法来进行。例如，立体匹配处理能够使用作为图像处理库来提供的OpenCV3的一个功能即StereoBM来进行。关于使用了基准图像和参照图像的立体匹配处理将在后面详细说明。

存储器14例如包括一次存储装置或二次存储装置等。存储器14存储图像处理装置10的动作所需的各种信息以及程序。

接着，对使用了基于处理器13的基准图像和参照图像的立体匹配处理进行说明。

处理器13对接口12获取到的获取图像进行数学处理，使用处理后的图像进行立体匹配处理。具体而言，处理器13对获取图像进行基于奇异值分解的低秩近似，使用低秩近似后的图像进行立体匹配处理。

处理器13生成与获取图像对应的矩阵M。与获取图像对应的矩阵M是用矩阵表现获取图像的矩阵。通常，图像由在行方向和列方向上排列的复数个像素构成。处理器13例如生成将获取图像的各像素的亮度值等作为与各像素的位置对应的元素的矩阵M。然后，处理器13进行所生成的矩阵M的奇异值分解。奇异值分解是一般的数学处理，省略详细的说明，但如以下的式(1)所示，是将任意的m×n的矩阵M分解为三个矩阵A、B、C的处理。

M＝ABC……式(1)

在式(1)中，A是m×m的正交矩阵即左奇异值矩阵，B是m×n的对角矩阵，C是n×n的正交矩阵即右奇异值矩阵。对角矩阵B(第一对角矩阵)是对角分量为正值或0且非对角分量为0的矩阵。对角矩阵B的对角分量从值大的对角分量按降序排列。将对角矩阵B的对角分量中的非零分量的数量称为秩k。

处理器13在进行上述的奇异值分解后进行低秩近似。具体而言，处理器13生成将对角矩阵B的秩降低至k-l的对角矩阵B’(第二对角矩阵)。在此，处理器13通过从对角矩阵B的非零的k个对角分量中的值小的分量起依次将一个对角分量设为零，来生成对角矩阵B’。即，处理器13生成降低了对角矩阵B的秩的对角矩阵B’。然后，处理器13生成与由左奇异值矩阵A、降低了对角矩阵B的秩的对角矩阵B’以及右奇异值矩阵C的内积而得到的矩阵M’对应的图像，作为低秩近似后的图像。

处理器13针对基准图像和参照图像分别计算上述的矩阵M’。然后，使用与针对基准图像计算出的矩阵M’对应的图像、以及与针对参照图像计算出的矩阵M’对应的图像，进行立体匹配处理。以下，将与针对基准图像计算出的矩阵M’对应的图像称为基于奇异值分解的低秩近似后的基准图像。另外，将与针对对应于参照图像的矩阵M计算出的矩阵M’对应的图像称为基于奇异值分解的低秩近似后的参照图像。处理器13通过在基于奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

如上所述，矩阵M’通过左奇异值矩阵A、降低了对角矩阵B的秩的对角矩阵B’以及右奇异值矩阵C的内积而得到。与对角矩阵B相比，对角矩阵B’的值为零的对角分量的数量更多。通过这样的对角矩阵B’的稀疏性，处理器13能够降低立体匹配处理的处理负荷。例如，处理器13通过省略任意值x×0＝0或者任意值x+0＝x这样的计算结果很明显的计算，能够降低处理负荷。

另外，对角矩阵B’通过从对角矩阵B的对角分量中值小的对角分量起依次将规定数量的对角分量设为零而得到。因此，在基于奇异值分解的低秩近似后的图像中，优先地压缩获取图像中的缺乏特征的部分。因此，即使在基于奇异值分解的低秩近似后的基准图像和参照图像中，也留下了立体匹配处理所需的特征性部分，因此能够抑制距离的检测精度的下降。

通常，为了提高基于立体匹配处理的距离的检测精度，考虑使用分辨率高的图像。然而，若使用分辨率高的图像，则处理负荷增大，立体匹配处理所需的时间也变长。另外，为了降低立体匹配处理的处理负荷，考虑降低图像的分辨率。然而，若降低图像的分辨率，则立体匹配处理所需的特征性部分的分辨率也下降，因此距离的检测会降低。另一方面，在本实施方式中，通过进行基于奇异值分解的低秩近似，能够抑制基于立体匹配处理的距离的检测精度的下降，并且降低处理负荷。

处理器13根据立体匹配处理所需的图像的特征量，来决定对角矩阵B’的秩。即，处理器13根据基于奇异值分解的低秩近似后的基准图像以及参照图像中的期望的特征量，来决定对角矩阵B’的秩。例如，处理器13一边使对角矩阵B’的秩每次变化规定值，一边求出各秩中的基于奇异值分解的低秩近似后的图像的特征量，根据对角矩阵B’的秩和基于奇异值分解的低秩近似后的图像的特征量的关系，来决定与期望的特征量对应的对角矩阵B’的秩。处理器13针对基准图像以及参照图像中的至少一方，求出对角矩阵B’的秩与基于奇异值分解的低秩近似后的图像的特征量的关系，根据该关系，决定基准图像以及参照图像中的期望的特征量，决定对角矩阵B’的秩。

对角矩阵B’的秩与基于奇异值分解的低秩近似后的图像的特征量的关系因每个图像而不同。因此，需要对每个图像进行用于求出对角矩阵B’的秩与基于奇异值分解的低秩近似后的图像的特征量之间的关系的运算，但即使进行了这样的运算，与使用获取图像本身进行立体匹配处理相比，也能够降低处理负荷。此外，特征量是指如物体的边缘那样的立体匹配处理所需的特征性部分的量，例如，能够使用空间频率来表示。

另外，处理器13也可以根据图像的区域来决定期望的特征量。

例如，在对移动体1的前方进行拍摄而得到的图像中，在图像的上部大多包含天空等对移动体1的行驶影响小的物体，在图像的中部大多包含其他移动体1或行人等对移动体1的行驶影响大的物体。即，在对移动体1的前方进行拍摄而得到的图像的上部包含获取精度高的距离信息的必要性低的物体，在图像的中部大多包含获取精度高的距离信息的必要性高的物体。另外，在对移动体1的前方进行拍摄而得到的图像的下部大多包含存在于图像的中部的已获取距离信息并伴随着移动体的行驶而相对地靠近移动体1的物体。这样，在一个图像中，存在应获取更准确的距离信息的区域。因此，处理器13可以根据获取图像的区域来决定期望的特征量，并且可以根据所决定的期望的特征量来针对每个区域决定对角矩阵B’的秩。例如，如图2所示，处理器13提高获取图像2的中部2b中的期望的特征量，降低获取图像2的上部2a中的期望的特征量，将获取图像2的下部2c中的期望的特征量设为上部2a的特征量与中部2b的特征量之间的值。

另外，处理器13也可以根据移动体1的动作，来决定期望的特征量。例如，处理器13也可以在移动体1高速移动的情况下，提高期望的特征量，在移动体1低速移动的情况下，降低期望的特征量。

另外，处理器13也可以在拍摄部11进行拍摄的帧速率可变的情况下，根据移动体1的动作，来决定帧速率和期望的特征量。例如，在移动体1高速移动的情况下，则认为移动体1在高速道路上行驶。

在移动体1在高速道路上行驶的情况下，由于移动体1的每单位时间的移动量大，因此优选拍摄部11的拍摄间隔不会过长。另外，由于移动体1的每单位时间的移动量较大，因此优选缩短立体匹配处理所需的时间。因此，例如在移动体1在高速道路上行驶的情况下，处理器13提高拍摄部11的帧速率，并且降低期望的特征量。

另外，例如，在移动体1低速移动的情况下，认为移动体1在市区行驶。在移动体1在市区行驶的情况下，虽然移动体1的每单位时间的移动量较小，但发生行人突然出现等的可能性较高，大多要求精度高的距离信息。因此，例如在移动体1低速移动的情况下，处理器13降低拍摄部11的帧速率，并且提高期望的特征量。这样一来，处理器13能够进行适合于移动体1移动的状况的匹配处理。

接着，在图3A至图3D、图4A至图4D、图5A至图5D中例示实际的立体图像以及通过使用了该立体图像的立体匹配处理而得到的视差图(Disparity Map)。具体而言，例示通过左右排列配置的拍摄部11a和拍摄部11b分别对移动体1的前方进行拍摄而得到的图像即左图像和右图像以及通过使用了这些图像的立体匹配处理而得到的视差图。视差图是映射了左图像和右图像的每个对应部分的视差的图像。在图3A至图3D、图4A至图4D、图5A至图5D中，左图像和右图像各自的大致中央部分的矩形区域是相当于存在于移动体1的前方的车辆的像的区域。

在图3A至图3D中示出了与前方的车辆的距离为5m的情况下的左图像和右图像以及使用这些图像而得到的视差图。

图3A是表示原始左图像和右图像以及使用这些图像而得到的视差图的图。原始图像的秩(与原始图像对应的矩阵的基于奇异值分解而得到的对角矩阵的秩)为640。

图3B是表示基于奇异值分解的低秩近似将特征量压缩至95％的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为214。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始图像对应的矩阵的分量中保留约33(＝214/640×100)％的分量，其他的分量为0。

图3C是表示通过基于奇异值分解的低秩近似将特征量压缩至90％后的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为127。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始图像对应的矩阵的分量中保留约19(＝127/640×100)％的分量，其他的分量为0。

图3D是表示通过基于奇异值分解的低秩近似而将特征量压缩至80％后的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为64。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始图像对应的矩阵的分量中保留约10(＝64/640×100)％的分量，其他分量为0。

在图4A至图4D中示出了在与前方的车辆的距离为20m的情况下的左图像和右图像以及使用这些图像而得到的视差图。

图4A是表示原始的左图像和右图像以及使用这些图像而得到的视差图的图。原始的图像的秩为640。

图4B是表示通过基于奇异值分解的低秩近似将特征量压缩至95％后的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为247。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始图像对应的矩阵的分量中保留约38(＝247/640×100)％的分量，其他分量为0。

图4C是表示通过基于奇异值分解的低秩近似将特征量压缩至90％的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为147。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始的图像对应的矩阵的分量中保留约22(＝147/640×100)％的分量，其他的分量为0。

图4D是表示通过基于奇异值分解的低秩近似将特征量压缩至80％的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为67。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始的图像对应的矩阵的分量中保留约10(＝67/640×100)％的分量，其他分量为0。

在图5A至图5D中示出了与前方的车辆的距离为30m的情况下的左图像和右图像以及使用这些图像而得到的视差图。

图5A是表示原始左图像和右图像以及使用这些图像而得到的视差图的图。原始图像的秩为640。

图5B是表示通过基于奇异值分解的低秩近似将特征量压缩至95％后的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为249。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始的图像对应的矩阵的分量中保留约38(＝249/640×100)％的分量，其他分量为0。

图5C是表示通过基于奇异值分解的低秩近似将特征量压缩至90％后的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为149。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始的图像对应的矩阵的分量中保留约23(＝149/640×100)％的分量，其他分量为0。

图5D是表示通过基于奇异值分解的低秩近似将特征量压缩至80％的左图像和右图像以及使用这些图像而得到的视差图的图。基于奇异值分解的低秩近似后的图像的秩为66。在该情况下，在与基于奇异值分解的低秩近似后的图像对应的矩阵中，与原始图像对应的矩阵的分量中保留约10(＝66/640×100)％的分量，其他分量为0。

如图3A至图3D所示，即使在使用了原始左图像和右图像的情况下，以及在使用了基于奇异值分解的低秩近似后的左图像和右图像的情况下，也都能够准确地检测距前方的车辆为止的距离(5m)。另外，如图4A至图4D和图5A至图5D所示，即使距前方的车辆为止的距离变大，在使用了原始左图像和右图像的情况下，以及在使用了基于奇异值分解的低秩近似后的左图像和右图像的情况下，也都能够准确地检测距前方的车辆为止的距离。因此，确认到即使使用基于奇异值分解的低秩近似后的图像，也能够抑制距离的检测精度的下降。

另外，如上所述，例如，在通过基于奇异值分解的低秩近似将特征量压缩至80％的情况下，与基于奇异值分解的低秩近似后的图像对应的矩阵为与原始的图像对应的矩阵的分量中保留约10％的分量，其他分量为0的稀疏矩阵。在使用了与这样的稀疏矩阵对应的图像的立体匹配处理中，由于能够省略乘以0或者加上0这样的计算结果很明显的计算，因此能够降低立体匹配处理的处理负荷。

接着，参照图6所示的流程图对本实施方式的图像处理装置10中的图像处理方法进行说明。图像处理装置10例如以规定的时间间隔反复进行图6所示的流程。

接口12获取拍摄部11a拍摄到的基准图像以及拍摄部11b拍摄到的参照图像(步骤S11)。即，接口12获取包含从不同的视点拍摄到的基准图像和参照图像的立体图像。

处理器13对由接口12获取的基准图像和参照图像进行基于奇异值分解的低秩近似(步骤S12)。

接着，处理器13通过在基于奇异值分解的低秩近似后的基准图像与参照图像之间进行立体匹配处理来计算视差(步骤S13)。

这样，在本实施方式中，图像处理装置10具有：接口12，获取包含从不同视点拍摄到的基准图像和参照图像的立体图像；以及处理器13，对获取到的基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于奇异值分解的低秩近似后的基准图像与参照图像之间进行立体匹配处理来计算视差。

通过进行降低通过与基准图像和参照图像对应的矩阵的奇异值分解而得到的对角矩阵的秩的低秩近似，在基于奇异值分解的低秩后的矩阵中，更多的元素成为零。因此，由于能够省略像乘以0或者加上0这样的结果很明显的计算，因此能够降低立体匹配处理的处理负荷。另外，在基于奇异值分解的低秩近似中，由于缺乏特征的部分优先被压缩，保留特征性部分，因此能够抑制基于立体匹配处理的距离的检测精度的下降。

基于附图和实施例对本公开的一个实施方式进行了说明，需要注意的是，本领域技术人员容易基于本公开进行各种变形和修正。因此，需要注意这些变形和修正包含在本公开的范围内。

附图标记说明

1 移动体

1A 拍摄装置

10 图像处理装置

11a、11b 拍摄部

12 接口

13 处理器

14 存储器

111a、111b 拍摄光学系统

112a、112b 拍摄元件

Claims (7)

1.一种图像处理装置，其中，具有：

接口，获取包含从不同的视点拍摄到的基准图像和参照图像的立体图像；以及

处理器，对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

2.如权利要求1所述的图像处理装置，其中，

所述处理器将与由所述接口获取到的基准图像和参照图像分别对应的矩阵分解为左奇异值矩阵、第一对角矩阵以及右奇异值矩阵，将分别对应于由所述左奇异值矩阵、降低了所述第一对角矩阵的秩的第二对角矩阵、所述右奇异值矩阵的内积而得到的矩阵的图像设为基于所述奇异值分解的低秩近似后的基准图像和参照图像，

所述处理器根据基于所述奇异值分解的低秩近似后的基准图像和参照图像中的期望的特征量来决定所述第二对角矩阵的秩。

3.如权利要求2所述的图像处理装置，其中，

所述处理器根据所述基准图像和所述参照图像的区域，使所述期望的特征量不同。

4.如权利要求2或3所述的图像处理装置，其中，

所述基准图像和所述参照图像由搭载于移动体的拍摄装置拍摄，

所述处理器根据所述移动体的动作，使所述期望的特征量不同。

5.一种拍摄装置，其中，包括：

第一拍摄部，具有第一拍摄光学系统和对经由所述第一拍摄光学系统成像的像进行拍摄的第一拍摄元件；

第二拍摄部，具有第二拍摄光学系统和对经由所述第二拍摄光学系统成像的像进行拍摄的第二拍摄元件，从与所述第一拍摄部不同的视点进行拍摄；

接口，获取由所述第一拍摄部和所述第二拍摄部拍摄到的、包含从不同的视点拍摄到的基准图像和参照图像的立体图像；以及

处理器，对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

6.一种移动体，具备对所述移动体的周边进行拍摄的拍摄装置，其中，

所述拍摄装置包括：

第一拍摄部，具有第一拍摄光学系统和对经由所述第一拍摄光学系统成像的像进行拍摄的第一拍摄元件；

第二拍摄部，具有第二拍摄光学系统和对经由所述第二拍摄光学系统成像的像进行拍摄的第二拍摄元件，从与所述第一拍摄部不同的视点进行拍摄；

接口，获取由所述第一拍摄部和所述第二拍摄部拍摄到的、包含从不同的视点拍摄到的基准图像和参照图像的立体图像；以及

处理器，对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差。

7.一种图像处理方法，用于图像处理装置，其中，包括：

获取包含从不同的视点拍摄的基准图像和参照图像的立体图像的步骤；以及

对获取到的所述基准图像和参照图像进行基于奇异值分解的低秩近似，通过在基于所述奇异值分解的低秩近似后的基准图像和参照图像之间进行立体匹配处理来计算视差的步骤。

Images