CN108734697A - 形状测量设备和方法 - Google Patents

Abstract

公开了一种形状测量设备和方法。在形状测量设备中，图像处理单元基于所计算的视差导出关于位于公共图像区域中的第一成像对象距形状测量设备的绝对距离信息。图像处理单元基于序列单色图像重建包括第一成像对象和第二成像对象的成像对象中的每一个的3D形状。

Description

形状测量设备和方法

技术领域

本公开内容涉及形状测量设备和方法。

背景技术

将被称为公开专利文件的日本专利申请公开第2015-219212号公开了一种包括立体相机系统的距离测量设备；该立体相机系统包括彩色成像装置和单色成像装置。

立体相机系统被配置成获取由单色成像装置和彩色成像装置分别拍摄的成像对象的单色图像和彩色图像，所述单色成像装置和彩色成像装置以预定间隔彼此靠近布置。然后，立体相机系统被配置成执行所拍摄的单色图像和彩色图像的立体匹配，从而测量从立体相机系统到成像对象的距离。

特别地，由这样的单色成像装置拍摄的单色图像具有比由这样的彩色成像装置拍摄的彩色图像高的分辨率。因此，成像对象的单色图像能够使成像对象的形状以较高的准确度被识别。

相比之下，由这样的彩色成像装置拍摄的成像对象的彩色图像包括关于成像对象的颜色信息。基于仅其颜色信息可识别的特定成像对象的彩色图像使得特定成像对象能够被识别。

也就是说，包括彩色成像装置和单色成像装置的立体相机系统获得基于单色图像的优点和基于彩色图像的优点二者。

发明内容

使用具有相对宽视角的广角相机作为车载成像装置有利于识别位于诸如交叉口之类的相对宽区域中的成像对象。相比之下，使用具有相对窄视角的窄角相机作为车载成像装置有利于识别位于距窄角相机较远距离处的诸如交通灯或车辆之类的成像对象。这是因为，由窄角相机拍摄的这样的长距离成像对象的图像包括长距离目标的区域相对于图像的整个区域的较高百分比。

从这些观点来看，本申请的发明人已经考虑了距离测量设备，其每个具有基于单色图像和彩色图像的组合使用的优点以及基于宽视角和窄视角的组合使用的优点二者。

也就是说，本公开内容的一个方面寻求提供形状测量设备和方法，其中的每一个能够有效地使用单色图像和彩色图像的第一特征以及宽视角和窄视角的第二特征。

根据本公开内容的第一示例性方面，提供了一种形状测量设备。该形状测量设备包括具有基于第一视角限定的第一视场的第一成像装置。第一成像装置被配置成基于第一视场拍摄序列单色图像。该形状测量设备包括具有基于第二视角限定的第二视场的第二成像装置。第二成像装置被配置成基于第二视场拍摄彩色图像，第二视角比第一视角窄。第一视场和第二视场具有公共视场。形状测量设备包括图像处理单元，所述图像处理单元被配置成：

(1)计算在单色图像中的选定的一个单色图像的公共图像区域与彩色图像之间的视差，所选定的单色图像与彩色图像基本同步，公共图像区域具有与第二成像装置的第二视场公共的视场，成像对象包括位于公共图像区域中的至少第一成像对象和至少部分地位于公共图像区域之外的第二成像对象；

(2)基于所计算的视差导出关于第一成像对象距形状测量设备的绝对距离信息；

(3)基于序列单色图像重建包括第一成像对象和第二成像对象的成像对象中的每一个的三维形状；

根据本公开内容的第二示例性方面，提供了一种形状测量方法。该形状测量方法包括：

(1)利用具有基于第一视角限定的第一视场的第一成像装置基于第一视场拍摄序列单色图像；

(2)利用具有基于第二视角限定的第二视场的第二成像装置基于第二视场拍摄彩色图像，第二视角比第一视角窄，第一视场和第二视场具有公共视场；

(3)计算在单色图像中的选定的一个单色图像的公共图像区域与彩色图像之间的视差，所选定的单色图像与彩色图像基本同步，公共图像区域具有与第二成像装置的第二视场公共的视场，成像对象包括位于公共图像区域中的至少第一成像对象和至少部分地位于公共图像区域之外的第二成像对象；

(4)基于所计算的视差导出关于第一成像对象距预定参考点的绝对距离信息；

(5)基于序列单色图像重建包括第一成像对象和第二成像对象的成像对象中的每一个的三维形状。

根据第一示例性方面和第二示例性方面的形状测量设备和方法中的每一个被配置成有效地使用单色图像和彩色图像的第一特征以及第一视角和比第一视角窄的第二视角的第二特征。

也就是说，形状测量设备和方法中的每个被配置成从序列单色图像中导出序列单色图像中的每一个中的第一成像对象和第二成像对象中的每一个的3D形状。该配置使得不能通过单色图像与彩色图像之间的立体匹配识别的成像对象中的每一个的3D形状能够被识别。

形状测量设备和方法中的每一个还使得能够根据位于公共图像区域中的第一成像对象的绝对距离的参考来获得至少部分位于公共图像区域之外的第二成像对象的3D形状。

附图说明

根据以下参考附图对实施方式的描述，本公开内容的其他方面将变得明显，在附图中：

图1是示意性示出根据本公开内容的本实施方式的形状测量设备的整体结构的示例的框图；

图2是示意性示出形状测量设备如何被布置，以及示出图1所示的单色相机的第一视场和彩色相机的第二视场的图；

图3是示意性示出如何执行卷帘快门模式的图；

图4A是示意性示出广角单色图像的示例的图；

图4B是示意性示出窄角彩色图像的示例的图；

图5是示意性示出根据本实施方式的形状测量任务的示例的流程图；

图6是示意性示出根据本实施方式的图像识别任务的流程图；以及

图7是示意性示出如何执行图像识别任务的图。

具体实施方式

以下参考附图描述本公开内容的本实施方式。本公开内容不限于下面的本实施方式，并且可以被修改。

对形状测量设备的结构的描述

下面参照图1和图2描述根据本公开内容的本实施方式的可安装在车辆中的形状测量设备1的结构的示例。

参照图1，安装在车辆5中的形状测量设备1包括立体相机系统2和图像处理单元3。例如，形状测量设备1被封装为封装件。封装的形状测量设备1例如安装在车辆5的乘客室内，使得设备1安装到前风挡W的内表面并且靠近前风挡镜(未示出)的中心。

参照图2，形状测量设备1具有在车辆5前方的测量区域，并且在操作时对关于位于至少一个测量区域内的成像对象的距离信息进行测量。

立体相机系统2包括一对单色相机2a和彩色相机2b。单色相机2a拍摄车辆5前方的单色图像，并且彩色相机2b拍摄车辆5前方的彩色图像。

单色相机2a具有预定的第一视角，即在例如车辆5的宽度方向上的第一视角α，并且彩色相机2b具有预定的第二视角，即在例如车辆5的宽度方向上的第二视角β。单色相机2a的被称为第一水平视角的第一视角α被设置成比彩色相机2b的被称为第二水平视角的第二视角β宽。这使得能够获得具有较宽视角的单色图像和具有较窄视角的彩色图像。

单色相机2a在车辆5的竖直方向即高度方向上的第一竖直视角可以被设置成等于彩色相机2b的第二竖直视角。

另外，单色相机2a可以在与拍摄的单色图像的对角线方向相对应的对角线方向上具有预定的第一对角线视角，并且彩色相机2b可以在与拍摄的彩色图像的对角线方向相对应的对角线方向上具有预定的第二对角线视角。单色相机2a的第一对角线视角可以设置成比彩色相机2b的第二对角线视角宽。

例如，单色相机2a和彩色相机2b被布置成平行于车辆5的宽度方向以基本上具有相同的高度并且在其之间具有预定间隔。单色相机2a和彩色相机2b被布置成相对于车辆5的中心轴对称；车辆5的中心轴具有与相机2a和2b中的每一个的高度相同的高度，并且在车辆5的宽度方向上穿过车辆5的中心。单色相机2a和彩色相机2b在车辆宽度方向上的中心用作例如参考点。

例如，如图2所示，在从车辆5的后方向前方观看时，单色相机2a位于中心轴的左侧，并且在从车辆5的后方向前方观看时，彩色相机2b位于中心轴的右侧。

也就是说，单色相机2a具有基于第一水平视角α和第一竖直视角限定的第一视场(FOV)200，并且彩色相机2b具有基于第二水平视角β和第二竖直视角限定的第二视场300。第一视场200和第二视场300具有公共视场。即，第一视场200与第二视场300之间的交叠区域构成公共视场。

例如，第二视场300几乎被包括在第一视场200中，使得第二视场300的包括在第一视场200中的部分构成第一视场200与第二视场300之间的公共视场。

单色相机2a和彩色相机2b的上述布置使得如果由单色相机2a拍摄成像对象的单色图像并且由彩色相机2b拍摄同一成像对象的彩色图像则能够提供单色图像与彩色图像之间的两个对应的点之间的视差。

也就是说，单色相机2a和彩色相机2b中的每一个被配置成在预定的相同时段中基于第一视场200和第二视场300中的相应之一拍摄具有预定大小的帧图像。然后，单色相机2a和彩色相机2b被配置成在预定时段中将基于由单色相机2a拍摄的帧图像的单色图像数据和基于由彩色相机2b拍摄的帧图像的彩色图像数据输出至图像处理单元3。即，对于每个预定相同定时，单色相机2a和彩色相机2b生成显示包括公共区域的一对左帧图像和右帧图像的单色图像数据和彩色图像数据并将其输出至图像处理单元3。

例如，如图1所示，单色相机2a包括广角光学系统21a和单色成像装置22a。单色成像装置22a包括图像传感器(图1中的传感器)22a1和信号处理器或处理器(图1中的处理器)22a2。诸如CCD图像传感器或CMOS图像传感器之类的图像传感器22a1包括各自包括CCD装置或CMOS开关的光敏元件；光敏元件用作像素并以二维阵列布置。即，像素阵列被配置成预定数量的竖直列乘以预定数量的水平行。二维布置的像素构成成像区域，即光接收区域。

广角光学系统21a具有上述第一水平视角α，并且使入射到单色相机2a的光聚焦(即，成像)在图像传感器22a1的光接收区域上作为帧图像。

信号处理器22a2被配置成执行如下拍摄任务：使二维布置的光敏元件在快门时间(即，曝光时间)期间或以快门速度曝光于入射到成像区域的光，使得二维布置的光敏元件(像素)中的每个接收入射光的相应的分量。二维布置的光敏元件中的每一个还被配置成将所接收的光分量的强度或亮度水平转换成与所接收的光分量的亮度水平成比例的模拟像素值或模拟像素信号(即，模拟像素电压信号)，从而形成帧图像。

如上所述，单色成像装置22a在图像传感器22a1的光接收表面上不包括滤色器。该配置消除如下需要：针对由图像传感器22a1的光接收表面拍摄的图像的每个像素执行将缺失的颜色插入至相应像素中的已知去马赛克处理。这使得可以获得相比于由具有滤色器的图像传感器拍摄的彩色图像具有较高分辨率的单色帧图像。在下文中，由单色相机2a拍摄的帧图像也将被称为广角单色图像。

注意，可以将由单色相机2a拍摄的广角单色图像(即，帧图像)转换成包括分别对应于模拟像素值的数字像素值的数字广角单色图像，然后将其输出至图像处理单元3。可替选地，可以将由单色相机2a拍摄的广角单色图像(即，帧图像)输出至图像处理单元3，之后，可以通过图像处理单元3将广角单色图像转换成包括分别对应于模拟像素值的数字像素值的数字广角单色图像。

例如，如图1所示，彩色相机2b包括窄角光学系统21b和彩色成像装置22b。彩色成像装置22b包括图像传感器(图1中的传感器)22b1、滤色器(图1中的滤色器)22b2、以及信号处理器或处理器(图1中的处理器)22b3。诸如CCD图像传感器或CMOS图像传感器之类的图像传感器22b1包括各自包括CCD装置或CMOS开关的光敏元件；光敏元件用作像素并以二维阵列布置。即，像素阵列被配置成预定数量的列乘以预定数量的行。二维布置的像素构成成像区域，即光接收区域。

滤色器22b2包括拜耳滤色器阵列，该拜耳滤色器阵列包括以预定拜耳布置排列的红色(R)滤色器元件、绿色(G)滤色器元件和蓝色(B)滤色器元件；滤色器元件面对图像传感器22b1的光接收表面的相应像素。

窄角光学系统21b具有上述第二水平视角β，并使入射到彩色相机2b的光经由滤色器22b2聚焦(即，成像)在图像传感器22b1的光接收区域上作为帧图像。

信号处理器22b3被配置成执行如下拍摄任务：使二维布置的光敏感元件在快门时间(即，曝光时间)期间或快门速度曝光于入射到成像区域的光，使得二维布置的光敏元件(像素)中的每个接收入射光的相应的分量。二维布置的光敏元件中的每一个还被配置成将所接收的光分量的强度或亮度水平转换成与所接收的光分量的亮度水平成比例的模拟像素值或模拟像素信号(即，模拟像素电压信号)，从而形成帧图像。

如上所述，彩色成像装置22b在图像传感器22b1的光接收表面上包括滤色器22b2，滤色器22b2包括以预定拜耳布置排列的RGB滤色器元件。为此，由图像传感器22b1拍摄的帧图像的每个像素具有指示与滤色器22b2的相应滤色器元件的颜色匹配的单色的颜色信息。

特别地，彩色成像装置22b的信号处理器22b3被配置成针对由图像传感器22b1的光接收表面拍摄的图像(即，原始图像)的每个像素执行将缺失的颜色插入至相应像素中的去马赛克处理，从而获得成像对象的彩色帧图像；彩色帧图像再现与成像对象的原始自然颜色相似的颜色。

由上述彩色相机22b的彩色图像传感器22b1拍摄的彩色帧图像通常具有相比于由单色相机拍摄的单色图像较低的分辨率，每个单色相机具有成像区域的大小与彩色图像传感器22b1的成像区域的大小相同的单色图像传感器。

在下文中，由彩色相机2b拍摄的帧图像也将被称为窄角彩色图像。

注意，可以将由彩色相机2b拍摄的窄角彩色图像(即，帧图像)转换成包括分别对应于模拟像素值的数字像素值的数字窄角彩色图像，然后将其输出至图像处理单元3。可替选地，可以将由彩色相机2b拍摄的窄角彩色图像(即，帧图像)输出至图像处理单元3，之后，可以通过图像处理单元3将窄角彩色图像转换成包括分别对应于模拟像素值的数字像素值的数字窄角彩色图像。

特别地，单色相机2a的信号处理器22a2被配置成：

(1)在已知的卷帘快门模式下，使图像传感器22a1的光接收区域(参见图3)从顶水平行到底水平行水平线(行)接水平线(行)地曝光于入射光；

(2)将每个水平线的接收到的光分量的强度或亮度水平水平线接水平线地转换成相应水平线的模拟像素值；

(3)水平线接水平线地读出每个水平线的模拟像素值；

(4)将相应的水平线的模拟像素值彼此组合，从而获得帧图像。

类似地，彩色相机2b的信号处理器22b3被配置成：

(1)在已知的卷帘快门模式下，使图像传感器22b1的光接收区域从顶水平行到底水平行水平线(行)接水平线(行)地曝光于入射光；

(2)将每个水平线的接收到的光分量的强度或亮度水平水平线接水平线地转换成相应水平线的模拟像素值；

(3)水平线接水平线地读出每个水平线的模拟像素值；

(4)将相应的水平线的模拟像素值彼此组合，从而获得帧图像。

如图2所示，单色相机2a和彩色相机2b被布置成使得单色相机2a的第一视场200和彩色相机2b的第二视场300彼此部分地交叠；交叠区域构成公共视场。

图4A示出了基于第一视场200由单色相机2a拍摄的车辆5前方的场景的广角单色图像60的示例，并且图4B示出了基于第二视场300由彩色相机2b拍摄的车辆5前方的场景的窄角彩色图像70的示例。实际上，窄角彩色图像70包含关于所拍摄的场景的颜色信息。在广角单色图像60中附图标记62示出了其视场与窄角彩色图像70的第二视场300公共的公共FOV图像区域。注意，附图标记62所分配的虚线矩形区域仅示出其视场与窄角彩色图像70的第二视场300公共的公共FOV图像区域，并且没有示出广角单色图像60中的实际边缘。

广角单色图像60包括作为成像对象的前方车辆的图像61；前方车辆位于公共视场中。窄角彩色图像70还包括作为同一成像对象的同一前方车辆的图像71。如果图像传感器22a1的光接收区域的大小与图像传感器22b1的光接收区域的大小相同，则包括在广角单色图像60中的前方车辆的图像61按照第一水平视角α与第二水平视角β的比小于包括在窄角彩色图像70中的前方车辆的图像71。这是因为第一视场200大于第二视场300。

广角单色图像60和窄角彩色图像70的立体匹配被特别配置成计算广角单色图像60的公共FOV图像区域62的每个点与窄角彩色图像70的对应点之间的视差；公共FOV图像区域62具有与窄角彩色图像70的第二视场300所公共的视场。

注意，作为执行立体匹配的前提条件，已经严格校准了单色相机2a的预定的本征和外在参数以及彩色相机2b的对应的本征和外在参数，使得广角单色图像60中的诸如每个像素的每个点的坐标与窄角彩色图像70中的对应点的坐标准确相关，并且已经获得了在公共FOV图像区域62中的诸如每个像素的每个点的坐标，公共FOV图像区域62的视场与窄角彩色图像70的第二视场300是公共的。

如果在卷帘快门模式下由单色相机2a拍摄的广角单色图像60的公共FOV图像区域62的曝光时段与在卷帘快门模式下由彩色相机2b拍摄的窄角彩色图像70的曝光时段不匹配，则由于公共FOV图像区域62的曝光时段与窄角彩色图像70的曝光时段之间的时间差，在广角单色图像60的公共FOV图像区域62中包括的成像对象的图像61与在窄角彩色图像70中包括的成像对象的图像71不同。

这可能导致基于广角单色图像60的公共FOV图像区域62的每个点与窄角彩色图像70的对应点之间的视差(disparity)所获得的距离信息中的错误。

注意，图像区域的曝光时段被限定为从在卷帘快门模式下图像区域曝光于光的开始到图像区域曝光于光的完成的时段。

从这个观点出发，为了使广角单色图像60的公共FOV图像区域62的曝光时段与整个窄角彩色图像70的曝光时段相匹配，单色成像装置22a和彩色成像装置22b中之一被设计为第一曝光时间和第二曝光时间中的至少一个相对于另一个改变。

第一曝光间隔表示对于广角单色图像60，在一个水平线(行)曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔。

第二曝光间隔表示对于窄角彩色图像70，在一个水平线曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔。该曝光间隔改变旨在使广角单色图像60的公共FOV图像区域62的曝光时段与整个窄角彩色图像70的曝光时段基本同步。

具体地，假定单色相机2a的图像传感器22a1的水平线(行)的数目被设定为等于彩色相机2b的图像传感器22b1的水平线(行)的数目。

在该假设中，可以基于包括公共FOV图像区域62的所有像素的水平线的数目与窄角彩色图像70的水平线的数目的比率来确定包括公共FOV图像区域62的所有像素的水平线之间的曝光间隔与窄角彩色图像70的水平线之间的曝光间隔的比率。

也就是说，包括公共FOV图像区域62的广角单色图像60的水平线之间的曝光间隔被设定为基于第一水平视角α与第二水平视角β的比率比窄角彩色图像70的水平线之间的曝光间隔相对长。这使得可以使公共FOV图像区域62的曝光时段与窄角彩色图像70的曝光时段同步。

可替选地，窄角彩色图像70的水平线之间的曝光间隔被设定为基于第一水平视角α与第二水平视角β的比率比包括公共FOV图像区域62的广角单色图像60的水平线之间的曝光间隔相对短。这也使得可以使公共FOV图像区域62的曝光时段与窄角彩色图像70的曝光时段同步。

返回图1，图像处理单元3被设计为信息处理单元，其包括CPU 3a，包括例如RAM、ROM和闪存中至少之一的存储装置3b，以及输入输出(I/O)接口3c或其他外围设备；CPU 3a、存储装置3b、I/O以及外围设备彼此可通信地连接。半导体存储器是非暂态存储介质的示例。

例如，其中集中安装了计算机系统的功能的微控制器或微型计算机实现图像处理单元3。例如，图像处理单元3的CPU 3a执行存储在存储装置3b中的至少一个程序从而实现图像处理单元3的功能。类似地，图像处理单元3的功能可以由至少一个硬件单元来实现。多个微控制器或微型计算机可以实现图像处理单元3。

也就是说，存储装置3b用作存储至少一个程序的存储器，并且还用作其中CPU 3a执行各种识别任务的工作存储器。

图像处理单元3的CPU 3a接收由单色相机2a拍摄并由此输出的广角单色图像和由彩色相机2b拍摄并由此输出的窄角彩色图像。CPU 3a将一对广角单色图像即左图像和窄角彩色图像即右图像存储在存储装置3b中。然后，CPU 3a基于存储装置3b中的广角单色图像和窄角彩色图像执行包括形状测量任务和图像识别任务的图像处理任务，从而获得关于在广角单色图像和窄角彩色图像中的每一个中包括的至少一个成像对象的图像处理信息。关于至少一个成像对象的图像处理信息包括：

(1)至少一个成像对象相对于立体相机2的距离信息，

(2)指示至少一个成像对象的图像识别信息。

然后，CPU 3a将关于至少一个成像对象的图像处理信息输出到预定车载装置50，预定车载装置50包括例如用于减轻和/或避免车辆5与车辆5前方的至少一个成像对象之间的碰撞损坏的ECU 50a。

具体地，ECU 50a被配置成：

(1)根据图像识别信息确定车辆5是否将与至少一个成像对象碰撞，

(2)使用例如警报装置51、制动装置52和/或转向装置53，执行避免碰撞和/或减轻基于碰撞的损坏。

警报装置51包括安装在车辆5的车厢内的扬声器和/或显示器。警报装置51被配置成响应于从ECU 50a发送的控制指令输出包括例如警报声音和/或警报消息的警报以通知驾驶员存在至少一个成像对象。

制动装置52被配置成对车辆5进行制动。当ECU 50a确定存在车辆5与至少一个成像对象的高的碰撞可能性时，制动装置52响应于从ECU 50a发送的控制指令而被激活。

转向装置53被配置成控制车辆5的行驶路线。当ECU 50a确定存在车辆5与至少一个成像对象的高的碰撞可能性时，转向装置53响应于从ECU 50a发送的控制指令而被激活。

接下来，下面描述在预定的第一控制时段中由图像处理单元3的CPU 3a执行的形状测量任务。

在形状测量任务的当前循环的步骤S100中，每次当单色相机2a拍摄广角单色图像时，CPU 3a获取广角单色图像，并将广角单色图像加载到存储装置3b中。因此，这使得包括在当前循环中获取的广角单色图像以及在先前循环中获取的广角单色图像的广角单色图像已经被存储在存储装置3b中。注意，在当前循环中获取的广角单色图像将被称为当前广角单色图像，并且在先前循环中获取的广角单色图像将被称为先前广角单色图像。

接下来，在步骤S102中，CPU 3a从顺序获取的包括当前广角单色图像和先前广角单色图像的广角单色图像中导出在顺序获取的广角单色图像中包括的成像对象中的每一个的三维形状。

具体地，在步骤S102中，CPU 3a根据运动(SfM)方法利用例如已知结构从序列广角单色图像中导出成像对象中的每一个的三维(3D)形状。SfM方法是获得在序列广角单色图像中的相应的特征点，并且基于相应的特征点在存储装置3b中重建成像对象中的每一个的3D形状。基于SfM方法的成像对象中的每一个的重建的3D形状具有尺度不变性，使得重建相应特征点之间的相对关系，但是不能重建成像对象中的每一个的绝对尺度。

在步骤S104中，CPU 3a从彩色相机2b中获取与当前广角单色图像同步地由彩色相机2b拍摄的当前窄角彩色图像，并且将窄角彩色图像加载到存储装置3b中。

在步骤S106中，CPU 3a相对于立体相机2使用基于当前广角单色图像和当前窄角彩色图像的立体匹配导出到成像对象中的位于公共FOV图像区域中的被称为至少一个公共FOV成像对象的至少一个成像对象的距离信息。具体地，在步骤S106中，由于已经获得了其视场对当前窄角彩色图像的第二视场300公共的公共FOV图像区域中的每个点的坐标，因此CPU 3a从当前广角单色图像中提取公共FOV图像区域。

例如，对于图3所示的示例，在步骤S106中，CPU 3a从广角单色图像60中提取其视场与窄角彩色图像70的第二视场300公共的公共FOV图像区域62。

然后，CPU 3a使用在步骤S106中的立体匹配，计算包括在提取的公共FOV图像区域中的诸如像素的每个点与窄角彩色图像70的对应点之间的视差的视差图。

接下来，CPU 3a根据视差图计算相对于立体相机2的到位于公共FOV图像区域中的至少一个公共FOV成像对象的每个点的绝对距离。

注意，在步骤S106中，如果从广角单色图像提取的公共FOV图像区域的大小大于窄角彩色图像的大小，则CPU 3a转变公共FOV图像区域的大小和窄角彩色图像的大小中之一，从而使公共FOV图像区域的大小与窄角彩色图像的大小相匹配。之后，CPU 3a基于等大小的公共FOV图像区域和窄角彩色图像执行立体匹配。

接下来，在步骤S108中，CPU 3a根据在步骤S106中导出的到至少一个公共FOV成像对象的每个点的绝对距离来校正在步骤S102中导出的成像对象中的每一个的3D形状中的每个特征点的尺度。

具体地，基于在步骤S106中的立体匹配已经获得了相对于立体相机2的到位于公共FOV图像区域中的至少一个公共FOV成像对象的每个点的绝对距离。然后，CPU 3a计算至少一个公共FOV成像对象与至少部分地位于公共FOV图像区域之外的至少一个其余成像对象之间的相对位置关系。之后，CPU 3a根据到位于公共FOV图像区域中的至少一个公共FOV成像对象的每个点的绝对距离，计算到位于公共FOV图像区域之外的至少一个其余成像对象的每个点的绝对距离。

这使得能够获得到广角单色图像中的成像对象中的每一个的每个点的绝对距离，这些成像对象包括位于公共FOV图像区域中的至少一个公共FOV成像对象和位于公共FOV图像区域之外的至少一个其余成像对象。

在步骤S108的操作之后，CPU 3a向车载装置50输出在步骤S102中导出的成像对象中的每一个的3D形状，在步骤S108中已经按照关于位于广角单色图像中的成像对象中的每一个的距离信息校正了在相应成像对象的3D形状中的每个特征点的尺度。

接下来，下面描述图像处理单元3的CPU 3a在预定的第二控制时段中执行的图像识别任务，该预定的第二控制时段可以与第一控制时段相同或不同。

在图像识别任务的当前循环的步骤S200中，CPU 3a获取由单色相机2a拍摄的广角单色图像，并执行诸如图案匹配的目标识别处理，从而识别出至少一个特定目标对象。至少一个特定目标对象被包括在广角单色图像中包括的成像对象中。

例如，存储装置3b存储对象模型字典MD。对象模型字典包括针对各种类型的目标对象中的每个提供的对象模型，即特征量模板，所述目标对象为例如诸如车辆或除了车辆5之外的行人之类的交通可移动对象、道路交通标志和道路标记等。

也就是说，CPU 3a从存储装置3b读取关于各种类型的对象中的每一个的特征量模板，并且执行特征量模板与广角单色图像之间的图案匹配处理，由此基于图案匹配处理的结果识别至少一个特定目标对象。即，CPU 3a获得至少一个特定目标对象作为第一识别结果。

因为单色相机2a在图像传感器22a1的光接收表面上不设置有滤色器，所以广角单色图像具有较高的分辨率，使得至少一个特定目标对象的轮廓或外形更清晰地呈现。这使得基于例如步骤S200中的图案匹配的图像识别操作能够以较高的准确度识别至少一个特定目标对象。此外，因为单色相机2a具有较宽的第一水平视角α，所以可以在车辆5前方的较宽的水平范围内检测特定目标对象。

在步骤S202中，CPU 3a从彩色相机2b中获取与当前广角单色图像同步地已经由彩色相机2b拍摄的窄角彩色图像，并将窄角彩色图像加载到存储装置3b。在步骤S202中，CPU3a识别在窄角彩色图像中包括的颜色的分布。

接下来，在步骤S204中，CPU 3a根据在窄角彩色图像中包括的颜色的分布执行颜色识别处理。具体地，CPU 3a根据在窄角彩色图像中包括的颜色的分布，从窄角彩色图像的周边区域提取至少一个特定颜色区域作为第二识别结果。窄角彩色图像的周边区域表示从窄角彩色图像的每个边缘具有预定数目的像素的矩形框区域。

至少一个特定颜色区域表示特定颜色，诸如红色、黄色、绿色、白色或其他颜色；特定的颜色例如表示：

(1)车辆的至少一个灯或光源的颜色，

(2)至少一个交通灯的颜色，

(3)道路交通标志使用的至少一种颜色，或者

(4)道路标记使用的至少一种颜色。

接下来，在步骤S206中，CPU 3a将在步骤S204中获得的第二识别结果与在步骤S200中获得的第一识别结果合并，即组合。

具体地，在步骤S206中，CPU 3a将至少一个颜色区域与至少一个特定目标对象组合，使得至少一个颜色区域被至少一个特定目标的对应区域替代或与至少一个特定目标的对应区域交叠；使构成至少一个颜色区域的像素的坐标与构成至少一个特定目标的对应区域的像素的坐标相匹配。

然后，在步骤S208中，CPU 3a向车载装置50输出第二识别结果和公共FOV图像区域的组合作为图像识别信息。

下面参照图7描述如何执行图像识别任务的示例。在图7中，附图标记63表示广角单色图像，并且附图标记72表示窄角彩色图像。在图7中，附图标记62表示具有与窄角彩色图像70的第二视场300公共的视场的公共FOV图像区域。

在下文中，假设：

(1)在广角单色图像63中识别被分配了附图标记64的车辆(参见步骤S200)，

(2)车辆64的大部分分布在广角单色图像63的除了公共FOV图像区域62之外的其余图像区域中，

(3)车辆64的其余部分即后端位于公共FOV图像区域62中，

(4)在周边区域的左边缘中识别发射红光的红色区域74(参见步骤S202)。

红色区域74构成车辆后端73的一部分；该部分呈现在周边区域的左边缘。不幸的是，基于例如呈现在窄角彩色图像72的周边区域中的后端73的图像的图案匹配来执行图像识别处理可能不会将红色区域74标识为车辆的一部分。也就是说，使用从仅窄角彩色图像72获得的信息可能难以识别出红色区域74对应于车辆的尾灯。

从该观点来看，图像处理单元3的CPU 3a将作为第二识别结果的红色区域74与作为第一识别结果的车辆64组合，使得红色区域74被车辆64的对应区域替代或与车辆64的对应区域交叠；构成红色区域74的像素的坐标与构成车辆64的对应区域的像素的坐标相匹配。

这使得能够获得表示尾灯正在发射红光的车辆的图像识别信息(参见附图标记75)。

有利的效果

根据本实施方式的形状测量设备1获得以下有利效果。

形状测量设备1被配置成使用广角单色图像和窄角彩色图像，从而获得关于在广角单色图像中包括的至少一个成像对象的距离信息，以及关于至少一个成像对象的颜色信息。具体地，形状测量设备1被配置成使用具有相对宽视角α的单色相机2a来拍摄单色图像。该配置使得能够获得具有较高分辨率的广角单色图像，使得能够提高形状测定装置1对位于距形状测定装置1的距离相对远的目标对象进行识别的能力。

形状测量设备1被配置成使用例如已知的SfM方法从序列广角单色图像中导出位于公共FOV图像区域中的成像对象的3D形状。该配置使得能够识别不能通过在单色图像与彩色图像之间的立体匹配识别的成像对象的3D形状。该配置还使得能够基于立体匹配获得位于公共FOV图像区域中的成像对象的绝对尺度。该配置还使得能够根据位于公共FOV图像区域中的成像对象的绝对尺度的参考来获得位于公共FOV图像区域之外的至少一个其余成像对象的3D形状。

形状测量设备1被配置成相对于在卷帘快门模式下对于窄角彩色图像70的表示在一个水平线曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔的曝光间隔来改变在卷帘快门模式下对于广角单色图像60的表示在一个水平线(行)曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔的曝光间隔。

该配置使得可以使广角单色图像的公共FOV图像区域的曝光时段与整个窄角彩色图像的曝光时段基本同步。

形状测量设备1被配置成将基于对广角单色图像的对象识别处理的第一识别结果与基于对窄角彩色图像的颜色识别处理的第二识别结果进行合并，即，组合。

该配置使得可以将第一识别结果和第二识别结果中的一个与另一个相补充。

单色相机2a对应于例如第一成像装置，并且彩色相机2b对应于例如第二成像装置。

本实施方式中的一个元件的功能可以被分配到多个元件，并且多个元件具有的功能可以组合到一个元件。本实施方式的至少一部分结构可以被具有与本实施方式的至少一部分结构的功能相同的功能的已知结构代替。可以省略本实施方式的一部分结构。包括在由权利要求书使用的语言指定的技术思想中的所有方面构成了本公开内容的实施方式。

本公开内容可以通过各种实施方式来实现；各种实施方式包括系统以及距离信息获取方法，所述系统各自包括形状测量设备1、用于将计算机用作形状测量设备1的图像处理单元3的程序、诸如存储程序的非暂态介质的存储介质。

虽然本文已经描述了本公开内容的说明性实施方式，但是本公开内容不限于本文所描述的实施方式，而是包括如本领域普通技术人员基于本公开内容将意识到的具有修改、省略、组合(例如跨各种实施方式的方面)、改编和/或改变的任意实施方式和所有实施方式。权利要求中的限制要基于权利要求中使用的语言来广义地解释，而不限于本说明书中或在本申请的诉讼期间所描述的示例，这些示例将被解释为非排他性的。

Claims (8)

1.一种形状测量设备，包括：

具有基于第一视角限定的第一视场的第一成像装置，所述第一成像装置被配置成基于所述第一视场拍摄序列单色图像；

具有基于第二视角限定的第二视场的第二成像装置，所述第二成像装置被配置成基于所述第二视场拍摄彩色图像，所述第二视角比所述第一视角窄，所述第一视场和所述第二视场具有公共视场；以及

图像处理单元，被配置成：

计算所述单色图像中的选定的一个单色图像的公共图像区域与所述彩色图像之间的视差，所选定的单色图像与所述彩色图像基本同步，所述公共图像区域具有与所述第二成像装置的所述第二视场公共的视场，成像对象包括位于所述公共图像区域中的至少第一成像对象和至少部分地位于所述公共图像区域之外的第二成像对象；

基于所计算的视差导出关于所述第一成像对象距所述形状测量设备的绝对距离信息；以及

基于所述序列单色图像重建包括所述第一成像对象和所述第二成像对象的所述成像对象中的每一个的三维形状。

2.根据权利要求1所述的形状测量设备，其中，所述图像处理单元被配置成根据关于所述第一成像对象的所述绝对距离信息来校正所述第二成像对象的三维形状。

3.根据权利要求2所述的形状测量设备，其中：

所述第一成像装置和所述第二成像装置中的每一个包括图像传感器，所述图像传感器包括光接收区域，所述光接收区域包括以水平行和竖直列布置的光敏像素，

所述第一成像装置被配置成以卷帘快门模式驱动相应的图像传感器，从而拍摄所述序列单色图像中的每一个，

所述第二成像装置被配置成以所述卷帘快门模式驱动相应的图像传感器，从而拍摄所述彩色图像；以及

所述第一成像装置和所述第二成像装置中至少之一被配置成根据所述第一视角与所述第二视角的比例来使第一曝光间隔和第二曝光间隔中至少一个相对于另一个改变，

所述第一曝光间隔表示对于所述序列单色图像中的每一个在一个水平行曝光于入射光的结束与下一个水平行曝光于入射光的开始之间的间隔，

所述第二曝光间隔表示对于所述彩色图像在一个水平线曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔，

使所述第一曝光间隔和所述第二曝光间隔中至少一个相对于另一个改变导致所述序列单色图像中的每一个的所述公共图像区域的曝光时段与所述彩色图像的曝光时段基本上同步。

4.根据权利要求2或3所述的形状测量设备，其中，所述图像处理单元被配置成：

识别所述序列单色图像中的选定的一个单色图像中的特定目标对象；

识别所述彩色图像的周边区域中的至少一个彩色图像区域，所述至少一个彩色图像区域表示特定颜色；以及

将关于所述至少一个彩色图像区域的信息与关于所述特定目标对象中的预定区域的信息结合，所述序列单色图像中的选定的一个单色图像中的所述特定目标对象中的所述预定区域对应于所述至少一个彩色图像区域。

5.一种形状测量方法，包括：

利用具有基于第一视角限定的第一视场的第一成像装置基于所述第一视场拍摄序列单色图像；

利用具有基于第二视角限定的第二视场的第二成像装置基于所述第二视场拍摄彩色图像，所述第二视角比所述第一视角窄，所述第一视场和所述第二视场具有公共视场；

计算所述单色图像中的选定的一个单色图像的公共图像区域与所述彩色图像之间的视差，所选定的单色图像与所述彩色图像基本同步，所述公共图像区域具有与所述第二成像装置的所述第二视场公共的视场，所述成像对象包括位于所述公共图像区域中的至少第一成像对象和至少部分地位于所述公共图像区域之外的第二成像对象；

基于所计算的视差导出关于所述第一成像对象距预定参考点的绝对距离信息；以及

基于所述序列单色图像重建包括所述第一成像对象和所述第二成像对象的所述成像对象中的每一个的三维形状。

6.根据权利要求5所述的形状测量方法，还包括：

根据关于所述第一成像对象的所述绝对距离信息来校正所述第二成像对象的三维形状。

7.根据权利要求6所述的形状测量方法，其中：

所述第一成像装置和所述第二成像装置中的每一个包括图像传感器，所述图像传感器包括光接收区域，所述光接收区域包括以水平行和竖直列布置的光敏像素，

使用所述第一成像装置的拍摄步骤以卷帘快门模式驱动相应的图像传感器，从而拍摄所述序列单色图像中的每一个；以及

使用所述第二成像装置的拍摄步骤以所述卷帘快门模式驱动相应的图像传感器，从而拍摄所述彩色图像，

所述形状测量方法还包括：

使用所述第一成像装置和所述第二成像装置中至少之一，根据所述第一视角与所述第二视角的比例来使第一曝光间隔和第二曝光间隔中至少一个相对于另一个改变，

所述第一曝光间隔表示对于所述序列单色图像中的每一个在一个水平行曝光于入射光的结束与下一个水平行曝光于入射光的开始之间的间隔，

所述第二曝光间隔表示对于所述彩色图像在一个水平线曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔，

使所述第一曝光间隔和所述第二曝光间隔中至少一个相对于另一个改变导致所述序列单色图像中的每一个的所述公共图像区域的曝光时段与所述彩色图像的曝光时段基本上同步。

8.根据权利要求6或7所述的形状测量方法，还包括：

识别所述序列单色图像中的选定的一个单色图像中的特定目标对象；

识别所述彩色图像的周边区域中的至少一个彩色图像区域，所述至少一个彩色图像区域表示特定颜色；以及

将关于所述至少一个彩色图像区域的信息与关于所述特定目标对象中的预定区域的信息结合，所述序列单色图像中的选定的一个单色图像中的所述特定目标对象中的所述预定区域对应于所述至少一个彩色图像区域。