CN117094875A - 图像处理设备、图像处理方法、可移动设备和存储介质 - Google Patents

Abstract

本发明提供图像处理设备、图像处理方法、可移动设备和存储介质。图像处理设备能够减小距离变动的影响，其包括：边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。

Description

图像处理设备、图像处理方法、可移动设备和存储介质

技术领域

本发明涉及用于对物体的距离信息进行处理的图像处理设备、图像处理方法、可移动设备和存储介质等。

背景技术

存在具有如下的传感器的摄像装置，其中在该传感器中二维排列了具有光电转换功能的多个像素区域，并且该传感器能够在各个像素区域中获取图像信号和距离信息。在日本特开2007-281296中所公开的固态摄像元件中，对于摄像装置的部分或全部像素，布置具有距离测量功能的像素，并且基于在摄像面上检测到的相位差来检测被摄体距离(摄像面相位差方法)。

也就是说，基于两个图像信号之间的相关性来计算位置偏差，并基于位置偏差来获取距离，其中所述两个图像信号是基于由通过了摄像装置的摄像光学系统的不同光瞳区域的光束生成的图像的。通过使用诸如基于区域的匹配方法等的方法来评估两个图像信号之间的相关性，其中该基于区域的匹配方法用于从各个图像信号中切出预定对照区域中所包括的图像信号并评估相关性。

然而，例如，如果图像信号中所包括的被摄体的对比度变化很小，或者如果图像信号中所包括的噪声量大，则可能由于被摄体或摄像条件而错误地评估相关性。如果存在超过一定数量的错误的相关性评估，则两个计算出的图像信号之间的位置偏差量存在误差，并且所获取的距离的精度可能降低。

本发明的目的之一是提供能够降低距离变动的影响的图像处理设备。

发明内容

根据本发明的一个方面，提供了一种图像处理设备，其包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。

通过以下参考附图对实施例的描述，本发明的其他特征将变得明显。

附图说明

图1是示出根据第一实施例的车辆100的配置示例的示意图。

图2是示出根据第一实施例的车辆100的内部配置示例的框图。

图3是示出根据第一实施例的路线生成设备150的配置示例的功能框图。

图4A和图4B是示出根据第一实施例的摄像元件的配置示例的示意图。

图5A至图5D是用于描述在摄像面相位差方法中的被摄体距离和入射光之间的关系的示意图。

图6A和图6B是示出根据第一实施例的图像处理单元310所执行的处理的示例的流程图。

图7A和图7B是示出根据第一实施例的边界处理单元321和物体检测单元323所执行的处理的示例的流程图。

图8A至图8E是示出根据第一实施例的物体信息生成单元320所进行的处理的示例中的图像和信息的示例的示意图。

图9是示出边界处理单元321所进行的图7B中的步骤S7011中的物体边界候选确定处理的详细示例的流程图。

图10是示出距离信息生成单元322所进行的图7B中的步骤7012中的距离当量信息合并处理的详细示例的流程图。

图11是示出物体检测单元323所进行的图7B中的步骤7013的物体检测处理的具体示例的流程图。

图12是示出距离信息生成单元322所进行的针对各个物体的距离信息生成处理的示例的流程图。

图13是示出根据第一实施例的路线生成单元330所执行的路线生成处理的示例的流程图。

图14是示出第二实施例中的距离信息生成单元322所进行的物体距离信息生成处理的示例的流程图。

图15是用于描述具有与第N个物体的识别号相同的识别号的物体的物体距离信息的时间变化的示例的示意图。

具体实施方式

在下文中，将参考附图通过使用实施例来描述本发明的有利模式。在各个图中，相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的描述。在以下描述中，将使用配备有摄像装置的路线生成设备(电子设备)的示例，但是本发明不限于此。

第一实施例

图1是示出根据第一实施例的车辆100的配置示例的示意图。作为可移动设备的车辆100包括摄像装置110、雷达装置120、路线生成ECU 130、车辆控制ECU 140和测量仪器组160。

车辆100还包括作为用于驱动车辆100的驱动控制单元的驱动单元170和存储器190等。将参考图2描述驱动单元170和存储器190等。

摄像装置110和路线生成ECU 130等构成作为图像处理设备的路线生成设备150。驾驶员101可以登上车辆100，并且当车辆100正在行进时，驾驶员101在车辆100中面向前方(前进方向)。

驾驶员101可以通过操作诸如车辆100的方向盘、加速踏板和制动踏板等的操作构件来控制车辆的操作。车辆100可以具有自动驾驶功能，或者可以从外部被远程控制。

摄像装置110被布置为拍摄车辆100的前方(正常前进方向)的图像。如图1所示，摄像装置110被布置在车辆100的例如挡风玻璃的上端附近的内部，并且对车辆100的前方的预定角度范围(以下称为摄像视角)中的区域进行摄像。

摄像装置110可以包括被布置为对车辆100的后方(与正常行进方向相反的后退方向)进行摄像的摄像装置或者被布置为对车辆的侧方进行摄像的摄像装置。也就是说，多个摄像装置110可以布置在车辆100中。

图2是示出根据第一实施例的车辆100的内部配置示例的框图。摄像装置110拍摄包括车辆100正在行进的道路(行进道路)的、车辆周围的环境(周围环境)的图像，并检测摄像装置110的摄像视角内所包括的物体。

摄像装置110获取与所检测到的物体有关的信息(外部信息)和与所检测到的物体的距离有关的信息(物体距离信息)，并将信息输出至路线生成ECU 130。物体距离信息可以是能够通过使用预定参考表、预定转换系数或转换公式被转换成从车辆100的预定位置到物体的距离的信息。例如，距离被分配给预定整数值的物体距离信息可以被顺次输出到路线生成ECU 130。

摄像装置110包括例如二维排列了具有光电转换功能的多个像素区域的CMOS图像传感器，并被配置为能够根据摄像面相位差方法(也称为摄像面相位差检测方法和摄像面相位差测距方法等)来获取物体距离。稍后将描述使用摄像面相位差方法来获取物体距离信息。

雷达装置120例如是使用具有从毫米波段至亚毫米波段的波长的电磁波的毫米波雷达装置，并且是用于通过发射电磁波和接收反射波来检测物体的检测装置。

所述雷达装置120用作被配置为基于从利用电磁波进行照射起直到接收反射波为止的时间和反射波的接收强度来获取距离信息(第四距离信息)的第四距离信息获取单元，其中，所述距离信息表示在电磁波的发送方向上的到物体的距离。雷达装置120向路线生成ECU 130输出距离信息。

在第一实施例中，多个雷达装置120附接到车辆100上。例如，雷达装置120分别附接到车辆100的左前侧和右前侧以及车辆100的左后侧和右后侧。

各个雷达装置120在预定角度范围内应用电磁波，并基于从发射电磁波起直到接收反射波为止的时间和反射波的接收强度来对距雷达装置120的距离进行测量，并生成物体的距离信息。除了距雷达装置120的距离之外，距离信息还可以包括与反射波的接收强度和物体的相对速度有关的信息。

测量仪器组160包括例如行进速度测量仪器161、转向角测量仪器162和角速度测量仪器163，并且获取诸如行进速度、转向角和角速度等的与车辆的驱动状态有关的车辆信息。行进速度测量仪器161是用于对车辆100的行进速度进行检测的测量仪器。转向角测量仪器162是用于对车辆100的转向角进行检测的测量仪器。

角速度测量仪器163是用于检测车辆100在转弯方向上的角速度的测量仪器。各个测量仪器将与测量参数相对应的测量信号作为车辆信息输出到路线生成ECU 130。

在路线生成ECU 130中内置有作为计算机的CPU，并基于测量信号、外部信息、物体距离信息和距离信息等来生成车辆100的行进轨迹和与行进轨迹有关的路线信息。路线生成ECU 130向车辆控制ECU 140输出行进轨迹和路线信息。要由路线生成ECU 130处理的数据或要由路线生成ECU 130执行的计算机程序存储在存储器180中。

此处，行进轨迹是用于表示车辆100通过的轨迹(路线)的信息。路线信息是与车辆100通过的路线有关的(包括道路信息等的)信息。

在车辆控制ECU 140中内置有作为计算机的CPU，并基于从测量仪器组160获取的路线信息和车辆信息来控制驱动单元170，使得车辆100将通过与路线信息相对应的路线。要由车辆控制ECU 140处理的数据和要由车辆控制ECU 140执行的计算机程序存储在存储器190中。

驱动单元170是用于驱动车辆的驱动构件，并且例如包括诸如发动机或马达等的用于生成使轮胎旋转的能量的动力单元(未示出)、以及用于对车辆的行进方向进行控制的转向单元等。驱动单元170还包括齿轮箱、齿轮控制单元和制动单元等，其中，齿轮箱用于通过使用动力单元所生成的能量来使轮胎旋转，齿轮控制单元用于对齿轮箱内部的组件进行控制，制动单元用于进行制动操作。

车辆控制ECU 140控制驱动单元170，并调整车辆100的驱动量、制动量和转向量等，使得车辆将通过与路线信息相对应的路线。具体地，车辆控制ECU 140控制制动器、方向盘和齿轮组件等，以使车辆100在该路线上行进。

路线生成ECU 130和车辆控制ECU 140可以具有共同的CPU和共同的存储器。HMI240代表用于向驾驶员101发送信息的人机接口。

HMI 240包括可视显示器以及用于在驾驶员101处于驾驶位置的情况下生成显示器上要显示的信息的显示控制装置。HMI 240还包括用于输出声音的装置(扬声器系统)和用于生成声音数据的声音控制装置。

HMI 240的显示控制装置基于路线生成ECU 130所生成的路线信息，在显示器上显示导航信息。HMI 240的声音控制装置基于路线信息来生成用于向驾驶员101通知路线信息的声音数据，并从扬声器系统输出声音数据。声音数据例如是用于通知车辆正在接近车辆要转弯的交叉口的数据。

图3是示出根据第一实施例的路线生成设备150的配置示例的功能框图。通过使路线生成设备150中包括的计算机执行作为存储介质的存储器中所存储的计算机程序，来实现图3所示的部分功能块。

然而，部分或全部功能块可以通过硬件来实现。作为硬件，可以使用专用电路(ASIC)或处理器(可重新配置处理器或DSP)等。图3中所示的功能块不必内置在同一壳体中，并且可以由经由信号路径彼此连接的单独的装置来配置。

在图3中，作为图像处理设备的路线生成设备150包括摄像装置110和路线生成ECU130。摄像装置110具有摄像光学系统301、摄像元件302、图像处理单元310、物体信息生成单元320和存储器340。

在第一实施例中，摄像光学系统301、摄像元件302、图像处理单元310和物体信息生成单元320布置在摄像装置110的壳体(未示出)内部。这里，摄像元件302用作被配置为对被摄体进行摄像并生成图像信息的摄像单元。

摄像光学系统301是摄像装置110的摄像镜头，并且具有在摄像元件302上形成被摄体的图像(光学图像)的功能。摄像光学系统301包括多个透镜组，并且在与摄像元件302相距预定距离的位置处具有出射光瞳。

摄像元件302包括互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器，并具有基于摄像面相位差测距方法的距离测量功能。摄像元件302包括具有光电转换功能并二维排列的多个像素区域。

例如，各个像素区域具有在行方向上分开布置的两个光电转换部(第一光电转换部和第二光电转换部)。例如，R、G和B滤色器中的任何一个和微镜头布置在各个像素区域的前方。

摄像元件302对经由摄像光学系统301在摄像元件302上所形成的被摄体图像进行光电转换，以生成基于被摄体图像的图像信号，并将图像信号输出至图像处理单元310。图像信号是基于像素区域的各个光电转换部的输出值的信号。

摄像元件302分别输出基于从第一光电转换部输出的信号的第一图像信号和基于从第二光电转换部输出的信号的第二图像信号。可替代地，通过将第一图像信号相加到第二图像信号而获得的相加信号和第一图像信号被分别输出到图像处理单元310。

基于从摄像元件302供给的图像信号，图像处理单元310生成图像数据和距离图像数据，其中，图像数据具有各个像素的与红色、绿色和蓝色中的各个颜色有关的信息，距离图像数据表示各个像素的距离信息。

图像处理单元310包括显像单元311和距离图像生成单元312，其中，显像单元311基于从摄像元件302供给的图像信号来生成图像数据，距离图像生成单元312基于从摄像元件302供给的图像信号来生成距离图像数据。距离图像生成单元312用作被配置为针对图像信息中的各个像素对距离当量信息进行检测的距离当量信息测量单元。

稍后将描述由这些组件执行的处理。图像处理单元310将来自显像单元311的图像数据和来自距离图像生成单元312的距离图像数据输出到物体信息生成单元320。

物体信息生成单元320具有用于对图像中的多个物体之间的边界进行检测的边界处理单元321。边界处理单元321将来自显像单元311的图像数据例如在画面的垂直方向上分割成条形矩形区域(分割区域)，并且还针对各个矩形区域中的图像信号基于色差信号(或颜色信号)来检测边界。

当检测边界时，也可以参考亮度信息的变化。这里，边界处理单元321用作边界检测单元，该边界检测单元被配置为将图像分割为在预定方向上延伸的多个分割区域，并且针对各个分割区域中的图像、至少基于颜色信息来检测边界。

在物体信息生成单元320中，通过针对各个矩形区域中的图像信号基于色差信号来检测边界，分割区域内的边界所分隔的子区域被分类(分组)为诸如天空、道路和其他等的三个组。

上述的边界处理单元针对各个条形矩形区域基于色差信号来检测边界的原因是为了便于检测边界。在第一实施例中，条形矩形区域(分割区域)延伸的预定方向是画面的纵向(垂直方向)，但是也可以是画面的横向(水平方向)。

物体信息生成单元320具有用于确定并分配距离信息给各个组的距离信息生成单元322。基于来自边界处理单元321的边界信息和来自距离图像生成单元312的距离图像数据(距离当量信息)，距离信息生成单元322确定并添加用于表示所获取的图像中所包括的例如三个子区域各自的距离的物体距离信息(合并距离当量信息)。

这里，距离信息生成单元322用作合并距离当量信息确定单元，其中，该合并距离当量信息确定单元被配置为基于图像信息中的各个像素的距离当量信息来确定分割区域中的边界所分隔的各个子区域的合并距离当量信息。

如上所述，在第一实施例中，通过针对各个条形矩形区域基于色差信号来检测边界来使得容易边界检测。由于针对边界所分隔的例如三个子区域确定合并距离当量信息，所以可以抑制距离图像生成单元312中出现的距离误差(变动)的影响。

尽管第一实施例中基于色差信号来检测边界，但可以基于颜色信号来检测边界。不仅可以通过参考色差信号或颜色信号还可以通过参考亮度信号来检测对象的边界。

特别地，如果如第一实施例中那样通过使用基于摄像面相位差方法的摄像装置来获取物体的距离，则由于相对短的基线长度，可能对于远方物体会发生距离误差(变动)，但可以大幅抑制其影响。

物体信息生成单元320具有用于对物体进行图像辨识的物体检测单元323。物体检测单元323在图像的水平方向上将边界处理单元321设置了边界的条形矩形区域的图像信号进行合并，并且基于合并图像对所获取的图像中所包括的例如天空、道路和其他物体进行图像辨识。

此处，物体检测单元323通过将包括分类后的子区域的多个分割区域的图像进行合并来检测物体。

例如，画面底部处的组被判断为道路。这里，物体检测单元323用作被配置为根据已经确定了合并距离当量信息的子区域的合并距离当量信息来进行预定分类的分类单元。如上所述，第一实施例的物体检测单元323将子区域分类为诸如天空、道路和其他等的三个类别中的一个类别。

当对天空、道路和其他物体进行图像辨识时，物体检测单元323参考由距离信息生成单元322添加到各个分隔区域的距离信息。换句话说，通过将彼此相距预定距离或更远距离的不同的物体辨识为不同物体，可以减少错误辨识。这变得更容易辨识出在画面上部中距离为无限远的组是天空。

通过如上所述对天空和道路进行区分，可以关注于对除了天空和道路之外的物体的物体辨识。物体检测单元323可以精确地生成用于表示与所检测到的天空、道路和其他物体有关的信息的外部信息。这里，外部信息是表示所检测到的物体在图像中的位置、所检测到的物体的诸如宽度和高度等的大小以及区域等的信息。外部信息包括与所检测到的物体的属性和识别号有关的信息。

将物体距离信息与和外部信息中所包括的物体的识别号有关的信息进行关联。物体信息生成单元320将来自物体检测单元323的外部信息和来自距离信息生成单元322的物体距离信息输出到路线生成ECU 130。

图像处理单元310和物体信息生成单元320可以由摄像装置110中所包括的一个或多于一个处理器构成。通过一个或多于一个处理器执行从存储器340读取的程序，可以实现图像处理单元310和物体信息生成单元320的功能。

路线生成ECU 130包括路线生成单元330。路线生成单元330基于外部信息、物体距离信息和从雷达装置120获取的距离信息来生成路线信息。接下来，将详细描述路线生成设备150中的各个块的结构和控制。

图4A和图4B是示出根据第一实施例的摄像元件302的配置示例的示意图。图4A是当从光入射方向观看时摄像元件302的俯视图。摄像元件302通过以矩阵的形式排列两行和两列的多个像素组410来配置。

像素组410包括用于检测绿色光的绿色像素G1和绿色像素G2、用于检测红色光的红色像素R和用于检测蓝色光的蓝色像素B。在像素组410中，绿色像素G1和绿色像素G2对角布置。各个像素还具有第一光电转换部411和第二光电转换部412。

图4B是在图4A中沿线I-I’截取的像素组410的截面图。各个像素包括光导层414和光接收层415。光导层414包括微镜头413、滤色器(未示出)以及配线，其中，微镜头413用于将入射到像素的光束高效地引导到光接收层415，滤色器用于使与各个像素所检测到的光的颜色相对应的波段中的光通过，配线用于图像读取和像素驱动。

光接收层415是用于对通过光导层414入射的光进行光电转换并将光作为电信号输出的光电转换部。光接收层415具有第一光电转换部411和第二光电转换部412。

图5A至图5D是用于描述在摄像面相位差方法中被摄体距离和入射光之间的关系的示意图。图5A是示出摄像光学系统301的出射光瞳501、摄像元件302的绿色像素G1、以及入射到绿色像素G1的各个光电转换部的光的示意图。摄像元件302具有多个像素，但是为了简化，将描述一个绿色像素G1。

布置绿色像素G1的微镜头413，使得出射光瞳501和光接收层415处于光学共轭关系。结果，已经通过了作为出射光瞳501的部分光瞳区域的第一光瞳区域510的光束入射到第一光电转换部411。类似地，通过了作为部分光瞳区域的第二光瞳区域520的光束入射到第二光电转换部412。

各个像素的第一光电转换部411对所接收到的光束进行光电转换，并输出信号。从摄像元件302中所包括的多个第一光电转换部411输出的信号生成第一图像信号。第一图像信号表示由已经主要通过第一光瞳区域510的光束在摄像元件302上形成的图像(称为A图像)的强度分布。

各个像素的第二光电转换部412对所接收到的光束进行光电转换，并输出信号。从摄像元件302中所包括的多个第二光电转换部412输出的信号生成第二图像信号。第二图像信号表示由已经主要通过第二光瞳区域520的光束在摄像元件302上形成的图像(称为B图像)的强度分布。

与A图像相对应的第一图像信号和与B图像相对应的第二图像信号之间的相对位置偏差量(以下称为视差量)是与散焦量相对应的量。将参考图5B、图5C和图5D描述视差量和散焦量之间的关系。

图5B、图5C和图5D是示出摄像元件302和摄像光学系统301之间的位置关系的示意图。附图中的附图标记511表示通过第一光瞳区域510的第一光束，并且附图标记521表示通过第二光瞳区域520的第二光束。

图5B示出聚焦时的状态，其中第一光束511和第二光束521会聚在摄像元件302上。在这种情况下，与由第一光束511形成的A图像相对应的第一图像信号和与由第二光束521形成的B图像相对应的第二图像信号之间的视差量(位置偏差)为0。

图5C示出像侧在z轴的负方向上散焦的状态。在这种情况下，由第一光束511形成的第一图像信号和由第二光束521形成的第二图像信号之间的视差量不为0，并且具有负值。

图5D示出像侧在z轴的正方向上散焦的状态。在这种情况下，由第一光束511形成的第一图像信号和由第二光束521形成的第二图像信号之间的视差量不是0，并且具有正值。

从图5C和图5D之间的比较可以看出，视差发生的方向根据散焦量是正还是负而变化。从几何关系可以看出，视差量是根据散焦量生成的。

因此，如后所述，可以根据基于区域的匹配技术来检测第一图像信号和第二图像信号之间的视差量，并可以经由预定的转换系数将视差量转换成散焦量。通过使用摄像光学系统301的摄像公式，像侧的散焦量可以被转换成到物体的距离。

如上所述，摄像元件302可以将第一图像信号和第二图像信号的相加信号(合成信号)以及第一图像信号分别输出至图像处理单元310。在这种情况下，图像处理单元310可以根据相加信号(合成信号)和第一图像信号之间的差来生成第二图像信号，并且因此可以获取第一图像信号和第二图像信号。

接下来，将描述由图像处理单元310进行的处理。图6A和图6B是示出根据第一实施例的图像处理单元310所执行的处理的示例的流程图。通过作为路线生成设备150中所包括的计算机的CPU执行存储器中所存储的计算机程序，来进行图6A和图6B的流程图的各个步骤中的操作。

图6A是示出图像处理单元310的显像单元311根据图像信号(第一图像信号和第二图像信号)来生成各个图像数据的显像处理中的操作的流程图。响应于从摄像元件302接收到图像信号，执行显像处理。

在步骤S601中，CPU通过将从摄像元件302输入的第一图像信号和第二图像信号进行合成来生成合成图像信号。可替代地，如上所述，可以在从摄像元件302读取的阶段读取相加信号。通过将第一图像信号和第二图像信号进行合成(相加)，可以获得基于已经通过了整个出射光瞳501的光束所形成的图像的图像信号。

假设摄像元件302的水平像素坐标为x并且垂直像素坐标为y，则可以通过使用第一图像信号Im1(x,y)和第二图像信号Im2(x,y)由以下表达式1来表示像素(x,y)的合成图像信号Im(x,y)。

Im(x，y)＝Im1(x，y)+Imt2(x，y)...(表达式1)

在步骤S602中，显像单元311执行合成图像信号中的缺陷像素的校正处理。缺陷像素是在摄像元件302中不能输出正常信号的像素。缺陷像素的坐标被预先存储在存储器中，并且显像单元311从存储器获取用于表示摄像元件302的缺陷像素的坐标的信息。

显像单元311通过使用中值滤波器来生成缺陷像素的合成图像信号，其中，中值滤波器用缺陷像素周围的像素的中值替换合成图像信号。作为用于对缺陷像素的合成图像信号进行校正的方法，可以通过使用预先准备的缺陷像素的坐标信息、通过使用缺陷像素周围的像素的信号值进行插值，来生成缺陷像素的信号值。

在步骤S603中，显像单元311对合成图像信号应用光量校正处理，其中该光量校正处理用于对摄像光学系统301所引起的视角周围的光量减少进行校正。摄像光学系统301所引起的视角周围的光量减少特性(相对光量比)被预先测量并存储在存储器中。

作为对光量进行校正的方法，可以从存储器中读取预先存储的视角之间的相对光量比，并可以通过将合成图像信号与用于使光量比恒定的增益相乘来对光量进行校正。例如，显像单元311通过将各个像素的合成图像信号与从摄像元件302的中央像素向周边像素增加的增益相乘，来对光量进行校正。

在步骤S604中，显像单元311对合成图像信号进行降噪处理。作为用于降低噪声的方法，可以使用利用高斯滤波器的降噪。

在步骤S605中，显像单元311对合成图像信号进行去马赛克处理，以针对各个像素获取红色(R)、绿色(G)和蓝色(B)信号，并使用颜色信号来生成具有各个像素的亮度信息的图像数据。作为去马赛克方法，可以使用通过对各个颜色通道使用线性插值来对各个像素的颜色信息进行插值的方法。

在步骤S606中，显像单元311通过使用预定的伽马值来进行灰度校正(伽马校正处理)。通过使用灰度校正之前的像素(x,y)的图像数据Id(x,y)和伽马值γ，如下面的表达式2那样来表示灰度校正之后的像素(x,y)的图像数据Idc(x,y)。

Idc(x，y)＝Id(x，y)^y...(表达式2)

预先准备的值可以用作伽马值γ。可以根据像素位置来确定伽马值γ。例如，对于通过以预定分割数量将摄像元件302的有效区域进行分割而获得的各个区域，可以改变伽马值γ。

在步骤S607中，显像单元311执行用于将图像数据的颜色空间从RGB颜色空间转换到YUV颜色空间的颜色空间转换处理。显像单元311通过使用预定系数和颜色空间转换表达式(表达式3)，将与红色、绿色和蓝色的各个颜色的亮度相对应的图像数据转换成亮度值和色差值，以将图像数据的颜色空间从RGB颜色空间转换成YUV颜色空间。

Y(x，y)＝ry×IdcR(x，y)+gy×IdcG(x，y)+by×IdcB(x，y)

U(x，y)＝ru×IdcR(x，y)+gu×IdcG(x，y)+bu×IdcB(x，y)

V(x，y)＝rv×IdcR(x，y)+gv×IdcG(x，y)+bv×IdcB(x，y)...(表达式3)

在表达式3中，IdcR(x，y)表示灰度校正之后的像素(x，y)的红色图像数据值。IdcG(x，y)表示灰度校正之后的像素(x，y)的绿色图像数据值。

IdcB(x，y)表示灰度校正之后的像素(x，y)的蓝色图像数据值。Y(x，y)表示通过颜色空间转换获得的像素(x，y)的亮度值。U(x，y)表示通过颜色空间转换获得的像素(x，y)的亮度值和蓝色成分之间的差(色差值)。

V(x，y)表示通过颜色空间转换获得的像素(x，y)的亮度值和红色成分之间的差(色差值)。系数(ry，gy，gy)是用于获得Y(x，y)的系数，并且系数(ru，gu，gu)和(rv，gv，bv)是用于计算色差值的系数。

在步骤S608中，显像单元311对转换后的图像数据执行校正(失真校正)，以抑制由摄像光学系统301的光学特性引起的失真像差的影响。通过对图像数据进行几何变换来对摄像光学系统301的失真率进行校正，来进行失真像差校正处理。

通过使用多项式进行几何变形，其中该多项式用于从没有失真像差的正确像素位置生成在校正之前的像素位置。如果校正之前的像素位置是十进制数，则可以在四舍五入之后使用最近(nearest)的像素，或者可以使用线性插值。

在步骤S609中，显像单元311将已应用失真像差校正处理的图像数据输出至物体信息生成单元320。由此，由显像单元311执行的显像处理结束。图6A中的流程周期性地重复，直到用户发出结束指示(未示出)为止。

只要边界处理单元321或物体检测单元323可以基于从摄像元件302获得的各种校正处理之前的图像数据进行边界检测处理或外界辨识处理，显像单元311不必执行图6A中的任何处理。

例如，只要边界处理单元321或物体检测单元323可以基于未应用步骤S608中的失真像差校正处理的图像数据来检测摄像视角内的边界或物体，则可以从图6A的显像处理中省略步骤S608中的处理。

图6B是示出距离图像生成单元312所进行的距离图像数据生成处理中的操作的流程图。这里，距离图像数据是各个像素同与从摄像装置110到被摄体的距离相对应的距离信息相关联的数据。

距离信息可以为距离值D，或可以是用于计算距离值的散焦量ΔL或视差量d，但在第一实施例中，距离图像数据将被描述为各个像素与距离值D相关联的数据。

在步骤S611中，距离图像生成单元312从输入图像信号中生成第一亮度图像信号和第二亮度图像信号。即，距离图像生成单元312通过使用与A图像相对应的第一图像信号来生成第一亮度图像信号，并通过使用与B图像相对应的第二图像信号来生成第二亮度图像信号。

在这种情况下，距离图像生成单元312将各个像素组410的红色、绿色和蓝色像素的图像信号值分别与预定系数相乘，并且将图像信号值进行合成以生成亮度图像信号。距离图像生成单元312可以通过进行使用线性插值的去马赛克处理，然后将红色、绿色和蓝色像素信号与预定系数相乘并将像素信号进行合成来生成亮度图像信号。

在步骤S612中，距离图像生成单元312对第一亮度图像信号和第二亮度图像信号之间的光量平衡进行校正。通过将第一亮度图像信号和第二亮度图像信号中的至少一个与预定的校正系数相乘来执行光量平衡的校正。

假设对在调整摄像光学系统301和摄像元件302的位置之后通过施加均匀照明而获得的第一亮度图像信号和第二亮度图像信号之间的亮度比进行测量，并预先计算校正系数，使得亮度比恒定并被存储在存储器340中。

距离图像生成单元312将第一亮度图像信号和第二亮度图像信号中的至少一个与从存储器读取的校正系数相乘，以生成已应用光量平衡校正的第一图像信号和第二图像信号。

在步骤S613中，距离图像生成单元312对应用了光量平衡校正的第一亮度图像信号和第二亮度图像信号进行降噪处理。距离图像生成单元312对各个亮度图像信号应用用于减少高的空间频带的低通滤波器，以执行降噪处理。

距离图像生成单元312可以使用带通滤波器，其中，通过该带通滤波器发送预定的空间频带。在这种情况下，可以实现减少在步骤S612中进行的光量平衡校正中的校正误差的影响的效果。

在步骤S614中，距离图像生成单元312计算作为第一亮度图像信号和第二亮度图像信号之间的相对位置偏差量的视差量。距离图像生成单元312在与第一亮度图像信号相对应的第一亮度图像中设置关注点，并且设置以关注点为中心的对照区域。接下来，距离图像生成单元312在与第二亮度图像信号相对应的第二亮度图像中设置参考点，并且设置以该参考点为中心的参考区域。

距离图像生成单元312在顺次移动参考点的同时，计算对照区域中所包括的第一亮度图像和参考区域中所包括的第二亮度图像之间的相关度，并将具有最高相关性的参考点设置为对应点。

距离图像生成单元312使用关注点和对应点之间的相对位置偏差量作为关注点处的视差量。距离图像生成单元312可以通过在顺次移动关注点的同时计算视差量来计算多个像素位置处的视差量。距离图像生成单元312如上所述为各个像素指定用于表示视差值的值，并生成作为用于表示视差分布的数据的视差图像数据。

可以使用众所周知的方法，作为用于对距离图像生成单元312为了获得视差量而使用的相关度进行计算的方法。距离图像生成单元312可以使用例如被称为标准化互相关(NCC)的方法来评估亮度图像之间的标准化互相关性。

距离图像生成单元312可以使用评估相异度作为相关度的方法。距离图像生成单元312可以使用例如用于评估亮度图像之间的差的绝对值之和的绝对差和(SAD)或者用于评估平方差之和的平方差和(SSD)。

在步骤S615中，距离图像生成单元312将视差图像数据中的各个像素的视差量转换为散焦量，并获取各个像素的散焦量。距离图像生成单元312基于视差图像数据中的各个像素的视差量，生成用于表示各个像素的散焦量的散焦图像数据。

距离图像生成单元312使用视差图像数据中的像素(x，y)的视差量d(x，y)和转换系数K(x，y)，以根据以下表达式4计算像素(x，y)的散焦量ΔL(x，y)。在摄像光学系统301中，由于渐晕，第一光束511和第二光束521在周边视角处被部分削减。因此，转换系数K是取决于视角(像素位置)的值。

ΔL(x，y)＝K(x，y)×d(x，y)...(表达式4)

如果摄像光学系统301具有焦点位置在中心视角和周边视角之间变化的像场弯曲特性，当像场弯曲量由Cf表示时，可以通过使用以下表达式5将视差量d(x，y)转换为散焦量ΔL(x，y)。

在对准摄像光学系统301和摄像元件302之后，通过对图表(chart)进行摄像来获取视差量和到物体的距离值之间的关系，使得可以获取转换系数K和像场弯曲量Cf。在这种情况下，像场弯曲量Cf取决于视角，并作为像素位置的函数给出像场弯曲量Cf。

ΔL(x，y)＝K(x，y)×d(x，y)×Cf(x，y)...(表达式5)

在步骤S616中，距离图像生成单元312将像素(x，y)的散焦量ΔL(x，y)转换为像素(x,y)处的到物体的距离值D(x,y)，以生成距离图像数据。通过使用摄像光学系统301的摄像关系来转换散焦量ΔL，从而可以计算到物体的距离值D。

当摄像光学系统301的焦距由f表示并且从像侧主点到摄像元件302的距离由Ipp表示时，可以通过使用以下表达式6中的摄像公式将散焦量ΔL(x,y)转换成到物体的距离值D(x,y)。

不管视角如何，焦距f和从像侧主点到摄像元件302的距离Ipp都是恒定值，但是本发明不限于此。如果摄像光学系统301的摄像倍率对于各个视角变化很大，则焦距f和从像侧主点到摄像元件302的距离Ipp中的至少一个可以被设置为针对各个视角而变化的值。

在步骤S617中，距离图像生成单元312将如上所述生成的距离图像数据输出至物体信息生成单元320。这里，通过步骤S611至S617中的处理，距离图像生成单元312基于来自摄像单元的像素中所布置的第一光电转换部和第二光电转换部的信号，根据相位差测距方法来测量各个像素的距离当量信息。

为了获取距离当量信息，可以基于来自立体照相机的两个图像信号，根据相位差测距方法来测量距离当量信息。由此，由距离图像生成单元312执行的距离图像数据生成处理结束。图6B中的流程周期性地重复，直到用户发出结束指示(未示出)为止。

各个像素的视差量d、散焦量ΔL和距摄像光学系统301的主点的距离值D是可以通过使用上述系数和转换公式进行转换的值。因此，各个像素可以包括表示视差量d或散焦量ΔL的信息作为距离图像生成单元312所生成的距离图像数据。

考虑到物体信息生成单元320计算物体区域中所包括的距离值D的代表值，期望基于频率分布对称的散焦量来生成距离图像数据。

如上所述，在步骤S614中计算视差量的处理中，第一亮度图像和第二亮度图像之间的相关性被用于搜索对应点。然而，如果第一图像信号包含大量噪声(例如，由光散粒噪声(shot noise)引起的噪声)，或者如果对照区域中包括的亮度图像信号的信号值的变化小，则不能正确地评估相关度。

在这种情况下，可能相对于正确的视差量而计算出误差较大的视差量。如果视差误差大，则在步骤S616中生成的距离值D的误差也大。

因此，由距离图像生成单元312进行的距离图像数据生成处理可以包括用于计算视差量的可靠度(视差可靠度)的可靠度计算处理。视差可靠度是用于表示计算出的视差量中包括误差的程度的指标。

例如，可以将对照区域中所包括的信号值的标准偏差与平均值的比评估为视差可靠度。如果对照区域中的信号值的变化(所谓的对比度)大，则标准偏差增加。如果入射到像素的光量大，则平均值大。如果入射到像素的光量大，则光散粒噪声大。也就是说，平均值与噪声量具有正相关性。

平均值与标准偏差的比(标准偏差/平均值)与对比度的大小和噪声量之间的比相对应。如果对比度相对于噪声量足够大，则可以估计出计算视差量的误差很小。即，可以说随着视差可靠度变得更大，计算出的视差量的误差变得更小，并且视差量变得更准确。

具有饱和像素信号的像素及其周边像素的可靠度可能会降低。例如，即使在饱和像素附近存在对比度，也可能无法在标准图像和参考图像之间正确检测到纹理，并且可能无法正确计算视差。因此，像素信号具有预定值或更大值(饱和)，对于像素的周边，视差可靠度可能降低。

因此，在步骤S614中，可以计算各个关注点处的视差可靠度，并生成表示用于形成距离图像数据的各个像素的距离值的似然性的可靠度数据。距离图像生成单元312可以将可靠度数据输出到物体信息生成单元320。

接下来，将参考图7A和图7B描述物体信息生成单元320基于图像数据和距离图像数据来生成外部信息和物体距离信息的处理。

图7A和图7B是示出根据第一实施例的边界处理单元321和物体检测单元323所执行的处理的示例的流程图。图8A至图8E是示出根据第一实施例的物体信息生成单元320所进行的处理示例中的图像和信息的示例的示意图。

通过作为路线生成设备150中所包括的计算机的CPU执行存储器中所存储的计算机程序，来进行图7A和图7B的流程图中的各个步骤的操作。也通过作为路线生成设备150中所包括的计算机的CPU执行存储器中所存储的计算机程序，来进行稍后将描述的图9至图14的流程图中的各个步骤中的操作。

图7A是示出边界处理单元321在条形矩形区域内生成边界并且物体被分类为例如天空、道路和其他物体的处理示例的流程图。在步骤S701中的边界/物体检测处理中，边界处理单元321将来自显像单元311的图像数据例如在画面的垂直方向上分割成条形矩形区域。

图8A是用于描述边界处理单元321将基于摄像装置110所获取的并被输入至物体信息生成单元320的图像数据的图像810在画面的垂直方向上分割为条形矩形区域的示例的图。在图8A中，图像810包括人801、车辆802、标志803、道路804和车道805。

如图8A所示，在第一实施例中，在图像810在画面的垂直方向上被分割为条形矩形区域的状态下检测颜色边界，但条形矩形区域的宽度不限于图8A所示的示例。在第一实施例中，例如，在车辆内部的显示单元(未示出)上显示图8A至图8E所示的画面，但是，在这种情况下，不必显示条形矩形区域。

边界处理单元321还针对各个条形矩形区域内的图像基于色差信号(或颜色信号)来检测边界。图7B是用于描述在步骤S701中边界处理单元321所进行的边界/物体检测处理的流程图。

如图7B所示，在步骤S701中的边界/物体检测处理中，首先，在步骤S7011中，边界处理单元321进行物体边界候选确定处理。接下来，在步骤S7012中，距离信息生成单元322进行距离当量信息合并处理。

在步骤S7013中，物体检测单元323进行条形矩形区域内的物体检测处理。步骤S7013中的物体检测处理是用于将条形矩形区域的内部分类为天空、道路和其他物体的处理。

图9是示出边界处理单元321所进行的图7B中的步骤S7011中的物体边界候选确定处理的具体示例的流程图，其中在步骤S901中，边界处理单元321将RGB图像转换成Lab图像。接下来，在步骤S902中，边界处理单元321计算画面的垂直(水平)方向上的色差变化量。

具体地，例如，从画面的上端开始，顺次针对各个像素计算画面的垂直方向上的若干像素所分开的两个像素之间的颜色距离(颜色变化量)ΔC。在步骤S903中，判断ΔC是否大于预定阈值Th。如果是，则在步骤S904中，将像素设置为距离边界候选。也就是说，具有大的颜色变化的像素被设置为边界候选。也就是说，颜色信息变化大于预定阈值Th的位置被检测为边界。

各个条形矩形区域(分割区域)在与垂直方向(预定方向)相交的方向(水平方向)上具有宽度，并在相交方向(水平方向)上具有多个像素。因此，上述颜色信息是指基于水平方向上排列的多个像素的颜色信息获得的代表值。这里，通过使用中值或平均值等来计算代表值。

另一方面，如果在步骤S903中为否，则在步骤S905中将像素设置为非距离边界像素。换句话说，该设置使得具有小的颜色变化量的像素不是边界。

在步骤S906中，判断是否已对条形矩形区域中的所有像素完成了距离边界候选或非距离边界候选的设置。如果否，则流程返回到步骤S902，并且重复进行步骤S902至S906中的处理。

如果在步骤S906中为是，则在步骤S907中，距离边界候选像素被临时设置为距离边界。接下来，在步骤S908中，如果距离边界之间的间隔等于或小于预定值(例如，十个像素)，则取消该像素的边界设置。

在步骤S909中，设置像素彼此分开预定值或更大值的最终距离边界。如上所述，步骤S901至S909用作边界检测步骤，该边界检测步骤用于将图像信息分割成在预定方向上延伸的多个分割区域并且针对各个分割区域中的图像至少基于颜色信息来检测边界。

图10是示出由距离信息生成单元322在图7B的步骤7012中进行的距离当量信息合并处理的详细示例的流程图，其中，首先，在步骤S1001中，进行距离边界矩形生成处理。具体地，生成由距离边界和条形矩形区域的宽度所包围的具有基本相同颜色的距离边界矩形。

在步骤S1002中，基于可靠度对距离边界矩形内的各个像素的距离信息进行加权，以针对各个距离边界矩形(以下也称为子区域)生成距离当量信息。在这种情况下，可以基于颜色信息来生成用于表示各个像素的距离当量信息的似然性的可靠度，并且可以根据基于可靠度进行加权的各个像素的距离当量信息来确定各个子区域的合并距离当量信息。

在这种情况下，基于颜色信息来计算从摄像元件获得的多个图像的视差量，基于颜色信息来计算用于表示各个像素的视差量的似然性的视差可靠度，并基于视差可靠度来生成上述可靠度。在这种情况下，多个图像的亮度值等于或大于预定值的像素的视差可靠度可以被计算为比多个图像的亮度值小于预定值的像素的视差可靠度低。

通过将距离边界矩形内的像素高度平均化，来生成各个距离边界矩形的平均高度信息。距离当量信息可以例如是距离边界矩形中的距离信息可靠度等于或大于预定值的像素的距离信息的中值或最频值。

接下来，在步骤S1003中，计算各个距离边界矩形中的距离信息可靠度等于或大于预定值的像素的比。可替代地，针对各个距离边界矩形计算距离当量信息或高度信息的统计值(例如，低于标准偏差的像素的比)。

接下来，在步骤S1004中，判断距离信息的可靠度等于或大于预定值的像素的比是否等于或大于预定比。如果结果为否，则在步骤S1005中，将用于表示距离边界矩形的可靠度低的信息添加到距离边界矩形。另一方面，如果在步骤S1004中为是，则在步骤S1006中，确定合并距离当量信息和高度信息，并将合并距离当量信息和高度信息添加到距离边界矩形。

在步骤S1007中，针对各个距离边界矩形生成具有合并距离当量信息和高度信息的图。这里，步骤S1001至S1007用作合并距离当量信息确定步骤，该合并距离当量信息确定步骤用于基于图像信息中的各个像素的距离当量信息来确定分割区域中的边界所分隔的各个子区域的合并距离当量信息。

图11是示出在图7B中的步骤7013中物体检测单元323所进行的物体检测处理的详细示例的流程图，其中，在步骤S1101中，针对各个条形矩形区域，从画面上端搜索物体边界。在步骤S1102中，进行条形矩形区域内的距离值处理。

具体地，将距离是否比相当于无限远的距离(其可以为预定值)更短与距离边界矩形内的距离当量信息进行比较。如果否，则在步骤S1103中设置天空区域，并且处理返回到步骤S1102，以继续从画面的上端开始依次判断各个距离边界矩形是天空、道路还是其他物体。

如果在步骤S1102中为是，则从画面的上端搜索出的天空区域中断，并进入其他物体区域。因此，在步骤S1104中，该像素被确定为天空和物体之间的边界。

接下来，在步骤S1105中，从条形矩形区域的下端处的像素中搜索物体边界。在步骤S1106中，例如，将距离边界矩形的平均高度信息与预定阈值进行比较。也就是说，作为预定阈值，判断距离边界矩形的高度是否大于例如设置在车辆中的照相机的高度。

作为预定阈值，例如，可以使用画面下半部分中的像素的高度信息的中值，而不是照相机的高度。这是因为画面的下半部分被道路占据的可能性高。

如果在步骤S1106中为否，则距离边界矩形低于照相机位置，因此在步骤S1107中被设置为道路区域，并且处理返回到步骤S1106以继续从画面的底部到顶部进行搜索。另一方面，如果在步骤S1106中为是，则在步骤S1108中将距离边界矩形设置为道路和其他物体之间的边界。

在步骤S1109中，对于各个条形矩形区域，条形矩形区域中的距离边界矩形被分类为诸如道路、天空和其他物体等的三个类别。这里，步骤S1101至S1109用作根据已经确定了合并距离当量信息的子区域的合并距离当量信息来进行预定分类的分类步骤。在该实施例中，也通过参考子区域的高度来进行分类。

如上所述，对于各个条形矩形区域，条形矩形区域中的距离边界矩形被分类为诸如道路、天空和其他物体等的三个类别。之后，在图7A的步骤S702中，物体检测单元323在水平方向上将条形矩形区域进行合并以检测物体。

如上所述，由于预先针对各个条形矩形区域将天空、道路和其他物体进行分类，因而当在水平方向上将条形矩形区域进行合并并且进行物体检测时，可以重点对除了天空和道路之外的物体进行物体辨识。因此，可以减少图像辨识处理中的负荷。物体检测单元323可以准确地生成用于表示与所检测到的天空、道路或其他物体有关的信息的外部信息。

当进行物体检测时，物体检测单元323可以进行将从图像处理单元310输入的图像数据的大小放大或缩小至根据物体检测处理中的检测性能和处理时间所确定的大小的处理。

物体检测单元323生成外部信息，该外部信息用于表示基于图像数据的图像中所包括的物体在图像中的位置、大小(诸如宽度或高度等)、用于表示区域的区域信息、物体的类型(属性)、以及物体的识别号(ID号)。

识别号是用于识别所检测到的物体的识别信息，不限于编号。物体检测单元323检测存在于摄像装置110的摄像视角内的物体的类型、图像中的物体的位置和大小，判断物体是否已经被登记，并向物体添加识别号。

物体检测单元323从图像810中检测物体，并生成用于表示各个物体的类型、识别号和区域信息的外部信息。图8B是在xy坐标平面上示出从图像810在图像810中的各个位置处检测到的各个物体的外部信息的示意图。尽管在图8A至图8E中示出条形矩形区域，但是条形矩形区域不必显示在显示单元(未示出)的画面上。

外部信息被生成为例如表1所示的表。在外部信息中，物体区域被定义为围绕物体的矩形框(物体框)。在外部信息中，物体区域信息将矩形物体框的形状表示为左上坐标(x0,y0)和右下坐标(x1,y1)。

(表1)

识别号	类型	左上坐标(x0,y0)	右下坐标(x1,y1)
				ID 001	人	(a1,b1)	(c1,d1)
ID 002	乘用车	(a2,b2)	(c2,d2)
				ID 003	标志	(a3,b3)	(c3,d3)

在步骤S702中，物体检测单元323在水平方向上将条形矩形区域进行合并，然后执行用于检测基于图像数据的图像中所包括的物体的处理，并检测图像中的与物体相对应的区域和物体的类型。物体检测单元323可以从一个图像中检测多个物体。在这种情况下，物体检测单元323指定所检测到的多个物体的类型和区域。

物体检测单元323生成检测到物体的图像中的区域的位置和大小(水平宽度和垂直高度)以及物体的类型作为外部信息。可以由物体检测单元323检测的物体的类型例如是车辆(乘用车、公共汽车和卡车)、人、动物、摩托车和标志。

物体检测单元323通过将预先与物体类型相关联的预定外形图案与图像中的物体的外形进行比较，来检测物体并识别所检测到的物体的类型。尽管可以由物体检测单元323检测的物体的类型不限于上述类型，但是从处理速度的观点来看，期望根据车辆100的行进环境来缩小要检测的物体的类型的数量。

在步骤S703中，物体检测单元323追踪识别号已经被登记的物体。物体检测单元323指定在步骤S702中检测到的物体中的已经登记了识别号的物体。

例如，已登记识别号的物体是在先前的物体检测处理中检测到并分配有识别号的物体。如果检测到登记了识别号的物体，则物体检测单元323将与识别号相对应的外部信息与在步骤S702中获取的与物体的类型和区域有关的信息相关联(更新外部信息)。

如果判断为在图像信息中不存在登记了识别号的物体，则认为与识别号相关联的物体已经移动到摄像装置110的摄像视角的外部(丢失)，并且停止对物体的追踪。

在步骤S704中，物体检测单元323判断在步骤S702中检测到的各个物体是否为尚未登记识别号的新物体。新的识别号被分配给用于表示被判断为新物体的物体的类型和区域的外部信息，并且被登记在外部信息中。

在步骤S705中，物体检测单元323将所生成的外部信息与用于表示时间的信息一起输出至路线生成设备150。因此，物体检测单元323所执行的外部信息生成处理结束。然而，图7A中的流程周期性地重复，直到用户发出结束指示(未示出)为止。

图12是示出距离信息生成单元322所进行的针对各个物体的距离信息生成处理的示例的流程图。距离信息生成单元322基于外部信息和距离图像数据，生成表示所检测到的各个物体的距离值的物体距离信息。

图8C是示出基于图8A中的图像数据生成的距离图像820的示例的图，其中，在距离图像820中，距离图像数据与图像810相关联。在图8C中的距离图像820中，距离信息由颜色的阴影表示，较深的颜色表示较近的距离，并且较浅的颜色表示较远的距离。

在步骤S1201中，距离信息生成单元322对物体检测单元323所检测到的物体的数量N进行计数，并计算作为所检测到的物体的总数的所检测到的物体的数量Nmax。

在步骤S1202中，距离信息生成单元322将N设置为1(初始化处理)。对于外部信息中所表示的各个物体，顺次执行步骤S1203中的处理及步骤S1203之后的处理。假设从步骤S1203到步骤S1206的处理是以外部信息中的识别号的升序执行的。

在步骤S1203中，距离信息生成单元322指定外部信息中所包括的第N个物体的、与图像810上的区域(物体框)相对应的距离图像820上的矩形区域。距离信息生成单元322设置用于表示距离图像820上的相应区域的外形的框(物体框)。

图8D是用于表示将在距离图像820中设置的区域的外形的框叠加在从图像810中检测到的各个物体上的示意图。如图8D所示，距离信息生成单元322在距离图像820上创建与人801相对应的物体框821、与车辆802相对应的物体框822和与标志803相对应的物体框823。

在步骤S1204中，距离信息生成单元322生成与第N个物体相对应的距离图像820的矩形区域中所包括的像素的距离信息的频率分布。如果与距离图像数据的各个像素相关联的信息是距离值D，则频率分布的区间被设置为使得距离的倒数是等间隔的。

如果距离图像数据的各个像素与散焦量或视差量相关联，则期望以相等的间隔对频率分布的区间进行分割。

在步骤S1205中，距离信息生成单元322将从频率分布中出现最频繁的距离信息设置为用于表示第N个物体的距离的物体距离信息。

作为物体距离信息，可以计算并使用区域中所包括的距离值的平均值。当计算平均值时，可以使用通过使用可靠度数据进行加权的平均值。通过随着距离值的可靠度增加而为各个像素设置更大的权重，可以以更高的精度计算物体的距离值。

所述物体距离信息优选为用于表示从车辆100的预定位置到物体的距离的信息，以便于在稍后将描述的路线生成处理中生成路线。如果距离值D被用作距离信息，由于距离值D表示从摄像元件302到物体的距离，所以物体距离信息可以是通过将最频值偏移预定量而获得的用于表示从车辆100的预定位置(例如，前端)到物体的距离的信息。

如果散焦量ΔL用作距离信息，则通过使用表达式6将散焦量转换成距摄像元件302的距离，然后将散焦量偏移预定量，以获得用于表示从车辆100的预定位置到物体的距离的信息。

在步骤S1206中，距离信息生成单元322判断N+1是否大于所检测到的物体的数量Nmax。如果N+1小于所检测到的物体的数量Nmax(步骤S1206中为否)，则在步骤S1207中距离信息生成单元322将N设置为N+1，并且处理返回到步骤S1203。

即，针对下一个物体(第N+1个物体)提取物体距离信息。如果在步骤S1206中N+1大于所检测到的物体的数量Nmax(步骤S1206中为是)，则处理进行到步骤S1208。

在步骤S1208中，距离信息生成单元322将Nmax个物体中的各个物体的物体距离信息和与时间有关的信息一起输出至路线生成单元330，并结束该处理。这些信息存储在存储器180中。来自雷达装置120的距离信息也与时间信息一起存储在存储器180中。图12中的流程周期性地重复，直到用户发出结束指示(未示出)为止。

通过上述物体距离信息生成处理，针对外部信息中所包括的各个物体，生成物体距离信息。具体地，通过根据在图像810中检测到的与物体相对应的距离图像820的区域中所包括的距离信息，以统计方式确定物体的距离信息，可以抑制由于噪声和计算精度等引起的各个像素的距离信息的变动。

因此，可以以更高的精度获取用于表示物体的距离的信息。如上所述，以统计方式确定距离信息的方法是获取来自距离信息的分布中的最频繁出现的距离信息、平均值和中值等的方法，并且可以采用各种方法。

接下来，将描述由路线生成ECU 130的路线生成单元330执行的路线信息生成处理(路线生成处理)。路线信息是包括车辆的行进方向和速度的信息。也可以说路线信息是驾驶计划信息。路线生成单元330向车辆控制ECU 140输出路线信息。车辆控制ECU 140通过基于路线信息对驱动单元170进行控制，来控制车辆的行进方向或速度。

在第一实施例中，路线生成单元330生成路线信息，使得如果在车辆100的行进方向上存在其他车辆(前方车辆)，则该车辆正在跟随该前方车辆行进。路线生成单元330生成路线信息，使得车辆100采取回避行动以不与物体碰撞。

图13是示出根据第一实施例的路线生成单元330所执行的路线生成处理的示例的流程图。通过路线生成设备150中所包括的计算机执行存储器中所存储的计算机程序，来进行图13的流程图中的各个步骤中的操作。

例如，如果用户发出用于开始路线生成处理的指示，路线生成单元330开始图13中的流程，并基于外部信息、物体距离信息和雷达装置120所生成的距离信息来生成车辆100的路线信息。路线生成ECU 130例如从路线生成设备150中所设置的存储器180读取各个时间的外部信息、物体距离信息和雷达装置120所生成的距离信息，并进行该处理。

在步骤S1301中，路线生成单元330根据外部信息和物体距离信息，来检测车辆100的计划行进路线上的物体。路线生成单元330将车辆100的计划行进方向的方位与外部信息中所包括的物体的位置和类型进行比较，以确定行进路线上的物体。

假设基于从车辆控制ECU 140获取的与车辆100的控制有关的信息(转向角和速度等)来指定车辆100的计划行进方向。如果没有检测到物体，则路线生成单元330判断为在行进路线上“没有物体”。

例如，假设摄像装置110获取图8A所示的图像810。如果路线生成单元330基于从车辆控制ECU 140获取的与车辆100的控制有关的信息，判断为车辆100正在沿着车道805的方向上行进，则路线生成单元330将车辆802检测为行进路线上的物体。

在步骤S1302和S1303中，路线生成单元330基于车辆100和行进路线上的物体之间的距离以及车辆100的速度Vc，判断是生成用于跟随行进的路线信息还是生成用于回避行动的路线信息。

在步骤S1302中，路线生成单元330判断车辆100和行进路线上的物体之间的距离是否小于阈值Dth。阈值Dth被表示为车辆100的行进速度Vc的函数。行进速度越高，阈值Dth越大。

如果路线生成单元330判断为车辆100和行进路线上的物体之间的距离小于阈值Dth(步骤S1302中为是)，则处理进行到步骤S1303。如果路线生成单元330判断为车辆100和行进路线上的物体之间的距离等于或大于阈值Dth(步骤S1302中为否)，则处理进行到步骤S1308。

在步骤S1303中，路线生成单元330判断车辆100和行进路线上的物体之间的相对速度是否为正值。路线生成单元330从外部信息获取行进路线上的物体的识别号，并且从在当前时间之前的预定时间段期间所获取的外部信息获取各个时间行进路线上的物体的物体距离信息。

路线生成单元330根据所获取的直到预定时间为止的时段的行进路线上的物体的物体距离信息，来计算车辆100和行进路线上的物体之间的相对速度。如果相对速度(车辆100的速度和行进路线上的物体的速度之间的差)是正值，这表示车辆100和行进路线上的物体正在接近。

如果路线生成单元330判断为车辆100和行进路线上的物体之间的相对速度为正值(步骤S1303中为是)，则处理进行到步骤S1304。如果路线生成单元330判断为车辆100和行进路线上的物体之间的相对速度不是正值(步骤S1303中为否)，则处理进行到步骤S1308。

在此，如果处理进行到步骤S1304，则生成用于执行回避行动的路线信息。如果处理进行到步骤S1308，则生成用于执行用于维持到前方车辆的距离的跟随行进的路线信息。

即，如果车辆100和行进路线上的物体之间的距离小于阈值Dth并且车辆100和行进路线上的物体之间的相对速度为正值，则路线生成单元330执行回避行动。另一方面，如果车辆100和行进路线上的物体之间的距离等于或大于阈值Dth，则路线生成单元330判断为要进行跟随行进。

可替代地，如果车辆100和行进路线上的物体之间的距离小于阈值Dth并且车辆100和行进路线上的物体之间的相对速度为零或负值(如果车辆正在远离物体)，则路线生成单元330判断为将进行跟随行进。

如果车辆100和行进路线上的物体之间的距离小于从车辆100的速度获得的阈值Dth并且车辆100和行进路线上的物体之间的相对速度为正值，则认为车辆100和行进路线上的物体碰撞的可能性高。

因此，路线生成单元330生成路线信息以采取回避行动。否则，路线生成单元330进行跟随行进。除了上述确定之外，还可以判断在行进路线上所检测到的物体的类型是否是可移动设备(汽车或摩托车等)。

在步骤S1304中，路线生成单元330开始生成用于执行回避行动的路线信息的处理。

在步骤S1305中，路线生成单元330获取与回避空间有关的信息。路线生成单元330获取距离信息，其中该距离信息包括从雷达装置120到车辆100的侧方或后方的物体的距离以及与到物体的距离有关的预测信息。

基于从雷达装置120获取的距离信息(第四距离信息)、车辆100的速度和用于表示车辆100大小的信息，路线生成单元330获取用于表示车辆100在车辆100周围可以移动的空间的方向和大小的信息。

在第一实施例中，从雷达装置120获取的距离信息(第四距离信息)用于回避空间，但可以用于生成物体的合并距离信息。

在步骤S1306中，路线生成单元330基于用于表示车辆100可以移动的空间的方向和大小的信息、外部信息和物体距离信息，来设置用于回避行动的路线信息。用于回避行动的路线信息例如是用于在车辆100的右侧存在可回避空间的情况下在减速的同时向右改变车辆100的前进方向的信息。

在步骤S1307中，路线生成单元330向车辆控制ECU 140输出路线信息。车辆控制ECU 140基于路线信息来确定用于对驱动单元170进行控制的参数，并控制驱动单元170，使得车辆100将通过所获取的路线信息所表示的路线。

具体地，车辆控制ECU 140基于路线信息来确定转向角、加速器控制值、制动器控制值、用于齿轮啮合的控制信号和灯点亮控制信号等。

此处，步骤S1307用作基于距离信息来生成路线信息的路线生成步骤(路线生成单元)。另一方面，在步骤S1308中，路线生成单元330开始生成用于执行跟随驾驶的路线信息的处理。

在步骤S1309中，路线生成单元330生成车辆100跟随行进路线上的物体(前方车辆)的路线信息。具体地，路线生成单元330生成路线信息，使得车辆100和前方车辆之间的距离(车辆间距离)维持在预定范围内。

例如，如果车辆100和前方车辆之间的相对速度为零或负值，或如果车辆间距离等于或大于预定距离，则路线生成单元330生成路线信息，使得在保持车辆100的行进方向为直行的情况下通过加速和减速来维持预定车辆间距离。

路线生成单元330生成路线信息，使得车辆100的行进速度不超过预定值(例如，车辆100正在行进的道路的法定速度或基于来自驾驶员101的指示的设置行进速度)。在步骤S1309之后，处理进行到步骤S1307，并且车辆控制ECU 140基于所生成的路线信息来控制驱动单元170。

此处，车辆控制ECU 140用作被配置为基于物体检测单元323所检测到的诸如物体的位置或大小等的信息、基于路线生成单元330所生成的路线信息来对行进状态进行控制的行进控制单元。

接下来，在步骤S1310中，判断用户是否发出了用于结束路线生成处理的指示。如果是，则路线生成单元330所进行的路线信息生成处理结束。如果否，则处理返回到步骤S1301，以重复执行生成路线信息的处理。

根据上述控制，通过对基于图像中的物体的位置和大小的帧内的距离信息以统计方式进行处理，可以降低传感器噪声的影响或来自被摄体的高亮度反射所引起的局部距离误差的影响，并可以高精度地计算到各个物体的距离值。

可以使到各个物体的距离值高精度化，并且可以高精度地计算由路线生成ECU130计算出的车辆100的路线，使得车辆100可以更稳定地行进。

在上述处理中，物体的区域被示为包括物体的矩形区域(物体框)，但是物体的区域可以是具有以图像中的物体的外周作为边界的物体形状的区域。在这种情况下，在步骤S702中，物体检测单元323将在图像810中存在物体的区域作为物体的区域存储在外部信息中。例如，物体检测单元323可以通过针对图像数据的各个像素识别属性来对各个物体进行区域分割。

图8E是示出物体检测单元323针对各个物体进行区域分割并将结果叠加在图像810上的示例的示意图。区域831表示人801的区域，区域832表示车辆802的区域，并且区域833表示标志803的区域。区域834表示道路804的区域，并且区域835表示车道805的区域。

在这种情况下，在步骤S1203和S1204中，距离信息生成单元322可以针对各个物体计算例如图8E所示的各个区域中所包括的距离值的频率分布。

通过如上所述定义物体的区域，难以在区域中包括诸如除了物体之外的背景等的距离信息。也就是说，在区域内的距离信息的分布中，可以更有效地反映物体的距离信息。因此，可以减少诸如物体的背景和前景等的除了物体之外的区域的影响，从而可以以更高的精度计算物体的距离值。

第二实施例

从第一实施例的摄像装置110顺次输出图像信息和距离图像信息。物体检测单元323通过使用顺次接收到的图像信息来顺次生成外部信息。外部信息包括物体的识别号，如果在特定时间T0和时间T1中的各个时间检测到具有相同识别号的物体，则可以判断物体的距离信息的时间变化或所检测到的大小等。

因此，在第二实施例中，距离信息生成单元322计算在预定时间范围中具有相同识别号的物体的距离值D的平均值。因此，减小了时间方向上的距离变动。

图14是示出第二实施例中的距离信息生成单元322所进行的物体距离信息生成处理的示例的流程图。通过路线生成设备150中所包括的计算机执行存储器中所存储的计算机程序，来进行图14的流程图中的各个步骤中的操作。关于该流程图中的各个处理，与图12中所示的处理相同的数字所表示的处理与参考图12描述的处理相同。

在步骤S1401中，距离信息生成单元322将来自步骤S1204中生成的频率分布的最频繁出现的距离信息设置为用于表示第N个物体的距离的物体距离信息。距离信息生成单元322将物体距离信息与识别号和时间一起存储(保存)在存储器340中。

在步骤S1402中，距离信息生成单元322获取具有与存储在存储器340中的物体距离信息中的第N个物体的识别号相同的识别号的物体距离信息的历史。距离信息生成单元322获取与比同最新物体距离信息相对应的时间早了预定时间的时间相对应的具有相同识别号的物体距离信息。

图15是用于描述具有与第N个物体的识别号相同的识别号的物体的物体距离信息的时间变化的示例的示意图。横轴表示时间，并且纵轴表示物体距离信息(距离值D)。时间t0表示获取最新距离值D的时间。

在步骤S1403中，距离信息生成单元322根据具有与所获取的第N个物体的识别号相同的识别号的物体的物体距离信息的历史，计算在获取最新物体距离信息的时间之前的预定时间的时间范围中包括的物体距离信息的平均值。距离信息生成单元322例如在图15中计算预定时间范围ΔT中所包括的四个点的距离值的平均值。

如上所述，外部信息中所包括的识别号用于获取相同物体的物体距离信息(距离值)的历史，并且通过取得时间平均值，可以抑制变动。即使车辆100正在行进的道路改变(例如，弯道、斜坡或具有许多凹凸的恶劣道路)，也可以在追踪相同物体的情况下计算时间方向上的平均值。

因此，可以在减少行进环境变化的影响的情况下，减少由于图像信号中所包含的噪声(诸如光散粒噪声等)引起的距离值变动，并以更高的精度计算物体的距离值。在第二实施例中，为了获得类似的效果，当获取物体距离信息时，可以经由低通滤波器获取一定程度的在时间上平均的物体距离信息。

在上述第一实施例和第二实施例中，已将根据摄像面相位差方法经由相同光学系统来获取左右视差图像以获取距离图像数据的摄像设备作为示例进行了描述，但获取视差图像的方法不限于此。

左右视差图像可以通过所谓的立体照相机获取，其中该立体照相机利用左右相距预定距离设置的两个摄像装置来获取左右视差图像。

可以通过使用诸如LiDAR等的距离测量装置来获取距离信息，并且可以通过使用通过从摄像装置获得的拍摄图像的图像辨识而获得的外部信息来进行上述距离测量。

在上述第一实施例和第二实施例中，可以基于物体的第一距离信息至第三距离信息中的至少两个距离信息的历史、或合并距离信息的历史，来生成合并距离信息。上述实施例可以适当地组合，并且包括例如以下配置。

在上述实施例中，已经描述了将作为电子装置的距离计算装置设置在作为可移动设备的诸如汽车等的车辆中的示例。然而，可移动设备可以是例如摩托车、自行车、轮椅、船、飞机、无人机或诸如AGV或AMR等的移动机器人等的任何设备，只要该设备是可移动的即可。

作为本实施例的电子装置的距离计算装置不限于安装在可移动设备上的装置，并且包括通过通信从安装在可移动设备上的照相机等获取图像并在远离可移动设备的位置处计算距离的装置。

尽管已参考示例性实施例对本发明进行了描述，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最广泛的解释，以涵盖所有这样的修改和等同的结构和功能。

作为根据本实施例的控制的一部分或全部，可以通过网络或各种存储介质向图像处理设备供给用于实现上述实施例的功能的计算机程序。图像处理设备的计算机(或CPU或MPU等)可以被配置为读取并执行该程序。在这种情况下，程序和存储程序的存储介质构成本发明。

本申请要求2022年5月19日提交的日本专利申请2022-082368的权益，其全部内容通过引用并入本文。

Claims (18)

1.一种图像处理设备，包括：

至少一个处理器或电路，其被配置为用作：

边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及

合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。

2.根据权利要求1所述的图像处理设备，

其中，所述至少一个处理器或电路还被配置为用作：

分类单元，其被配置为针对所述子区域，根据所述合并距离信息进行预定分类。

3.根据权利要求2所述的图像处理设备，其中，所述分类单元将所述子区域分类为包括天空、道路和其他的三个类别中的一个类别。

4.根据权利要求1所述的图像处理设备，其中，所述边界检测单元将所述图像信息分割为在画面的垂直方向上延伸且在画面的水平方向上排列的多个所述分割区域。

5.根据权利要求1所述的图像处理设备，

其中，所述至少一个处理器或电路还被配置为用作：

距离信息测量单元，其被配置为针对所述图像信息的各个像素来检测所述距离信息。

6.根据权利要求5所述的图像处理设备，其中，

所述距离信息测量单元基于所述颜色信息来生成用于表示各个像素的距离信息的似然性的可靠度，以及

所述合并距离信息确定单元根据基于所述可靠度而加权的各个像素的所述距离信息来确定各个子区域的所述合并距离信息。

7.根据权利要求5所述的图像处理设备，

其中，所述至少一个处理器或电路还被配置为用作：

摄像单元，其被配置为对被摄体进行摄像，并且生成具有不同视点的多个图像，以及

距离信息测量单元，用于基于所述颜色信息来计算所述多个图像的视差量，基于所述颜色信息来计算用于表示各个像素的视差量的似然性的视差可靠度，并且基于所述视差可靠度来生成所述可靠度。

8.根据权利要求7所述的图像处理设备，其中，所述距离信息测量单元将所述多个图像的亮度值等于或大于预定值的像素的视差可靠度计算为低于所述多个图像的亮度值小于所述预定值的像素的视差可靠度。

9.根据权利要求5所述的图像处理设备，

其中，所述至少一个处理器或电路还被配置为用作：

摄像单元，其被配置为对被摄体进行摄像，并且生成所述图像信息，以及

距离信息测量单元，用于基于来自所述摄像单元的像素中所布置的第一光电转换部和第二光电转换部的信号，根据相位差测距方法来测量所述距离信息。

10.根据权利要求5所述的图像处理设备，其中，所述距离信息测量单元基于来自立体照相机的两个图像信号，根据相位差测距方法来测量所述距离信息。

11.根据权利要求1所述的图像处理设备，其中，所述边界检测单元检测相邻像素的所述颜色信息的差大于预定阈值的位置作为所述边界。

12.根据权利要求11所述的图像处理设备，其中，

所述分割区域具有在画面的水平方向上排列的多个像素，以及

所述颜色信息是基于在画面的水平方向上排列的多个像素而获得的代表值。

13.根据权利要求2所述的图像处理设备，

其中，所述至少一个处理器或电路还被配置为用作：

物体检测单元，其被配置为通过将包括所述分类单元所分类的所述子区域的多个所述分割区域的图像进行整合来检测物体。

14.一种可移动设备，包括：

至少一个处理器或电路，其被配置为用作：

边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；

合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息；

物体检测单元，其被配置为通过将包括已经确定了所述合并距离信息的所述子区域的多个所述分割区域的图像进行合并来检测物体；以及

行进控制单元，其被配置为基于与所述物体检测单元所检测到的物体有关的信息来控制行进状态。

15.一种图像处理方法，包括：

基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及

基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。

16.一种非暂态计算机可读存储介质，其被配置为存储包括指令的计算机程序，所述指令用于执行以下处理：

基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及

基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。

17.一种图像处理设备，包括：

至少一个处理器或电路，其被配置为用作：

获取单元，其被配置为获取图像信息的颜色信息和距离信息；

确定单元，其被配置为针对在通过将所述图像信息分割为多个分割区域而获得的各个分割区域中、由基于所述颜色信息而检测到的边界所分隔的各个子区域，基于所述距离信息来确定合并距离信息；以及

输出单元，其被配置为输出所述确定单元所确定的合并距离信息。

18.一种图像处理设备，包括：

至少一个处理器或电路，其被配置为用作：

获取单元，其被配置为针对在通过将图像信息分割为多个分割区域而获得的各个分割区域中、由基于所述图像信息的各个像素的颜色信息而检测到的边界所分隔的各个子区域，获取基于所述图像信息的距离信息而确定的合并距离信息；以及

显示控制单元，其被配置为在显示装置上针对各个子区域显示基于所述获取单元所获取的合并距离信息而确定的颜色。