CN114072699A - 信息处理系统、传感器系统、信息处理方法以及程序 - Google Patents

Abstract

信息处理系统(1)在具有第一像素以及第二像素的图像传感器中使用，具备第一取得部(11)、第二取得部(12)以及第三取得部(13)。第一像素对可见光具有灵敏度。第二像素对红外光具有灵敏度。第一取得部(11)从第一像素取得第一亮度信息(D1)。第一亮度信息(D1)是与第一像素的像素值相关的信息。第二取得部(12)从第二像素取得第二亮度信息(D2)。第二亮度信息(D2)是与第二像素的像素值相关的信息。第三取得部(13)从第二像素取得距离信息(D3)。距离信息(D3)是与从图像传感器到反射了红外光的物体的距离相关的信息。

Description

信息处理系统、传感器系统、信息处理方法以及程序

技术领域

本公开一般涉及信息处理系统、传感器系统、信息处理方法以及程序，更详细而言，涉及用于图像传感器的信息处理系统、传感器系统、信息处理方法以及程序。

背景技术

在专利文献1中记载了在测量系统中利用图像建立对应方法。

在图像建立对应方法中，通过激光扫描仪获得测量对象的三维点群数据，并且对测量对象进行拍摄而取得二维彩色图像。接下来，在二维彩色图像上任意选择3点以上，对该选择的各点赋予基于三维点群数据的三维位置信息。然后，基于选择点的三维位置信息，计算测量对象的拍摄时的相机与激光扫描仪的相对的位置关系。然后，基于计算出的相对位置关系和所选择的点的三维位置信息，使点群数据的各点的数据与彩色图像的图像数据对应。测量系统能够经过这样的处理，获得附加了颜色信息的三维点群数据。

在先技术文献

专利文献

专利文献1：日本特开2005-77385号公报

发明内容

但是，如上所述，在将相机的图像(亮度信息)与激光扫描仪的数据(距离信息)建立对应的方法中，在这些信息之间容易产生时间上以及空间上的偏移，难以实现基于这些信息的信息处理的精度的提高。

本公开是鉴于上述情况而完成的，其目的在于提供一种容易实现信息处理的精度的提高的信息处理系统、传感器系统、信息处理方法以及程序。

本公开的一方式所涉及的信息处理系统在具有第一像素以及第二像素的图像传感器中使用，具备第一取得部、第二取得部以及第三取得部。所述第一像素对可见光具有灵敏度。所述第二像素对红外光具有灵敏度。所述第一取得部从所述第一像素取得第一亮度信息。所述第一亮度信息是与所述第一像素的像素值相关的信息。所述第二取得部从所述第二像素取得第二亮度信息。所述第二亮度信息是与所述第二像素的像素值相关的信息。所述第三取得部从所述第二像素取得距离信息。所述距离信息是与所述从图像传感器到反射了所述红外光的物体的距离相关的信息。

本公开的一方式所涉及的传感器系统具备所述信息处理系统和所述图像传感器。

本公开的一方式所涉及的信息处理方法是处理从具有第一像素以及第二像素的图像传感器输入的信息的方法，具有第一取得处理、第二取得处理以及第三取得处理。所述第一像素对可见光具有灵敏度。所述第二像素对红外光具有灵敏度。所述第一取得处理是从所述第一像素取得第一亮度信息的处理。所述第一亮度信息是与所述第一像素的像素值相关的信息。所述第二取得处理是从所述第二像素取得第二亮度信息的处理。所述第二亮度信息是与所述第二像素的像素值相关的信息。所述第三取得处理是从所述第二像素取得距离信息的处理。所述距离信息是与从所述图像传感器到反射了所述红外光的物体的距离相关的信息。

本公开的一方式所涉及的程序是用于使一个以上的处理器执行所述信息处理方法的程序。

附图说明

图1A是表示实施方式1所涉及的信息处理系统以及传感器系统的结构的概略框图。图1B是表示在同上的信息处理系统中使用的图像传感器的结构的示意图。

图2是表示同上的信息处理系统的结构的概略框图。

图3是表示同上的信息处理系统的动作例的流程图。

图4是表示同上的信息处理系统的停车空间探测模式下的动作的概要的说明图。

图5是示意性地表示同上的信息处理系统的停车空间探测模式下的信息处理结果的说明图。

图6是表示同上的信息处理系统的物体探测模式下的动作的概要的说明图。

图7是示意性地表示同上的信息处理系统的物体探测模式下的信息处理结果的说明图。

图8A是表示使用同上的信息处理系统的状况的说明图。图8B是示意性地表示通过同上的信息处理系统的融合处理来校正三维物体探测处理的探测结果的情形的说明图。

图9是表示实施方式1的第三变形例所涉及的信息处理系统的结构的概略框图。

图10是表示实施方式1的第四变形例所涉及的信息处理系统的结构的概略框图。

图11是表示实施方式1的第五变形例所涉及的信息处理系统的结构的概略框图。

图12A～图12E是表示实施方式1的变形例所涉及的图像传感器的结构的示意图。

图13是表示实施方式2所涉及的信息处理系统的结构的概略框图。

图14是表示实施方式2的变形例所涉及的信息处理系统的结构的概略框图。

具体实施方式

(实施方式1)

(1)概要

首先，参照图1A、图1B以及图2对本实施方式所涉及的信息处理系统1的概要进行说明。

如图1A所示，信息处理系统1是用于图像传感器3的系统。图像传感器3是如下那样元件：具有多个像素，在配置有这些多个像素的受光面，经过光学系统使来自对象物的光成像，将该光的明暗光电转换为电荷的量，通过读出该电荷的量而作为电信号输出。在本实施方式中，作为一例，图像传感器3是使用了半导体元件的固体摄像元件。

如图1B所示，图像传感器3具有第一像素31以及第二像素32。第一像素31对可见光具有灵敏度。第二像素32对红外光具有灵敏度。本实施方式所涉及的信息处理系统1对从上述那样的图像传感器3取得的信息执行各种处理。由此，在信息处理系统1中，能够获得与图像传感器3的视角内的监视区域A1(参照图4)的状况相关的信息处理结果。本公开中所说的“信息处理结果”是在信息处理系统1中得到的信息处理的结果，作为一例，是与监视区域A1中的物体Ob1(参照图4)的有无有关的信息等。

如图2所示，本实施方式所涉及的信息处理系统1具备第一取得部11、第二取得部12以及第三取得部13。第一取得部11从第一像素31取得第一亮度信息D1。第一亮度信息D1是与第一像素31的像素值相关的信息。第二取得部12从第二像素32取得第二亮度信息D2。第二亮度信息D2是与第二像素32的像素值相关的信息。第三取得部13从第二像素32取得距离信息D3。距离信息D3是与从图像传感器3到反射了红外光的物体Ob1(参照图4)的距离相关的信息。

根据上述结构，在信息处理系统1中，能够从设置于一个图像传感器3的两种像素(第一像素31以及第二像素32)取得三种信息(第一亮度信息D1、第二亮度信息D2以及距离信息D3)。而且，第一亮度信息D1、第二亮度信息D2以及距离信息D3是互不相同的信息，同时由于从一个图像传感器3得到而相互具有相关性。特别是，第二亮度信息D2以及距离信息D3均从第二像素32取得，因此在第二亮度信息D2以及距离信息D3之间具有较强的相关性。因此，在信息处理系统1中，根据这三种信息，例如能够比较高精度地求出与图像传感器3的视角内的监视区域A1的状况相关的各种信息。其结果是，能够实现信息处理系统1中的信息处理的精度的提高。

(2)结构

接下来，参照图1A、图1B以及图2对本实施方式所涉及的信息处理系统1以及传感器系统10的结构进行更详细的说明。

(2.1)前提

在本实施方式中，作为一例，设想信息处理系统1以及传感器系统10搭载于汽车等移动体的情况。在此，特别是移动体是人驾驶的汽车。信息处理系统1以及传感器系统10例如用于移动体的先进驾驶辅助系统(ADAS：Advanced Driver Assistance System)、自动驾驶技术以及驾驶员监视技术等。在先进驾驶辅助系统或者自动驾驶技术中，在信息处理系统1中，例如，通过识别移动体周边的监视区域A1，能够探测移动体周边的物体Ob1的存在。在该情况下，作为能够探测的移动体的周边的物体Ob1的一个例子，存在人(包括行人、停留的人、坐着的人以及骑自行车的人等)以及小动物等的生物、和其他的移动体、墙壁、护栏以及信号灯等的构造物等。

因此，在本实施方式中，基本上，信息处理系统1求出与移动体周边的监视区域A1的状况相关的信息作为信息处理结果。作为一例，信息处理结果包括从与移动体的周边的监视区域A1中的物体Ob1的有无相关的信息、与存在于监视区域A1的物体Ob1的监视区域A1内的位置相关的信息、以及与物体Ob1的属性相关的信息所构成的组中选择的一个以上的信息。

本公开中所说的“可见光”是指人眼可见的波长的电磁波、即可见光线。可见光的波长的下限为大致360nm以上且400nm以下的范围。可见光的波长的上限为大致760nm以上且830nm以下的范围。图像传感器3的第一像素31对于处于这样的波长区域的光(可见光)具有灵敏度。在本实施方式中，作为一例，假定在这样的可见光的大致全波长区域中，第一像素31具有灵敏度。

本公开中所说的“红外光”是指波长比可见光的红色长、波长比电波短的电磁波、即红外线。因此，红外光的波长的下限为大致760nm以上且830nm以下的范围。红外光的波长的上限为大致2.5μm(近红外)以上且4.0μm(中红外)以下的范围。图像传感器3的第二像素32对于处于这样的波长区域的光(红外光)具有灵敏度。在本实施方式中，作为一例，假定第二像素32在后述的发光部4的输出光的中心波长附近具有灵敏度。

此外，本公开中所说的“图像”包括动画(动图像)以及静止画(静止图像)。进而，“动画”包括由通过逐帧拍摄等获得的多个静止画构成的图像。在本实施方式中，作为一例，图像是静止画。

(2.2)整体结构

如图1A所示，本实施方式所涉及的信息处理系统1与控制系统2连接。控制系统2是接受来自信息处理系统1的输出信号而进行动作的系统。来自信息处理系统1的输出信号至少包括由信息处理系统1获得的信息处理的结果，即信息处理结果。

控制系统2是接受来自信息处理系统1的输出信号而进行动作的系统。在来自信息处理系统1的输出信号中，如上所述包括信息处理结果，因此控制系统2能够按照信息处理结果进行动作。作为一例，控制系统2根据来自信息处理系统1的信息处理结果，使显示装置显示用于辅助移动体的驾驶的信息等，适当地对移动体的司机进行信息的提示。进而，控制系统2也可以根据来自信息处理系统1的信息处理结果，通过控制移动体的转向或者制动等来辅助移动体的驾驶(操纵)。

信息处理系统1与图像传感器3、及发光部4以及信号处理部5一起构成传感器系统10。换言之，本实施方式所涉及的传感器系统0.00具备信息处理系统1和图像传感器3。在本实施方式中，特别是传感器系统10除了信息处理系统1以及图像传感器3以外，还具备发光部4以及信号处理部5。作为一例，构成传感器系统10的信息处理系统1、图像传感器3、发光部4以及信号处理部5均搭载于移动体。进而，与传感器系统10连接的控制系统2也作为一例搭载于移动体。

在本实施方式中，控制系统2不包括于传感器系统10的构成要素，但控制系统2也可以包括于传感器系统10的构成要素。此外，在本实施方式中，发光部4以及信号处理部5包括于传感器系统10的构成要素中，但传感器系统10也可以使发光部4以及信号处理部5中的至少一方不包括于构成要素中。

在此，如图1A所示，图像传感器3以及发光单元4经由信号处理部5连接到信息处理系统1。具体而言，图像传感器3以及发光部4均与信号处理部5连接，信号处理部5与信息处理系统1连接。信号处理部5从图像传感器3读出电信号，对读出的电信号进行滤波等各种信号处理。此外，信号处理部5具有控制发光部4的功能，在任意的定时使发光部4发光。

在本实施方式中，信号处理部5基于从图像传感器3读出的电信号，生成第一亮度信息D1、第二亮度信息D2以及距离信息D3。第一亮度信息D1是与第一像素31的像素值相关的信息，由从第一像素31读出的电信号生成。第二亮度信息D2是与第二像素32的像素值相关的信息，由从第二像素32读出的电信号生成。距离信息D3是与从图像传感器3到反射了红外光的物体Ob1的距离相关的信息，由从第二像素32读出的电信号生成。

这样，信息处理系统1经由信号处理部5与图像传感器3连接，关于第一亮度信息D1、第二亮度信息D2以及距离信息D3，也经由信号处理部5从图像传感器3取得。总之，在本实施方式中，信息处理系统1不是从图像传感器3的第一像素31直接取得第一亮度信息D1，而是经由信号处理部5间接地从第一像素31取得第一亮度信息D1。同样地，信息处理系统1不是从图像传感器3的第二像素32直接取得第二亮度信息D2，而是经由信号处理部5间接地从第二像素32取得第二亮度信息D2。同样地，信息处理系统1不是从图像传感器3的第二像素32直接取得距离信息D3，而是经由信号处理部5间接地从第二像素32取得距离信息D3。

在本实施方式中，如图1B所示，图像传感器3使包括多个第一像素31以及多个第二像素32的多个像素在受光面的行方向(纵向)以及列方向(横向)这两方排列地进行二维配置。图1B是用于表示多个第一像素31以及多个第二像素32的排列的示意图，实际上，也可以大量第一像素31以及大量第二像素32排列在图像传感器3的受光面上。在图1B中，16个像素(8个第一像素31以及8个第二像素32)在受光面的行方向以及列方向上分别各排列配置有4个。在图1B中，对可见光具有灵敏度的第一像素31以“白色”的含义标注“W”的文字，对红外光具有灵敏度的第二像素32以“红外”的含义标注“IR”的文字。

这样，由于多个第一像素31被二维配置，因此信息处理系统1从图像传感器3经由信号处理部5取得的第一亮度信息D1构成作为多个第一像素31的输出的集合的图像(亮度图像)。同样地，由于多个第二像素32被二维配置，因此信息处理系统1从图像传感器3经由信号处理部5取得的第二亮度信息D2构成作为多个第二像素32的输出的集合的图像(亮度图像)。进而，由于多个第二像素32被二维配置，因此信息处理系统1从图像传感器3经由信号处理部5取得的距离信息D3构成作为多个第二像素32的输出的集合的图像(距离图像)。

在本实施方式中，作为一例，配置成在图像传感器3的受光面的列方向上分别各排列多个第一像素31以及第二像素32，并且在受光面的行方向上交替排列第一像素31以及第二像素32。即，多个第一像素31构成在受光面的列方向上排列的第一像素列，多个第二像素32构成在受光面的列方向上排列的第二像素列。而且，这些第一像素列以及第二像素列在受光面的行方向上交替地排列。根据这样的排列，多个第一像素31以及多个第二像素32分别在受光面的列方向上能够实现比较高的分辨率。

然而，在本实施方式中，如上所述，第一像素31在这样的可见光的大致全波长区域具有灵敏度。因此，如果是可见光的波长区域，则基本上第一像素31不管被输入哪种颜色的光，都会产生与该光的强度相应的输出。即，从第一像素31输出的第一亮度信息D1是表示输入到第一像素31的光的强度的明暗信息。

在本实施方式中，作为一例，假定图像传感器3中的第一像素31的个数(像素数)与第二像素32的个数(像素数)相同。但并不限于该例，图像传感器3中的第一像素31的个数(像素数)和第二像素32的个数(像素数)也可以不同。

在本实施方式中，作为一例，在第一像素31的前表面配置有遮挡红外光的红外截止滤光片。其中，红外截止滤光片不是必须的结构，可以适当省略。

发光部4与图像传感器3一起朝向监视区域A1配置。发光部4至少向监视区域A1输出光。发光部4至少输出图像传感器3的第二像素32具有灵敏度的波长区域的光、即红外光。发光部4例如使用发光二极管(LED：Light Emitting Diode)或者激光二极管等响应速度比较快、能够高速调制(高速闪烁)的元件。

通过将这样的发光部4与图像传感器3组合使用，通过ToF(Time-of-Flight：飞行时间)方式获得与到存在于监视区域A1的物体Ob1的距离相关的信息(距离信息D3)。即，从发光部4发光起到发光部4的输出光被物体Ob1反射而由图像传感器3的第二像素32受光为止的时间根据从图像传感器3到物体Ob1的距离而变化。利用该情况，通过测量光(在此为红外光)的飞行时间，能够测定到反射了光的物体Ob1的距离。

以下，列举一例对用于求出距离信息D3的具体的处理进行简单说明。在本实施方式中，为了测量从投射(发光)到受光为止的时间，信号处理部5使得从发光部4对监视区域A1输出调制了强度的光(以下，也称为“强度调制光”)。在此基础上，信号处理部5使用图像传感器3的受光时间点的强度变化的相位与来自发光部4的投射时间点的强度变化的相位的相位差来测量时间。如果强度调制光中的强度变化的频率恒定，则相位差通过比较简单的运算换算为到物体Ob1的距离。

即，将强度发生变化的强度调制光从发光部4投射到监视区域A1，图像传感器3的一个第二像素32受光的光的强度发生变化。由于同相位的时间差反映到物体Ob1的距离，因此若将光速设为c[m/s]，使用时间差Δt[s]，则到物体Ob1的距离L由以下的式1表示。

L＝c·Δt/2 (式1)

此外，若将调制光的强度的调制信号的频率设为f[Hz]，将相位差设为

则时间差Δt由以下的式2表示。

因此，通过求出相位差

求出到物体Ob1的距离L。

然后，为了求出相位差

针对图像传感器3的每个第二像素32，关于调制信号的多个不同的相位求出受光强度即可。实际上，针对图像传感器3的每个第二像素32，检测具有给定的相位宽度(时间宽度)的各相位区间的受光光量，将与该受光光量相当的受光输出用于相位差

的运算。作为一例，若将相位区间设为90度间隔，则针对调制信号的一个周期，周期性地获得相位间隔相等的四个相位区间。在该情况下，若将每个相位区间的受光光量设为C0～C3，则相位差

由以下的式3表示。

通过使受光光量C0～C3与调制信号的哪一个相位对应，相位差

的正负号发生变化，但相位差

使用绝对值即可。

这样，由于需要从发光部4投射强度调制光，在图像传感器3中检测每个特定的相位区间的受光光量，因此设置有信号处理部5。信号处理部5对发光部4赋予调制信号来驱动发光部4，以使其投射上述那样的强度调制光的方式。从图像传感器3得到与四个相位区间的每一者的受光光量C0～C3对应的受光输出，图像传感器3的受光输出(电信号)被输入到信号处理部5。信号处理部5进行使用受光输出求出到物体Ob1的距离的运算。此时，信号处理部5将基于与调制信号同步的基准信号而生成的读出信号提供给图像传感器3，并读出受光输出。

(2.3)信息处理系统的结构

接下来，参照图2对本实施方式所涉及的信息处理系统1的结构进行说明。

在本实施方式中，信息处理系统1除了具备第一取得部11、第二取得部12以及第三取得部13以外，还具备各种功能。即，如图2所示，信息处理系统1还具备噪声处理部14、坐标变换部15、分离部16、三维物体探测部17、融合部18以及跟踪部19。此外，信息处理系统1还具备二维物体探测部20、第一合成部21、第二合成部22、白线候补区域检测部23、白线候补区域鸟瞰变换部24、空闲空间探测部25以及停车框检测部26以及输出部27。

在图2等中，例如，如“3D物体探测部”那样，将“三维”标记为“3D”，将“二维”标记为“2D”。此外，关于融合部18，在本实施方式中，将三维物体探测部17的探测结果与二维物体探测部20的探测结果进行合成，因此表述为“2D-3D融合部”。进而，将第一亮度信息D1标记为“明暗亮度”，将第二亮度信息D2标记为“IR亮度”。

在本实施方式中，作为一例，信息处理系统1以具有一个以上的处理器以及一个以上的存储器的计算机系统(包括服务器、云计算)为主结构。处理器通过执行记录在存储器中的程序来实现信息处理系统1的功能。程序可以预先记录在存储器中，也可以记录在存储卡那样的非暂时性记录介质中来提供，或者通过电通信线路来提供。换言之，上述程序是用于使一个以上的处理器作为信息处理系统1发挥功能的程序。

此外，还对信息处理系统1输入里程计信息D4(图中标记为“里程计信息”)和可信信息D5(图中标记为“可信信息”)。即，对于信息处理系统1，作为输入数据，输入第一亮度信息D1、第二亮度信息D2、距离信息D3、里程计信息D4以及可信信息D5共计5种数据(信息)。里程计信息D4例如包括移动体的倾斜角度、移动体的行进方向、移动体的移动速度、施加于移动体的加速度、加速踏板的踩踏量(加速器开度)、制动踏板的踩踏量或者转向角等能够由搭载于移动体的传感器检测的信息。进而，里程计信息D4是基于能够使用GPS(GlobalPositioning System：全球定位系统)等检测出的移动体的当前位置的信息，例如包括当前位置处的道路的车道数、白线/黄线的区别、车道宽度、人行道的有无、角度或弯道的曲率等。

可信信息D5是与数据的可靠性相关的信息。作为一例，可信信息D5用于对距离信息D3判断是否符合受到干扰或者多径等影响的伪距离信息。同样地，可信信息D5用于针对第一亮度信息D1或者第二亮度信息D2，判断是否符合伪亮度信息。

第一取得部11与信号处理部5连接。即，第一取得部11经由信号处理部5与图像传感器3的第一像素31连接。如上所述，第一取得部11从第一像素31取得与第一像素31的像素值相关的第一亮度信息D1。在本实施方式中，第一取得部11经由信号处理部5间接地从第一像素31取得第一亮度信息D1。

第二取得部12与信号处理部5连接。即，第二取得部12经由信号处理部5与图像传感器3的第二像素32连接。如上所述，第二取得部12从第二像素32取得与第二像素32的像素值相关的第二亮度信息D2。在本实施方式中，第二取得部12经由信号处理部5间接地从第二像素32取得第二亮度信息D2。

第三取得部13与信号处理部5连接。即，第三取得部13经由信号处理部5与图像传感器3的第二像素32连接。如上所述，第三取得部13从第二像素32取得与从图像传感器3到反射了红外光的物体Ob1的距离相关的距离信息D3。在本实施方式中，第三取得部13经由信号处理部5间接地从第二像素32取得距离信息D3。

噪声处理部14使用距离信息D3和从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，进行距离信息D3的校正。从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息是第一亮度信息D1、第二亮度信息D2、将第一亮度信息D1以及第二亮度信息D2合成后的亮度信息(以下，也称为“合成图像”)中的任意者。噪声处理部14与第三取得部13连接。在本实施方式中，噪声处理部14经由第一合成部21与第二取得部12连接。即，对噪声处理部14不是直接输入第一亮度信息D1或者第二亮度信息D2，而是经由第一合成部21间接地输入。距离信息D3在其单体中SN比低，噪声的比率大，因此要在噪声处理部14中降低距离信息D3的噪声。关于噪声处理部14的动作，在“(3)动作”一栏中进行说明。

坐标变换部15设置在噪声处理部14的后级。坐标变换部15针对(降低了噪声的)距离信息D3，对X、Y、Z的正交坐标系进行坐标变换处理。具体而言，坐标变换部15基于距离信息D3，生成具有X、Y、Z的坐标值的点云(点群数据)。

分离部16将物体Ob1和位于物体Ob1的周围的周边区域分离。本公开中所说的“周边区域”例如是在探测物体Ob1的有无时从探测对象中除外的路面、地面、地板等。换言之，分离部16将包括物体Ob1的路面等以外的区域与路面等周边区域分离。分离部16针对从坐标变换部15输入的坐标变换后的距离信息D3(点云)，将物体Ob1和周边区域分离。在本实施方式中，分离部16根据从坐标变换部15输入的坐标变换后的距离信息D3，首先提取相当于周边区域的分量。然后，分离部16通过从坐标变换后的距离信息D3中除去提取出的周边区域，将距离信息D3中的相当于物体Ob1的分量输出到后级的三维物体探测部17。在此，周边区域是距离信息D3中的物体Ob1以外的全部区域，不仅包括物体Ob1的附近的区域，还包括物体Ob1的远方的区域。进而，在本实施方式中，分离部16将与分离出的周边区域相关的信息作为路面信息D12向输出部27输出。此外，里程计信息D4也被输入到分离部16。关于分离部16的动作，在“(3)动作”一栏中进行说明。

三维物体探测部17基于距离信息D3进行物体Ob1的探测。在本实施方式中，从分离部16向三维物体探测部17输入除去了周边区域的状态的距离信息D3。三维物体探测部17使用从分离部16输入的距离信息D3，探测监视区域A1内的物体Ob1，在判定为存在物体Ob1的情况下，将相当于物体Ob1的距离信息D3(点云)作为“物标”输出。

在本实施方式中，三维物体探测部17除了距离信息D3以外，还基于从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，进行物体Ob1的探测。即，在三维物体探测部17的前级存在噪声处理部14，在噪声处理部14中，如上述那样间接地使用从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，进行距离信息D3的校正。因此，三维物体探测部17不仅间接地使用距离信息D3，还间接地使用从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，进行物体Ob1的探测。

换言之，三维物体探测部17可以除了基于距离信息D3以外，还基于配合第二亮度信息D2的定时进行校正的第一亮度信息D1，来进行物体Ob1的探测。在这种情况下，三维物体探测部17不是直接使用第二亮度信息D2，而是使用与第二亮度信息D2的定时一致地校正后的第一亮度信息D1来进行物体Ob1的探测。关于三维物体探测部17的动作，在“(3)动作”一栏中进行说明。

融合部18进行二维物体探测部20的探测结果和三维物体探测部17的探测结果的合成。在本实施方式中，在融合部18的前级配置有三维物体探测部17以及二维物体探测部20，对融合部18输入三维物体探测部17的探测结果以及二维物体探测部20的探测结果。在此，三维物体探测部17的探测结果至少相当于基于距离信息D3的物体Ob1的探测结果、即物体Ob1的三维探测结果。二维物体探测部20的探测结果相当于基于从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息的物体Ob1的探测结果、即物体Ob1的二维探测结果。即，融合部18不是直接合成从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息和距离信息D3，而是合成基于各个从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息和距离信息D3的物体Ob1的探测结果。由此，融合部18间接地合成从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息和距离信息D3。

这样，在本实施方式中，在融合部18的前级进行物体Ob1的探测，融合部18基于物体Ob1的探测结果，进行从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息和距离信息D3的合成。在此所说的“物体Ob1的探测结果”是指三维物体探测部17以及二维物体探测部20双方的探测结果。更详细而言，融合部18使用基于从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息的物体Ob1的探测结果，来使基于距离信息D3的物体Ob1的探测结果变化。换言之，融合部18使用二维物体探测部20的探测结果(二维探测结果)，对三维物体探测部17的探测结果(三维探测结果)进行校正。由此，融合部18合成二维探测结果和三维探测结果。

即，融合部18通过从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息与距离信息D3的合成，来校正三维物体探测部17的探测结果，将校正后的三维物体探测部17的探测结果输出到跟踪部19。关于融合部18的动作，在“(3)动作”一栏中进行说明。

此外，融合部18向包括图像传感器3的传感器系统10输出反馈信号Si1。在此，图像传感器3输出通过反馈信号Si1而从由曝光时间以及帧速率构成的组中选择的一个以上的参数发生变化的电信号。即，如图1A以及图2所示，融合部18输出的反馈信号Si1被反馈至传感器系统10。反馈信号Si1中包括作为融合部18的输出的校正后的三维物体探测部17的探测结果。图像传感器3输出根据该反馈信号Si1而变更了曝光时间和/或帧频的电信号。

跟踪部19进行存在于监视区域A1内的物体Ob1的追踪。跟踪部19针对从融合部18输入的校正后的三维物体探测部17的探测结果(物标)，例如通过在图像传感器3输出的多个帧间进行比较来进行物体Ob1的追踪。由此，在跟踪部19中，即使在物体Ob1在监视区域A1内移动的情况下，也能够将移动前的物体Ob1和移动后的物体Ob1认识为相同的物体。跟踪部19的追踪结果作为物标信息D11被输出到输出单元27。此外，在跟踪部19中还输入有里程计信息D4。

二维物体探测部20基于从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息来进行物体Ob1的探测。在本实施方式中，二维物体探测部20经由第一合成部21与第一取得部11连接。此外，由于第二取得部12也与第一合成部21连接，因此二维物体探测部20也经由第一合成部21与第二取得部12连接。即，第一亮度信息D1或者第二亮度信息D2不是直接输入，而是经由第一合成部21间接地输入到二维物体探测部20。由于在第一合成部21的输出中反映了从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，因此二维物体探测部20间接地使用第一亮度信息D1或者第二亮度信息D2来进行物体Ob1的探测。二维物体探测部20使用从由第一合成部21输入的第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，来探测监视区域A1内的物体Ob1，在判定为存在物体Ob1的情况下，输出从由标注了与物体Ob1对应的标记M1(参照图7)的第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息。

在本实施方式中，二维物体探测部20基于从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，来进行物体Ob1的探测。即，在二维物体探测部20的前级存在第一合成部21，在第一合成部21中，进行第一亮度信息D1以及第二亮度信息D2的合成。因此，二维物体探测部20能够不仅间接地使用第一亮度信息D1或者第二亮度信息D2，还间接地使用合成了第一亮度信息D1以及第二亮度信息D2的合成图像来进行物体Ob1的探测。关于二维物体探测部20的动作，详细内容在“(3)动作”一栏中进行说明。

第一合成部21与第一取得部11以及第二取得部12连接。第一合成部21进行第一亮度信息D1以及第二亮度信息D2的合成。在本实施方式中，由于第一亮度信息D1以及第二亮度信息D2均为图像，因此通过合成第一亮度信息D1以及第二亮度信息D2来生成合成图像。本公开中所说的“合成”包括加权合成，例如，若第一亮度信息D1以及第二亮度信息D2的加权系数为“1∶0”，则作为合成图像，从第一合成部21直接输出第一亮度信息D1。另一方面，例如，如果第一亮度信息D1以及第二亮度信息D2的权重系数为“0∶1”，则作为合成图像，从第一合成部21直接输出第二亮度信息D2。换言之，第一合成部21包括择一地输出第一亮度信息D1以及第二亮度信息D2的作为选择器的功能。由第一合成部21合成的第一亮度信息D1以及第二亮度信息D2被输入到噪声处理部14以及二维物体探测部20。因此，优选适当地控制第一合成部21，使得第一合成部21的输出成为适于噪声处理部14以及二维物体探测部20的动作的合成图像。进而，从第一合成部21输入的合成图像例如优选根据白天/夜间或者天气(雨、雾)等监视区域A1的状况，适当地改变加权系数来合成。

第二合成部22与第一取得部11以及第二取得部12连接。第二合成部22进行第一亮度信息D1以及第二亮度信息D2的合成。第二合成部22也与第一合成部21同样地，包括择一地输出第一亮度信息D1以及第二亮度信息D2的作为选择器的功能。由第二合成部22合成的第一亮度信息D1以及第二亮度信息D2被输入到白线候补区域探测部23。因此，优选第二合成部22适当地进行控制，以使第二合成部22的输出成为适于白线候补区域探测部23的动作的合成图像。进而，从第二合成部22输入的合成图像例如优选根据白天/夜间或者天气(雨、雾)等监视区域A1的状况，适当地改变加权系数来合成。

在本实施方式中，第一合成部21的输出被输入到二维物体探测部20，第二合成部22的输出被输入到白线候补区域检测部23。这样，由于与第一合成部21以及第二合成部22的输出对应的探测对象不同，因此在第一合成部21和第二合成部22中，合成时的权重系数优选不同。

在此，第一合成部21以及第二合成部22均作为将第一亮度信息D1和第二亮度信息D2合成的“合成部”发挥功能。该合成部(第一合成部21以及第二合成部22)具有合成第一亮度信息D1以及第二亮度信息D2的功能，以校正与第一像素31和第二像素32的位置相关的信息。合成部(第一合成部21以及第二合成部22)根据输入的参照信息D6，使合成第一亮度信息D1和第二亮度信息D2的权重系数变化。即，参照信息D6是与白天/夜间或者天气(雨、雾)等监视区域A1的状况相关的信息，作为一例，包括与物体Ob1的周围的照度和/或湿度相关的信息。

白线候补区域检测部23检测成为绘制于路面61(参照图4)的白线62(参照图4)的候补的区域。白线候补区域检测部23基于从第二合成部22输入的第一亮度信息D1以及第二亮度信息D2的合成图像，来检测白线62的候补区域。此外，还对白线候补区域检测部23输入可信信息D5。作为一例，白线62的探测通过对第一亮度信息D1以及第二亮度信息D2的合成图像进行使用了滤波器的边缘提取等来探测像素值(明亮度)急剧变化的部位来实现。在此，成为白线候补区域检测部23的检测对象的白线62不限于白色的线，例如也可以是黄线(黄色的线)、图画或者图案等。

白线候补区域鸟瞰变换部24设置于白线候补区域检测部23的后级。白线候补区域鸟瞰变换部24针对第一亮度信息D1以及第二亮度信息D2的合成图像，进行坐标变换，以使得至少成为从正上方观察由白线候补区域检测部23检测出的白线62的候补区域以及其周边的鸟瞰图像。

空闲空间探测部25基于距离信息D3来探测监视区域A1内的空闲空间、即空闲的空间。在本实施方式中，从分离部16向空闲空间探测部25输入被分离为物体Ob1和位于物体Ob1的周围的周边区域的距离信息D3。空闲空间探测部25使用从分离部16输入的距离信息D3来探测监视区域A1内的空闲空间。空闲空间探测部25的探测结果作为空闲空间信息D13(图中标记为“空闲空间”)输出到输出部27。此外，还对空闲空间探测部25输入里程计信息D4。

停车框探测部26探测监视区域A1内的空闲停车框、即其他车辆未停车而空闲的停车框。通常，在商业设施、医院、公园、体育场、会馆或者交通机构等的停车场中，设置有多个停车框，停车场的利用者寻找空闲停车框，使本车辆(移动体)停车到空闲停车框中。根据停车框探测部26，在这样的情况下，能够自动地搜索空闲停车框。在本实施方式中，对停车框检测部26输入空闲空间探测部25的探测结果以及白线候补区域鸟瞰变换部24的输出(坐标变换后的白线62的候补区域)。停车框检测部26进行空闲空间探测部25的探测结果与白线候补区域鸟瞰变换部24的输出(坐标变换后的白线62的候补区域)的配对，进行空闲停车框的判定。例如，停车框检测部26将在监视区域A1内能够对移动体进行停车的尺寸的停车框中的、在位置上与自由情况重叠的停车框判定为空闲停车框。停车框检测部26的检测结果作为空闲停车框信息D14(图中标记为“空闲停车框”)输出到输出部2。

输出部27输出基于第一亮度信息D1、第二亮度信息D2和距离信息D3进行的、与图像传感器3的视角内的监视区域A1的状况相关的信息处理结果。即，本实施方式所涉及的信息处理系统1基于从图像传感器3取得的第一亮度信息D1、第二亮度信息D2以及距离信息D3，来执行与监视区域A1的状况相关的各种信息处理，并通过输出部27输出其结果。在本实施方式中，作为一例，输出部27输出从跟踪部19、分离部16、空闲空间探测部25以及停车框探测部26分别取得的物标信息D11、路面信息D12、空闲空间信息D13以及空闲停车框信息D14。输出部27将这些信息输出到控制系统2。

在本实施方式中，信息处理结果包括与移动体的周边的监视区域A1中的物体Ob1的有无相关的信息、与存在于监视区域A1的物体Ob1的监视区域A1内的位置相关的信息、与物体Ob1的属性相关的信息中的至少一个。具体而言，物标信息D11包括与移动体的周边的监视区域A1中的物体Ob1的有无相关的信息、与存在于监视区域A1的物体Ob1的监视区域A1内的位置相关的信息、以及与物体Ob1的属性相关的信息。本公开中所说的“属性”例如包括物体Ob1的种类、即是否为人、移动体(人、汽车或者自行车等)还是固定物、或者街道树、信号灯、护栏等的区别。此外，物体Ob1的“属性”也包括物体Ob1的大小、颜色或者运动(变化)等。进而，如果物体Ob1是人，则在物体Ob1的“属性”中包含其性别、身高、体型或者年龄层等，如果物体Ob1是移动体，则在物体Ob1的“属性”中包含其移动方向或者移动速度等。

在此，输出部27输出的信息根据其输出目的地的要求而适当地变化。例如，对于云(云计算)等，在从多台移动体汇集输出部27的输出的情况下，输出部27也可以输出被元(meta)化的元信息。

(3)动作

接下来，参照图3～图8B对本实施方式所涉及的信息处理系统1的动作进行说明。

(3.1)整体动作

本实施方式所涉及的信息处理系统1至少具有包括停车空间探测模式以及物体探测模式在内的多个动作模式。这些多个动作模式能够分别独立地进行有效/无效的切换，例如，如果停车空间探测模式有效，除此以外的动作模式全部无效，则信息处理系统1仅在停车空间探测模式下进行动作。停车空间探测模式是探测空闲停车框的动作模式，在该动作模式下，从输出部27输出上述的空闲停车框信息D14。物体探测模式是探测监视区域A1内的物体Ob1的动作模式，在该动作模式下，从输出部27输出上述的物标信息D11。

图3是表示本实施方式所涉及的信息处理系统1的动作例的流程图。

即，如图3所示，信息处理系统1执行取得第一亮度信息D1的第一取得处理(S1)、取得第二亮度信息D2的第二取得处理(S2)、以及取得距离信息D3的第三取得处理(S3)。信息处理系统1在第一取得部11、第二取得部12以及第三取得部13中随时执行第一取得处理、第二取得处理以及第三取得处理(S1～S3)。

接下来，信息处理系统1通过噪声处理部14，使用距离信息D3和从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，进行距离信息D3的校正，由此执行降低距离信息D3的噪声的噪声除去处理(S4)。关于噪声除去处理，详细内容在“(3.2)噪声除去处理”一栏中进行说明。

接下来，信息处理系统1在分离部16中，针对坐标变换后的距离信息D3，执行将物体Ob1和位于物体Ob1的周围的周边区域分离的分离处理(S5)。关于分离处理，详细内容在“(3.3)分离处理”一栏中进行说明。

接下来，信息处理系统1判断物体探测模式是否有效(S6)。如果物体探测模式有效(S6：是)，则信息处理系统1执行用于探测物体Ob1的一系列的处理(S7～S11)。即，信息处理系统1执行由三维物体探测部17进行物体Ob1的探测的三维物体探测处理(S7)，执行由二维物体探测部20进行物体Ob1的探测的二维物体探测处理(S8)。关于三维物体探测处理，详细内容在“(3.4)三维物体探测处理”一栏中进行说明，关于二维物体探测处理，详细内容在“(3.5)二维物体探测处理”一栏中进行说明。

接下来，信息处理系统1通过融合部18，通过从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息和距离信息D3的合成，来使用二维物体探测部20的探测结果执行对三维物体探测部17的探测结果进行校正的融合处理(S9)。关于融合处理，详细内容在“(3.6)融合处理”一栏中进行说明。

接下来，信息处理系统1根据融合处理的结果，判断物体Ob1的有无(S10)。若存在物体Ob1(S10：是)，则信息处理系统1通过输出部27输出物标信息D11(S11)，判断停车空间探测模式是否有效(S12)。若不存在物体Ob1(S10：是)，则信息处理系统1不输出物标信息D11，而转移到处理S12。

若停车空间探测模式有效(S12：是)，则信息处理系统1执行用于探测空闲停车框的一系列处理(S13～S16)。即，信息处理系统1通过白线候补区域检测部23检测白线62(的候补区域)(S13)，通过空闲空间探测部25探测空闲空间(S14)。根据这些结果，信息处理系统1通过停车框检测部26判断监视区域A1内有无空闲停车框(S15)。

若有空闲停车框(S15：是)，则信息处理系统1通过输出部27输出空闲停车框信息D14(S16)，结束一系列的处理。若没有空闲停车框(S15：是)，则信息处理系统1不输出空闲停车框信息D14，结束一系列的处理。

此外，若物体探测模式无效(S6：否)，则信息处理系统1跳过用于探测物体Ob1的一系列处理(S7～S11)，转移到处理S12。若停车空间探测模式无效(S12：否)，则信息处理系统1跳过用于探测空闲停车框的一系列处理(S13～S16)，结束处理。

信息处理系统1反复执行上述那样的一系列的处理S1～S16。图3的流程图只不过是信息处理系统1的整体动作的一例，既可以适当省略或者追加处理，也可以适当变更处理的顺序。例如，也可以变更处理S1～S3的顺序，取得第二亮度信息D2以及距离信息D3后(S2、S3)，取得第一亮度信息D1(S1)。

接下来，对停车空间探测模式下的信息处理系统1的动作进行说明。

图4以及图5是表示停车空间探测模式下的信息处理系统1的动作的概要的说明图。图4示意性地表示通过图像传感器3拍摄监视区域A1并且将从图像传感器3的输出获得的第一亮度信息D1、第二亮度信息D2以及距离信息D3输入到信息处理系统1的情形。图5示意性地表示停车空间探测模式下的信息处理系统1中的信息处理结果、即空闲停车框信息D14。

在图4的例子中，设想移动体想要在停车场停车的场景，在监视区域A1内分别存在由白线62划分的多个停车框。多个停车框包括停放有其他车辆(物体Ob1)的停车框和未停放其他车辆(物体Ob1)的停车框(空闲停车框)。

在这样的场景中，信息处理系统1从图像传感器3(经由信号处理部5)取得如图4所示的第一亮度信息D1、第二亮度信息D2以及距离信息D3。第一亮度信息D1是表示输入到多个第一像素31的光的强度的明暗信息，因此在外观上成为比较忠实地再现实际空间的监视区域A1的图像。第二亮度信息D2是表示从发光部4输出并输入到多个第二像素32的红外光的强度的明暗信息，因此对于红外光的反射率比较低的物体Ob1没有充分地再现，并且，成为与第一亮度信息D1相比对比度低的图像。距离信息D3是表示从发光部4输出并输入到多个第二像素32的红外光的飞行距离、即从图像传感器3到物体Ob1的距离的距离图像，因此关于相对于红外光的反射率比较低的物体Ob1没有充分再现。

信息处理系统1使用这些第一亮度信息D1、第二亮度信息D2以及距离信息D3，如上述那样，执行用于探测空闲停车框的一系列的处理(S13～S16)。

其结果，如图5所示，探测出其他车辆(物体Ob1)未停车的停车框来作为空闲停车框，生成空闲停车框信息D14。空闲停车框信息D14至少包括与监视区域A1内的空闲停车框的位置相关的信息。作为一例，从信息处理系统1输入了空闲停车框信息D14的控制系统2也可以如图5所示，使在监视区域A1的图像上重叠了空闲停车框信息D14的图像显示于移动体的显示装置。在这种情况下，优选在显示装置所显示的图像中附加表示空闲停车框信息D14指示空闲停车框的对话框(在图5中标记为“空闲空间”)。

在此，在被一对白线62包围的停车框内设置有止轮器63(参照图4)。本实施方式所涉及的信息处理系统1将止轮器63识别为物体Ob1。即，在本实施方式中，在用于探测空闲停车框的一系列的处理(S13～S16)的前处理即分离处理(S5)中，针对坐标变换后的距离信息D3，分离出物体Ob1和周边区域。因此，若停车框空闲，则由白线62以及止轮器63包围的路面61的区域被探测为空闲停车框。

接下来，对物体探测模式下的信息处理系统1的动作进行说明。

图6以及图7是表示物体探测模式下的信息处理系统1的动作的概要的说明图。图6示意性地表示监视区域A1的情形。图7示意性地表示物体探测模式下的信息处理系统1中的信息处理结果、即物标信息D11。

在图6的例子中，设想移动体在交叉路口短时间停车的场景，在监视区域A1内存在包括车道611以及人行道612的路面61、人行横道64等、以及过人行横道64的多个人(物体Ob1)以及街道树(物体Ob1)等。在此，人行道612比车道611高。

在这样的场景中，信息处理系统1从图像传感器3(经由信号处理部5)取得第一亮度信息D1、第二亮度信息D2以及距离信息D3。信息处理系统1使用这些第一亮度信息D1、第二亮度信息D2以及距离信息D3，如上述那样执行用于探测物体Ob1的一系列的处理(S7～S11)。

其结果，如图7所示，存在于路面61上的多个人(行人)以及街道树分别被探测为物体Ob1，生成物标信息D11。物标信息D11至少包括与监视区域A1内的物体Ob1的位置相关的信息。在图7的例子中，物标信息D11包括包围物体Ob1的框状的标记M1以及标记M1内的物体Ob1的图像。作为一例，从信息处理系统1输入了物标信息D11的控制系统2也可以如图7所示，使在监视区域A1的图像上重叠了物标信息D11的图像显示于移动体的显示装置。在这种情况下，优选在显示装置所显示的图像中附加表示物标信息D11所表示的物体Ob1的属性的对话框(在图7中标记为“人”、“树”)。

在此，在本实施方式中，在作为用于探测物体Ob1的一系列的处理(S7～S11)的前处理的分离处理(S5)中，关于坐标变换后的距离信息D3，物体Ob1和周边区域被分离。本实施方式所涉及的信息处理系统1对于与车道611相比变高的与人行道612之间的高低差，能够识别为物体Ob1。因此，也能够探测路面61上的高低差(车道611与人行道612之间的高低差)，仅将车道611作为路面分离。

(3.2)噪声除去处理

以下，对噪声处理部14的噪声除去处理(图3的“S4”)进行更详细的说明。

在噪声除去处理中，噪声处理部14使用从由第一合成部21输入的第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，来进行距离信息D3的校正，以降低距离信息D3的噪声。更详细而言，在使用第二亮度信息D2、或者第一亮度信息D1以及第二亮度信息D2的合成图像和距离信息D3的情况下，由于均是使用根据第二像素32的输出而获得的信息，因此能够在第二亮度信息D2与距离信息D3之间不考虑时间而除去距离信息D3的噪声。

另一方面，在使用第一亮度信息D1以及距离信息D3的情况下，由于输出信息的像素分别是第一像素31以及第二像素32，因此有时会产生时间上的偏差。在这种情况下，在基于给定的偏移值校正第一亮度信息D1和距离信息D3之间的时间差之后，进行除去距离信息D3的噪声。因此，通过使用从由第一亮度信息D1和第二亮度信息D2构成的组中选择的一个以上的信息，能够对距离信息D3进行降低噪声的校正。

在本实施方式中，噪声处理部14为了决定除去SN比比较低的距离信息D3的噪声的滤波器，使用从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息的滤波器信息。具体而言，噪声处理部14针对从第一合成部21输入的合成图像，例如通过进行使用了滤波器的边缘提取等，来探测像素值(明亮度)急剧变化的部位，提取成为物体Ob1的候补的区域。噪声处理部14以从这样的合成图像中提取出的区域为基准，决定应用于距离信息D3的滤波器。作为一例，噪声处理部14针对从合成图像估计为存在人的区域，采用距离的偏差在1.0[m]的范围内的点，进行将该范围外的点作为错误值的滤波。

其结果，与仅根据距离信息D3决定错误值的范围来进行滤波的情况相比，滤波器的精度容易提高，能够高效地除去距离信息D3的噪声。

(3.3)分离处理

以下，对分离部16的分离处理(图3的“S5”)进行更详细的说明。

在分离处理中，分离部16针对从坐标变换部15输入的坐标变换后的距离信息D3(点云)，将物体Ob1和位于物体Ob1的周围的周边区域分离。具体而言，分离部16首先基于点的绝对高度(Z坐标的位置)，将处于给定高度以下的点判断为作为周边区域的路面61。然后，分离部16进行对高于给定高度且处于给定范围内的多个点进行分组的聚类，求出包括同一组内的多个点的“面”以及其“法线”。在此，若法线相对于铅垂方向(Z轴)的倾斜度为给定值以下且其面积为给定值以上，则分离部16将所求出的“面”判断为路面61。

此外，分离部16对于判断为周边区域的距离信息D3，也能够通过相对于铅垂方向(Z轴)的法线的倾斜度，求出路面61的倾斜以及凹凸等。由此，分离部16能够将包括路面61的倾斜以及凹凸等在内的与周边区域相关的信息作为路面信息D12输出。即，路面信息D12包括与周边区域所包括的路面61的倾斜度和/或凹凸等相关的信息。

(3.4)三维物体探测处理

以下，对三维物体探测部17的三维物体探测处理(图3的“S7”)进行更详细的说明。

在三维物体探测处理中，三维物体探测部17基于从分离部16输入的距离信息D3进行物体Ob1的探测。在本实施方式中，三维物体探测部17针对除去了周边区域的状态的距离信息D3(点云)，进行是否为物体Ob1的判断。具体而言，三维物体探测部17例如基于点云中的点的密度，进行是否为物体Ob1的判断。即，若点云的点的密度为阈值以上，则三维物体探测部17判断为在与这些点对应的位置存在物体Ob1。另一方面，若点云中的点的密度小于阈值，则三维物体探测部17判断为在与这些点对应的位置不存在物体Ob1。

此外，三维物体探测部17例如也可以进行将处于给定范围内的多个点分组的聚类，基于包括相同组内的多个点的“面”的大小(即面积)，来进行是否为物体Ob1的判断。在这种情况下，若面积为阈值以上，则三维物体探测部17判断为在与这些点对应的位置存在物体Ob1。另一方面，若面积小于阈值，则三维物体探测部17判断为在与这些点对应的位置不存在物体Ob1。

而且，在本实施方式中，如上所述，在三维物体探测处理的前级的噪声除去处理中，使用从由第一亮度信息D1和第二亮度信息D2构成的组中选择的一个以上的信息进行距离信息D3的校正。因此，在三维物体探测处理中，不仅使用距离信息D3，还间接地使用从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息，来进行物体Ob1的探测。

在三维物体探测处理中，除了物体Ob1的有无之外，还判断与物体Ob1的监视区域A1内的位置相关的信息以及与物体Ob1的属性相关的信息。即，在存在物体Ob1的情况下，关于其位置以及属性，也通过三维物体探测处理来判断。在本实施方式中，作为一例，在三维物体探测处理中判断出的物体Ob1的属性仅为物体Ob1的大小。

(3.5)二维物体探测处理

以下，对二维物体探测部20的二维物体探测处理(图3的“S8”)进行更详细的说明。

在二维物体探测处理中，二维物体探测部20基于从由第一合成部21输入的第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息来进行物体Ob1的探测。基本上，二维物体探测部20一边在亮度图像上移动各种物体Ob1的模板，一边基于与模板进行比较的部分图像的与模板的类似度，进行是否为物体Ob1的判断。即，若部分图像与模板的一致度为阈值以上，则二维物体探测部20判断为在与该部分图像对应的位置存在物体Ob1。另一方面，若部分图像与模板的一致度小于阈值，则二维物体探测部20判断为在与该部分图像对应的位置不存在物体Ob1。

此外，二维物体探测部20例如也可以使用HOG(Histograms of OrientedGradients，梯度方向直方图)特征量或者卷积神经网络(CNN：Convolutional NeuralNetwork)等，进行基于从由第一亮度信息D1以及第二亮度信息D2构成的组中选择的一个以上的信息的物体Ob1的探测。

在二维物体探测处理中，除了物体Ob1的有无之外，还判断与物体Ob1的监视区域A1内的位置相关的信息以及与物体Ob1的属性相关的信息。即，在存在物体Ob1的情况下，关于其位置以及属性，也通过二维物体探测处理来判断。在本实施方式中，作为一例，在二维物体探测处理中判断出的物体Ob1的属性包括物体Ob1的大小和种类。

这样，在二维物体探测处理中，利用与三维物体探测处理不同的手段进行物体Ob1的探测。

(3.6)融合处理

以下，对融合部18的融合处理(图3的“S9”)进行更详细的说明。

在融合处理中，融合部18进行二维物体探测部20的探测结果和三维物体探测部17的探测结果的合成。即，三维物体探测处理的探测结果是至少基于距离信息D3进行的物体Ob1的探测结果，二维物体探测处理的探测结果是至少基于第一亮度信息D1或者第二亮度信息D2进行的物体Ob1的探测结果。

三维物体探测处理基于从发光部4输出的红外光被物体Ob1反射并输入到第二像素32而产生的距离信息D3来探测物体Ob1，因此有可能无法探测对红外光的反射率比较低的物体Ob1。另一方面，二维物体探测处理由于不使用距离信息D3，因此无法探测反映了从图像传感器3到物体Ob1的距离的三维物体Ob1。在融合处理中，通过合成这些三维物体探测处理以及二维物体探测处理双方的探测结果，能够获得弥补了各自的缺点的物体Ob1的探测结果。即，即使是相对于红外光的反射率比较低的物体Ob1，也能够进行反映了从图像传感器3到物体Ob1的距离的三维的物体Ob1的探测。

具体而言，融合部18使用二维物体探测处理的探测结果(基于第一亮度信息D1或者第二亮度信息D2的物体Ob1的探测结果)，对三维物体探测处理的探测结果(基于距离信息D3的物体Ob1的探测结果)进行校正。例如，对于包括相对于红外光的反射率低的部位的物体Ob1，在三维物体探测处理的探测结果(点云)中，存在与物体Ob1的一部分相当的点缺损的可能性。因此，在融合处理中，根据二维物体探测处理的探测结果，对三维物体探测处理的探测结果进行校正(补充)，以使得补充该缺损的点。

图8A以及图8B是示意性地表示通过融合处理对三维物体探测处理的探测结果进行校正(补充)的情形的说明图。在图8A以及图8B的例子中，设想在监视区域A1内存在路面61以及人(物体Ob1)的场景。而且，假定对人(物体Ob1)穿着的上衣的红外光的反射率比较低。

在这种情况下，若利用图像传感器3对图8A那样的监视区域A1进行拍摄，则如图8B所示，在三维物体探测处理的探测结果(点云)中，存在与人(物体Ob1)的上半身(躯体)相当的点缺损的可能性。在图8B中，用想像线(双点划线)标记缺损的人(物体Ob1)的上半身(躯体)。在这种情况下，通过使二维物体探测处理的探测结果中包围物体Ob1的框状的标记M1与三维物体探测处理的探测结果重叠，能够获得图8B所示的数据。然后，在融合处理中，通过以下的流程进行三维物体探测处理的探测结果的校正(补充)。

即，融合部18首先根据存在于由标记M1包围的区域的多个点，求出到物体Ob1为止的距离的代表值(平均值、中央值或者众数等)。进而，融合部18调整标记M1的位置，以使得所求出的距离的代表值与标记M1的下端的位置一致。例如，在求出的距离的代表值为5.0[m]的情况下，融合部18调整标记M1的位置，使得路面61上的标记M1的下端的位置(相当于人的脚下)成为5.0[m]的位置。然后，融合部18判断为三维物体探测处理的探测结果(点云)中的被标记M1包围的区域中所存在的点是相当于物体Ob1的物标信息D11。此时，融合部18也可以补充缺损的点、即与人(物体Ob1)的上半身(躯体)相当的点。

如上所述，在融合处理中，能够使用二维物体探测处理的探测结果，对三维物体探测处理的探测结果(相当于物体Ob1的距离信息D3)进行校正。由此，能够获得与三维物体探测处理相比精度提高了的物体Ob1的探测结果(物标信息D11)。

进而，在本实施方式中，在三维物体探测处理中，作为物体Ob1的属性，仅包括物体Ob1的大小，与此相对，在二维元物体探测处理中，作为物体Ob1的属性，包括物体Ob1的大小和种类。因此，在融合处理中获得的校正后的探测结果中，作为物体Ob1的属性，优选不仅包括物体Ob1的大小，还包括种类。

(4)变形例

实施方式1只不过是本公开的各种实施方式之一。实施方式1只要能够实现本公开的目的，则能够根据设计等进行各种变更。在本公开中说明的各图是示意性的图，各图中的各构成要素的大小以及厚度各自的比未必反映实际的尺寸比。此外，与实施方式1所涉及的信息处理系统1同样的功能也可以通过信息处理方法、程序或者记录有程序的非暂时性的记录介质等来实现。一个方式所涉及的信息处理方法是对从图像传感器3输入的信息进行处理的方法，具有第一取得处理(相当于图3的“S1”)、第二取得处理(相当于图3的“S2”)、第三取得处理(相当于图3的“S2”)。图像传感器3具有对可见光具有灵敏度的第一像素31、以及对红外光具有灵敏度的第二像素32。第一取得处理是从第一像素31取得与第一像素31的像素值相关的第一亮度信息D1的处理。第二取得处理是从第二像素32取得与第二像素32的像素值相关的第二亮度信息D2的处理。第三取得处理是从第二像素32取得与从图像传感器3到反射了红外光的物体Ob1的距离相关的距离信息D3的处理。一个方式所涉及的程序是用于使一个以上的处理器执行上述的信息处理方法的程序。

(4.1)第一变形例

作为实施方式1的第一变形例，融合部18不限于使用基于第一亮度信息D1的物体Ob1的探测结果来使基于距离信息D3的物体Ob1的探测结果变化的结构。例如，融合部18也可以使用基于距离信息的物体Ob1的探测结果，使基于第一亮度信息D1的物体Ob1的探测结果变化。换言之，融合部18使用三维物体探测部17的探测结果(基于距离信息D3的物体Ob1的探测结果)，对二维物体探测部20的探测结果(基于第一亮度信息D1的物体Ob1的探测结果)进行校正。

进而，在该情况下，融合部18只要使基于第一亮度信息D1的物体Ob1的探测结果为“变化”即可，其具体的方式不限于校正(包括补充)。例如，融合部18也可以通过推动信号处理部5来对成为基础的第一亮度信息D1施加变化，从而使基于第一亮度信息D1的物体Ob1的探测结果为“变化”。作为一例，融合部18也可以通过调整图像传感器3的曝光时间或者帧频来使从图像传感器3(第一像素31)获得的第一亮度信息D1变化。由此，例如，在由于暗部欠曝或者亮部过曝等而难以从第一亮度信息D1探测到物体Ob1的情况下，能够使第一亮度信息D1本身变化为容易探测物体Ob1的状态，其结果是，基于第一亮度信息D1的物体Ob1的探测结果发生变化。

(4.2)第二变形例

实施方式1的第二变形例所涉及的信息处理系统1具有校正第一亮度信息D1与第二亮度信息D2的时间差的功能。

即，由于第一亮度信息D1以及第二亮度信息D2是分别从第一像素31以及第二像素32的输出获得的信息，因此在第一亮度信息D1与第二亮度信息D2之间可能产生时间上的偏移。因此，优选校正第一亮度信息D1与第二亮度信息D2的时间差，以减小第一亮度信息D1与第二亮度信息D2之间的时间上的偏移。

作为一例，对第一亮度信息D1与第二亮度信息D2的时间差进行校正的功能分别设置于第一合成部21以及第二合成部22，或者设置于各自的前级。在此，第二亮度信息D2是与距离信息D3在时间上完全同步的信息，因此优选与第二亮度信息D2的定时一致地校正第一亮度信息D1。在这种情况下，由于第二亮度信息D2的定时不偏移，因此维持第二亮度信息D2与距离信息D3的关系性。

这样，通过校正第一亮度信息D1和第二亮度信息D2的时间差，使用第一亮度信息D1以及第二亮度信息D2两者的处理、例如第一合成部21以及第二合成部22中的处理的精度提高。

(4.3)第三变形例

如图9所示，实施方式1的第三变形例所涉及的信息处理系统1A对噪声处理部14直接输入第二亮度信息D2这一点上，与实施方式1所涉及的信息处理系统1不同。

即，在本变形例中，噪声处理部14代替第一合成部21而与第二取得部12连接。即，噪声处理部14与第二取得部12以及第三取得部13连接。由此，在实施方式1所涉及的信息处理系统1中，第二亮度信息D2不是直接而是经由第一合成部21间接地输入到噪声处理部14，与此相对，在本变形例中，第二亮度信息D2被直接输入到噪声处理部14。在本变形例中，噪声处理部14也使用距离信息D3和第二亮度信息D2来进行距离信息D3的校正。

(4.4)第四变形例

如图10所示，实施方式1的第四变形例所涉及的信息处理系统1D在取代第一合成部21以及第二合成部22而具备合成部200这一点上，与实施方式1所涉及的信息处理系统1不同。

即，在本变形例中，合成部200兼具第一合成部21以及第二合成部22这两个功能。换言之，第一合成部21以及第二合成部22被一体化，构成合成部200。根据本变形例，能够使信息处理系统1D中的处理变得简单。

(4.5)第五变形例

如图11所示，实施方式1的第五变形例所涉及的信息处理系统1E在省略了第二合成部22、白线候补区域检测部23以及白线候补区域鸟瞰变换部24这一点上，与实施方式1所涉及的信息处理系统1不同。

即，在本变形例中，不进行停车框检测部26的空闲停车框的探测。因此，不对输出部27输出空闲停车框信息D14。根据本变形例，能够使信息处理系统1E中的处理变得简单。

(4.6)其他变形例

以下，列举实施方式1的第一变形例、第二变形例以及第三变形例以外的变形例。以下说明的变形例、第一变形例、第二变形例以及第三变形例能够适当组合应用。

本公开中的信息处理系统1包括计算机系统。计算机系统将作为硬件的处理器以及存储器作为主要结构。通过由处理器执行记录在计算机系统的存储器中的程序，实现作为本公开中的信息处理系统1的功能。程序可以预先记录在计算机系统的存储器中，也可以通过电通信线路来提供，也可以记录在计算机系统可读取的存储卡、光盘、硬盘驱动器等非暂时性记录介质中来提供。计算机系统的处理器由包括半导体集成电路(IC)或者大规模集成电路(LSI)的一个或多个电子电路构成。在此所说的IC或者LSI等集成电路根据集成的程度而称呼不同，包括系统LSI、VLSI(Very Large Scale Integration：甚大规模集成电路)、或者被称为ULSI(Ultra Large Scale Integration：超大规模集成电路)的集成电路。进而，对于LSI的制造后编程的FPGA(Field-Programmable Gate Array，现场可编程门阵列)、或LSI内部的接合关系的重构或者LSI内部的电路分区的可重构的逻辑设备，也能够作为处理器而采用。多个电子电路可以汇集于一个芯片，也可以分散设置于多个芯片。多个芯片既可以汇集在一个装置中，也可以分散设置在多个装置中。在此所说的计算机系统包括具有一个以上的处理器以及一个以上的存储器的微控制器。因此，微控制器也由包括半导体集成电路或者大规模集成电路的1至多个电子电路构成。

此外，信息处理系统1的至少一部分的功能汇集在一个外壳内不是信息处理系统1所必须的结构，信息处理系统1的构成要素也可以分散设置在多个外壳中。例如，信息处理系统1中的第一取得部11、第二取得部12以及第三取得部13可以设置在与输出部27分开的外壳中。进而，信息处理系统1的至少一部分的功能也可以通过云(云计算)等来实现。

相反地，在实施方式1中，分散于多个装置的多个功能的至少一部分也可以汇集于一个外壳内。例如，在信息处理系统1和信号处理部5中分散的功能也可以汇集在一个外壳内。

此外，输出部27中的各种信息的输出的方式不限于向控制系统2的输出。例如，输出部27也可以通过向信息终端的发送、显示、音(包括声音)输出、向非暂时性记录介质的记录(写入)以及印刷(打印输出)等来输出物标信息D11等各种信息。

此外，搭载有信息处理系统1以及传感器系统10的移动体并不限定于汽车(四轮车)，例如也可以是二轮车、电车、电动手推车、建筑机械、无人机、飞机或者船舶等。

此外，信息处理系统1以及传感器系统10不限于用于移动体的结构，例如，也可以在测量用途、防盗用途或者防灾用途等中设置于室内或者室外的固定位置。

此外，图像传感器3中的多个第一像素31以及多个第二像素32的排列不限于图1B所示的例子。例如，也可以在受光面的行方向(纵向)上分别排列多个第一像素31以及第二像素32，并且在受光面的列方向(横向)上交替排列第一像素31以及第二像素32。也可以如图12A所示的图像传感器3A那样，在受光面的行方向上交替排列的多个第一像素31的列和多个第二像素32的列在列方向上相互错开配置。也可以如图12B所示的图像传感器3B那样，被配置为在受光面的列方向上排列的多个第一像素31和在列方向上排列的多个第二像素32在受光面的行方向上按照第一像素31、第一像素31、第二像素32、第一像素31的顺序排列。也可以如图12C所示的图像传感器3C那样，被配置为在受光面的列方向上排列的多个第一像素31和在列方向上排列的多个第二像素32在受光面的行方向上以第二像素32、第二像素32、第一像素31、第二像素32的顺序排列。或者，也可以为如图12D所示的图像传感器3D那样，将多个第一像素31以及多个第二像素32分别配置成交错状，以使得在受光面的行方向以及列方向双方，第一像素31以及第二像素32交替排列。此外，也可以如图12E所示的图像传感器3E那样，第一像素包括用于形成彩色图像的R、G、B这3色的像素。即，在图像传感器3E中，第一像素包括对红色光具有灵敏度的R像素33、对绿色光具有灵敏度的G像素34、以及对蓝色光具有灵敏度的B像素35。进而，图像传感器3不限于二维配置有多个第一像素31以及多个第二像素32的结构，例如也可以是像线传感器那样第一像素31以及第二像素32排成一列的结构。

此外，距离信息D3的求法并不限于使用强度调制光的方法，例如，也可以根据从发光部4单纯地发光起到图像传感器3的第二像素32接受到光(红外光)为止的时间，求出距离信息D3。

此外，二维物体探测部20或者三维物体探测部17在物体Ob1的探测中使用的信息不限于第一亮度信息D1、第二亮度信息D2或者距离信息D3。例如，也可以与这些信息一起适当地使用里程计信息D4等。

此外，信息处理系统1只不过是至少具有包括停车空间探测模式以及物体探测模式在内的多个动作模式的一例，例如也可以仅具有停车空间探测模式或者物体探测模式中的任意一方。或者，信息处理系统1也可以具有停车空间探测模式或者物体探测模式以外的动作模式。

此外，在图像传感器3与信号处理部5之间、信号处理部5与信息处理系统1之间、以及信息处理系统1与控制系统2之间的至少一个也可以不直接连接，只要能够通信即可。本公开中所说的“能够通信”是指通过有线通信或者无线通信的适当的通信方式，能够直接或者经由网络或者中继器等间接地收发信号。

(实施方式2)

如图13所示，本实施方式所涉及的信息处理系统1B在省略了第一合成部21(参照图2)这一点上与实施方式1的信息处理系统1不同。以下，对于与实施方式1相同的结构，标注相同的附图标记并适当省略说明。

在本实施方式中，由于省略了第一合成部21，因此与实施方式1的第三变形例所涉及的信息处理系统1A(参照图9)同样地，向噪声处理部14直接输入第二亮度信息D2。即，在本实施方式中，噪声处理部14与第二取得部12以及第三取得部13连接。在本实施方式中，噪声处理部14也使用距离信息D3和第二亮度信息D2来进行距离信息D3的校正。

进而，在本实施方式中，二维物体探测部20与第一取得部11连接。因此，向二维物体探测部20直接输入第一亮度信息D1，二维物体探测部20直接使用第一亮度信息D1来进行物体Ob1的探测。二维物体探测部20仅使用第一亮度信息D1以及第二亮度信息D2中的第一亮度信息D1来探测监视区域A1内的物体Ob1。二维物体探测部20的探测结果与三维物体探测部17的探测结果一起被输入到融合部18。

图14表示实施方式2的变形例所涉及的信息处理系统1C。信息处理系统1C在省略了融合部18这一点上与实施方式2所涉及的信息处理系统1B不同。在本变形例中，二维物体探测部20的探测结果以及三维物体探测部17的探测结果被直接输入到跟踪部19。因此，在跟踪部19中，基于二维物体探测部20的探测结果、或者三维物体探测部17的探测结果中的任意一方，来进行存在于监视区域A1内的物体Ob1的追踪。

在实施方式2中说明的各种结构(包括变形例)能够与在实施方式1中说明的各种结构(包括变形例)适当组合来采用。

(总结)

如以上说明的那样，第一方式所涉及的信息处理系统(1、1A～1C)用于具有第一像素(31)以及第二像素(32)的图像传感器(3、3A～3E)，具备第一取得部(11)、第二取得部(12)以及第三取得部(13)。第一像素(31)对可见光具有灵敏度。第二像素(32)对红外光具有灵敏度。第一取得部(11)从第一像素(31)取得第一亮度信息(D1)。第一亮度信息(D1)是与第一像素(31)的像素值相关的信息。第二取得部(12)从第二像素(32)取得第二亮度信息(D2)。第二亮度信息(D2)是与第二像素(32)的像素值相关的信息。第三取得部(13)从第二像素(32)取得距离信息(D3)。距离信息(D3)是与从图像传感器(3、3A～3E)到反射了红外光的物体(Ob1)的距离相关的信息。

根据该方式，能够从设置于一个图像传感器(3、3A～3E)的两种像素(第一像素(31)以及第二像素(32))取得三种信息(第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3))。而且，第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3)是相互不同的信息，并且通过从一个图像传感器(3、3A～3E)获得而相互具有相关性。特别是，第二亮度信息(D2)以及距离信息(D3)均从第二像素(32)取得，因此在第二亮度信息(D2)以及距离信息(D3)之间具有较强的相关性。因此，在信息处理系统(1、1A～1C)中，根据这三种信息，例如能够比较高精度地求出与图像传感器(3、3A～3E)的视角内的监视区域(A1)的状况相关的各种信息。其结果是，能够实现信息处理系统(1、1A～1C)中的信息处理的精度的提高。

在第二方式所涉及的信息处理系统(1、1A～1C)中，在第一方式中，第一亮度信息(D1)是表示输入到第一像素(31)的光的强度的明暗信息。

根据该方式，即使不使用彩色图像，也能够实现信息处理系统(1、1A～1C)中的信息处理的精度的提高。

第三方式所涉及的信息处理系统(1、1A～1C)在第一或者第二方式中，还具备三维物体探测部(17)。三维物体探测部(17)基于距离信息(D3)进行物体(Ob1)的探测。

根据该方式，能够基于距离信息(D3)三维地探测物体(Ob1)。

在第四方式所涉及的信息处理系统(1、1A～1C)中，在第三方式中，三维物体探测部(17)除了基于距离信息(D3)以外，还基于从由第一亮度信息(D1)以及第二亮度信息(D2)构成的组中选择的一个以上的信息，来进行物体(Ob1)的探测。

根据该方式，三维地探测物体(Ob1)，并且与仅基于距离信息(D3)的情况相比，能够实现探测精度的提高。

在第五方式所涉及的信息处理系统(1、1A～1C)中，在第三方式中，三维物体探测部(17)除了基于距离信息(D3)以外，还基于配合第二亮度信息(D2)的定时进行校正的第一亮度信息(D1)来进行物体(Ob1)的探测。

根据该方式，三维地探测物体(Ob1)，并且与仅基于距离信息(D3)的情况相比，能够实现探测精度的提高。

第六方式所涉及的信息处理系统(1、1A～1C)在第一至第五方式中的任一方式中，还具备二维物体探测部(20)。二维物体探测部(20)基于从由第一亮度信息(D1)以及第二亮度信息(D2)构成的组中选择的一个以上的信息来进行物体(Ob1)的探测。

根据该方式，能够基于第一亮度信息(D1)二维地探测物体(Ob1)。

在第七方式所涉及的信息处理系统(1、1A～1C)中，在第一～第六方式中的任一方式中，距离信息(D3)是通过ToF方式获得的信息。

根据该方式，能够以比较简单的结构获得距离信息(D3)。

第八方式所涉及的信息处理系统(1、1A～1C)在第一～第七方式中的任一方式中，还具备噪声处理部(14)。噪声处理部(14)使用距离信息(D3)和从由第一亮度信息(D1)以及第二亮度信息(D2)构成的组中选择的一个以上的信息，来进行距离信息(D3)的校正。

根据该方式，由于使用距离信息(D3)以及第二亮度信息(D2)来校正距离信息(D3)，因此能够实现距离信息(D3)的噪声的降低。

第九方式所涉及的信息处理系统(1、1A～1C)在第一至第八方式中的任一方式中，还具备融合部(18)。融合部(18)进行使用从由第一亮度信息(D1)以及第二亮度信息(D2)构成的组中选择的一个以上的信息的物体(Ob1)的二维探测结果和至少使用距离信息(D3)的物体(Ob1)的三维探测结果的合成。

根据该方式，能够进行基于从由第一亮度信息(D1)以及第二亮度信息(D2)构成的组中选择的一个以上的信息和距离信息(D3)这两者的物体(Ob1)的探测等。

在第十方式所涉及的信息处理系统(1、1A～1C)中，在第九方式中，融合部(18)通过使用二维探测结果来校正三维探测结果，从而合成二维探测结果和三维探测结果。

根据该方式，能够通过融合部(18)获得使用二维探测结果进行了校正的三维探测结果。

在第十一方式所涉及的信息处理系统(1、1A～1C)中，在第九或第十方式中，融合部(18)向包括图像传感器(3、3A～3E)的传感器系统(10)输出反馈信号(Si1)。图像传感器(3、3A～3E)输出通过反馈信号(Si1)而从由曝光时间以及帧频构成的组中选择的一个以上的参数发生变化的电信号。

根据该方式，能够使用反馈信号(Si1)使图像传感器(3、3A～3E)的参数变化。

在第十二方式所涉及的信息处理系统(1、1A～1C)中，在第九～第十一方式中的任一方式中，还具备跟踪部(19)，其使用融合部(18)的输出，输出与物体(Ob1)相关的物标信息(D11)。

根据该方式，能够获得与物体(Ob1)相关的物标信息(D11)。

在第十三方式所涉及的信息处理系统(1、1A～1C)中，在第十二方式中，物标信息(D11)包括从由物体(Ob1)的位置的信息、移动方向的信息、移动速度的信息以及种类的信息构成的组中选择的一个以上的信息。

根据该方式，能够获得从由物体(Ob1)的位置的信息、移动方向的信息、移动速度的信息以及种类的信息构成的组中选择的一个以上的信息，作为物标信息(D11)。

第十四方式所涉及的信息处理系统(1、1A～1C)在第一至第十三方式中的任一方式中，还具备分离部(16)。分离部(16)将物体(Ob1)和位于物体(Ob1)的周围的周边区域分离。

根据该方式，能够单独地处理除去了周边区域的物体(Ob1)的信息以及周边区域的信息。

在第十五方式所涉及的信息处理系统(1、1A～1C)中，在第十四方式中，还具备三维物体探测部(17)。三维物体探测部(17)基于距离信息(D3)进行物体(Ob1)的探测。三维物体探测部(17)基于从距离信息(D3)中除去了周边区域的信息来进行物体(Ob1)的探测。

根据该方式，通过使用除去了周边区域的距离信息(D3)，能够实现三维物体探测部(17)中的物体(Ob1)的探测精度的提高。

第十六方式所涉及的信息处理系统(1、1A～1C)在第一至第十五的任一方式中，具有校正第一亮度信息(D1)与第二亮度信息(D2)的时间差的功能。

根据该方式，能够实现信息处理系统(1，1A～1C)中的信息处理的精度的进一步提高。

第十七方式所涉及的信息处理系统(1、1A～1C)在第一至第十六方式中的任一方式中，还具备输出部(27)。输出部(27)输出基于第一亮度信息(D1)、第二亮度信息(D2)和距离信息(D3)进行的、与图像传感器(3、3A～3E)的视角内的监视区域(A1)的状况相关的信息处理结果。

根据该方式，能够在信息处理系统(1、1A～1C)以外的系统中利用与图像传感器(3、3A～3E)的视角内的监视区域(A1)的状况相关的信息处理结果。

在第十八方式所涉及的信息处理系统(1、1A～1C)中，在第十七方式中，信息处理结果包括从由下述三种信息构成的组中选择的一个以上的信息。三种信息是与监视区域(A1)中有无物体(Ob1)相关的信息、与存在于监视区域(A1)的物体(Ob1)的监视区域(A1)内的位置相关的信息以及与物体(Ob1)的属性相关的信息。

根据该方式，监能够在信息处理系统(1、1A～1C)以外的系统中利用与监视区域(A1)中的物体(Ob1)相关的信息。

第十九方式所涉及的传感器系统(10)具备：第一至第十八方式所涉及的信息处理系统(1、1A～1C)；以及图像传感器(3、3A～3E)。

根据该方式，能够从设置于一个图像传感器(3、3A～3E)的两种像素(第一像素(31)以及第二像素(32))取得三种信息(第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3))。而且，第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3)是互不相同的信息，并且通过从一个图像传感器(3、3A～3E)获得而相互具有相关性。特别是，第二亮度信息(D2)以及距离信息(D3)均从第二像素(32)取得，因此在第二亮度信息(D2)以及距离信息(D3)之间具有较强的相关性。因此，在信息处理系统(1、1A～1C)中，根据这三种信息，例如能够比较高精度地求出与图像传感器(3、3A～3E)的视角内的监视区域(A1)的状况相关的各种信息。其结果是，能够实现信息处理系统(1、1A～1C)中的信息处理的精度的提高。

第二十方式所涉及的信息处理方法是对从具有第一像素(31)以及第二像素(32)的图像传感器(3、3A～3E)输入的信息进行处理的方法，具有第一取得处理、第二取得处理以及第三取得处理。第一像素(31)对可见光具有灵敏度。第二像素(32)对红外光具有灵敏度。第一取得处理是从第一像素(31)取得第一亮度信息(D1)的处理。第一亮度信息(D1)是与第一像素(31)的像素值相关的信息。第二取得处理是从第二像素(32)取得第二亮度信息(D2)的处理。第二亮度信息(D2)是与第二像素(32)的像素值相关的信息。第三取得处理是从第二像素(32)取得距离信息(D3)的处理。距离信息(D3)是与从图像传感器(3、3A～3E)到反射了红外光的物体(Ob1)的距离相关的信息。

根据该方式，能够从设置于一个图像传感器(3、3A～3E)的两种像素(第一像素(31)以及第二像素(32))取得三种信息(第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3))。而且，第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3)是互不相同的信息，并且通过从一个图像传感器(3、3A～3E)获得而相互具有相关性。特别是，第二亮度信息(D2)以及距离信息(D3)均从第二像素(32)取得，因此在第二亮度信息(D2)以及距离信息(D3)之间具有较强的相关性。因此，在信息处理系统(1、1A～1C)中，根据这三种信息，例如能够比较高精度地求出与图像传感器(3、3A～3E)的视角内的监视区域(A1)的状况相关的各种信息。其结果是，能够实现信息处理系统(1、1A～1C)中的信息处理的精度的提高。

第二十一方式所涉及的程序是用于使一个以上的处理器执行第二十方式所涉及的信息处理方法的程序。

根据该方式，能够从设置于一个图像传感器(3、3A～3E)的两种像素(第一像素(31)以及第二像素(32))取得三种信息(第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3))。而且，第一亮度信息(D1)、第二亮度信息(D2)以及距离信息(D3)是互不相同的信息，并且通过从一个图像传感器(3、3A～3E)获得而相互具有相关性。特别是，第二亮度信息(D2)以及距离信息(D3)均从第二像素(32)取得，因此在第二亮度信息(D2)以及距离信息(D3)之间具有较强的相关性。因此，在信息处理系统(1、1A～1C)中，根据这三种信息，例如能够比较高精度地求出与图像传感器(3、3A～3E)的视角内的监视区域(A1)的状况相关的各种信息。其结果是，能够实现信息处理系统(1、1A～1C)中的信息处理的精度的提高。

不限于上述方式，实施方式1以及实施方式2所涉及的信息处理系统(1、1A～1C)的各种结构(包括变形例)能够通过信息处理方法或者程序来具体实现。

关于第二～十八方式所涉及的结构，并不是信息处理系统(1、1A～1C)所必须的结构，能够适当省略。

-附图标记说明-

1、1A～1C 信息处理系统

3、3A～3E 图像传感器

10 传感器系统

11 第一取得部

12 第二取得部

13 第三取得部

14 噪声处理部

16 分离部

17 三维物体探测部

18 融合部

19 跟踪部

20 二维物体探测部

27 输出部

31 第一像素

32 第二像素

A1 监视区域

D1 第一亮度信息

D2 第二亮度信息

D3 距离信息

D11 物标信息

Ob1 物体

Si1 反馈信号。

Claims (21)

1.一种信息处理系统，在具有对可见光具有灵敏度的第一像素以及对红外光具有灵敏度的第二像素的图像传感器中使用，

所述信息处理系统具备：

第一取得部，从所述第一像素取得与所述第一像素的像素值相关的第一亮度信息；

第二取得部，从所述第二像素取得与所述第二像素的像素值相关的第二亮度信息；以及

第三取得部，从所述第二像素取得与从所述图像传感器到反射了所述红外光的物体的距离相关的距离信息。

2.根据权利要求1所述的信息处理系统，其中，

所述第一亮度信息是表示输入到所述第一像素的光的强度的明暗信息。

3.根据权利要求1或者2所述的信息处理系统，其中，

所述信息处理系统还具备：三维物体探测部，基于所述距离信息进行所述物体的探测。

4.根据权利要求3所述的信息处理系统，其中，

所述三维物体探测部除了基于所述距离信息之外，还基于从由所述第一亮度信息以及所述第二亮度信息构成的组中选择的一个以上的信息，来进行所述物体的探测。

5.根据权利要求3所述的信息处理系统，其中，

所述三维物体探测部除了基于所述距离信息之外，还基于配合所述第二亮度信息的定时进行校正的所述第一亮度信息，来进行所述物体的探测。

6.根据权利要求1～5中任一项所述的信息处理系统，其中，

所述信息处理系还具备：二维物体探测部，基于从由所述第一亮度信息以及所述第二亮度信息构成的组中选择的一个以上的信息来进行所述物体的探测。

7.根据权利要求1～6中任一项所述的信息处理系统，其中，

所述距离信息是通过ToF方式获得的信息。

8.根据权利要求1～7中任一项所述的信息处理系统，其中，

所述信息处理系统还具备：噪声处理部，使用所述距离信息和从由所述第一亮度信息以及所述第二亮度信息构成的组中选择的一个以上的信息，来进行所述距离信息的校正。

9.根据权利要求1～8中任一项所述的信息处理系统，其中，

所述信息处理系统还具备：融合部，进行使用从由所述第一亮度信息以及所述第二亮度信息构成的组中选择的一个以上的信息的所述物体的二维探测结果和至少使用所述距离信息的所述物体的三维探测结果的合成。

10.根据权利要求9所述的信息处理系统，其中，

所述融合部通过使用所述二维探测结果来校正所述三维探测结果，由此合成所述二维探测结果和所述三维探测结果。

11.根据权利要求9或者10所述的信息处理系统，其中，

所述融合部向包括所述图像传感器的传感器系统输出反馈信号，

所述图像传感器输出根据所述反馈信号而从由曝光时间和帧频构成的组中选择的一个以上的参数发生变化的电信号。

12.根据权利要求9～11中任一项所述的信息处理系统，其中，

所述信息处理系统还具备：跟踪部，使用所述融合部的输出，输出与所述物体相关的物标信息。

13.根据权利要求12所述的信息处理系统，其中，

所述物标信息包括从由所述物体的位置的信息、移动方向的信息、移动速度的信息以及种类的信息构成的组中选择的一个以上的信息。

14.根据权利要求1～13中任一项所述的信息处理系统，其中，

所述信息处理系统还具备：分离部，将所述物体与位于所述物体的周围的周边区域分离。

15.根据权利要求14所述的信息处理系统，其中，

所述信息处理系统还具备：三维物体探测部，基于所述距离信息进行所述物体的探测，

所述三维物体探测部基于从所述距离信息中除去了所述周边区域的信息来进行所述物体的探测。

16.根据权利要求1～15中任一项所述的信息处理系统，其中，

所述信息处理系统具有校正所述第一亮度信息与所述第二亮度信息的时间差的功能。

17.根据权利要求1～16中任一项所述的信息处理系统，其中，

所述信息处理系统还具备：输出部，输出基于所述第一亮度信息、所述第二亮度信息和所述距离信息进行的、与所述图像传感器的视角内的监视区域的状况相关的信息处理结果。

18.根据权利要求17所述的信息处理系统，其中，

所述信息处理结果包含从由与所述监视区域中的所述物体的有无相关的信息、与所述监视区域中存在的所述物体在所述监视区域内的位置相关的信息以及与所述物体的属性相关的信息构成的组中选择的一个以上的信息。

19.一种传感器系统，具备：

权利要求1～18中任一项所述的信息处理系统；以及

所述图像传感器。

20.一种信息处理方法，是处理从对可见光具有灵敏度的第一像素以及对红外光具有灵敏度的第二像素的图像传感器输入的信息的方法，

所述信息处理方法具有：

第一取得处理，从所述第一像素取得与所述第一像素的像素值相关的第一亮度信息；

第二取得处理，从所述第二像素取得与所述第二像素的像素值相关的第二亮度信息；以及

第三取得处理，从所述第二像素取得与从所述图像传感器到反射了所述红外光的物体的距离相关的距离信息。

21.一种程序，用于使一个以上的处理器执行权利要求20所述的信息处理方法。

Images