CN108351964A - 图像识别装置及图像识别方法 - Google Patents

Abstract

图像识别装置(100)具备：照相机部(10)，使用来自多个被摄体的反射光生成距离信号和亮度信号；图像生成部(20)，根据距离信号生成距离图像，根据亮度信号生成亮度图像；和图像识别处理部(30)，进行图像识别。图像识别处理部(30)将距离图像及亮度图像分别划分为多个区域，进行多个区域分别是明显不存在特定的物体的第1区域还是除此之外的第2区域的判定，将多个区域中的第1区域排除而执行图像识别。

Description

图像识别装置及图像识别方法

技术领域

本公开涉及图像识别装置及图像识别方法。

背景技术

近年来，与使用照相机的摄像图像来识别物体有关的技术的研究正在盛行。例如，关于人识别的技术作为如果能够搭载到汽车用照相机等中则能够应用于防碰撞及自动驾驶等的技术，受到较大的关注。

特别是，不仅能取得亮度图像还能够取得距离信息的照相机受到关注。该照相机由于通过利用图像的距离信息能够三维地识别空间，所以可获知人与汽车的距离，期待能够进行更高精度的人识别。

例如在专利文献1中，相对于以往的使用亮度梯度特征量的人识别方法，提出了识别距离直方图的类似度作为特征量的方法。由此，在复杂的背景较多的情况或发生了人的重叠的情况下也能抑制识别精度的下降。

现有技术文献

专利文献

专利文献1：日本专利第5500559号公报

发明内容

发明要解决的技术问题

但是，在以往的使用距离图像的人识别方法中，由于将包含背景等的人以外的物体的图像整体扫描而进行人识别，所以发生计算处理时间变长而识别速度下降的课题。

所以，本公开要解决的课题是提供一种即使以高分辨率的图像为对象检测速度的下降也较少，在复杂的背景下识别精度的下降也较少的图像识别装置及图像识别方法。

用来解决技术问题的手段

本公开的图像识别装置的一技术方案具备：照相机部，使用来自多个被摄体的反射光生成距离信号和亮度信号；图像生成部，根据上述距离信号生成距离图像，根据上述亮度信号生成亮度图像；和图像识别处理部，进行图像识别；上述图像识别处理部，将上述距离图像及上述亮度图像分别划分为多个区域；对于上述多个区域，进行是明显不存在特定的物体的第1区域及除此之外的第2区域中的哪一种的判定；将上述多个区域中的上述第1区域排除而执行图像识别处理。

此外，本公开的图像识别方法的一技术方案，通过照相机的摄像，生成包含表示距离值的像素数据的距离图像、和包含表示亮度值的像素数据的亮度图像；将上述距离图像及上述亮度图像分别划分为多个区域；对于上述多个区域中的每一个，进行是明显不存在特定的物体的第1区域及除此之外的第2区域中的哪一种的判定；将上述多个区域中的上述第1区域排除而执行图像识别。

发明效果

根据本公开，即使在高分辨率的图像全区域中进行物体检测，检测速度的下降也较少，在复杂的背景图像中也能够使识别精度的下降变小。

附图说明

图1是表示实施方式的图像识别装置的结构例的框图。

图2是表示在用车载照相机摄像的情况下设想的被摄体的一例的图。

图3A是表示由实施方式的图像识别装置对图2所示的被摄体进行摄像的情况下得到的亮度图像的图。

图3B是表示图3A中的虚线3B的亮度值的图。

图3C是表示图3A中的虚线3C的亮度值的图。

图4是表示仅使用亮度图像进行被摄体的边界提取的结果的图。

图5A是表示在由实施方式的图像识别装置对图2所示的被摄体进行摄像的情况下得到的距离图像的图。

图5B是表示图5A中的虚线5B的距离值的图。

图5C是表示图5A中的虚线5C的距离值的图。

图6是表示仅使用距离图像进行被摄体的边界提取的结果的图。

图7是将使用亮度图像和距离图像提取的边界合成的图。

图8是表示通过使用距离图像和亮度图像提取出的被摄体的边界来划分的多个区域中的第1区域的图。

图9是实施方式的图像识别装置执行的图像识别方法的流程图。

具体实施方式

以下，参照附图说明有关实施方式的图像识别装置。

但是，有将所需以上详细的说明省略的情况。

例如，有时将已经周知的事项的详细说明及对于实质上相同的结构的重复说明省略。这是为了避免以下的说明不必要地变得冗长、使本领域技术人员的理解变容易。另外，附图及以下的说明用于使本领域技术人员充分地理解本公开，并非限定权利要求书所记载的主题。

(实施方式)

图1是表示实施方式的图像识别装置的结构例的框图。图1所示的图像识别装置100具备照相机部10、图像生成部20及图像识别处理部30。照相机部10具备光源11、光源控制部12、照相机透镜13及摄像元件14。此外，图像生成部20具备距离图像生成部21及亮度图像生成部22。并且，图像识别处理部30具备区域判定部31、图像提取部32、特征量计算部33及识别处理部34。

照相机部10使用来自多个被摄体的反射光生成距离信号和亮度信号。

光源11主要是近红外的波长的光源(LED或激光二极管等)，在光源控制部12的控制下以特定的频率以脉冲状照射光。

光源控制部12使脉冲状的光从光源11向被摄体照射，使来自被摄体的反射光经过照相机透镜13成像在摄像元件14上。

摄像元件14具有以二维状配置的多个像素部，由各像素部接收反射光。通过计算该反射光到达的定时与光源11照射光的定时的时间差，能够取得距离信号。距离信号例如按照每个像素部表示被摄体与照相机部10的距离。此外，摄像元件14如通常的照相机那样，在从光源11没有照射脉冲状的光的期间这也取得亮度信号。

图像生成部20根据从照相机部10得到的距离信号和亮度信号生成距离图像和亮度图像。距离图像生成部21通过计算上述反射信号的光到达的定时与照射光的定时的时间差，生成距离图像。亮度图像生成部22与通常的照相机同样地生成亮度图像。照相机部10及图像生成部20与通常的照相机相比，是追加了TOF(Time Of Flight：飞行时间)测距用的发光控制并追加了距离图像生成部21的结构。

此外，图像识别处理部30构成为，将亮度图像及距离图像中的第1区域从图像识别的对象中排除。这里，第1区域是指亮度图像及距离图像的全区域中的、明显不存在特定的物体的区域。此外，所谓特定的物体，典型的可以是人，但除此以外，也可以是人乘坐的自行车、两轮车或车等，也可以是人以外的动物。

在图像识别处理部30中，首先，区域判定部31实施使用亮度图像和距离图像将被摄体划分为多个区域的处理。

接着，区域判定部31按照划分后的多个区域的每一个，进行是第1区域还是除此之外的第2区域的判定。对于第1区域，不进行由特征量计算部33实施的物体的识别所需要的特征量的计算，对于第2区域进行特征量的计算。

图像提取部32以反映出区域判定部31的判定结果的方式实施第2区域的图像提取。

特征量计算部33仅在由图像提取部32提取出的图像内进行特征量的计算。

识别处理部34按照由特征量计算部33计算的特征量进行识别处理。

接着，使用附图对这些详细的内容进行说明。

在图2中是表示设想由车载照相机摄像的情况下设想的被摄体的一例的图。图2的被摄体由步行者、建筑物、地面、道路、车、信号机、人行横道、树、天空、云等通常的被摄体构成。接着，对在用图像识别装置100对图2所示的被摄体进行摄像的情况下得到的亮度图像和距离图像进行说明。

图3A表示在由图像识别装置100对图2所示的被摄体进行摄像的情况下得到的亮度图像。亮度图像包含表示亮度的像素数据。这里，图3A的被摄体的对比度对应于亮度信号的量，较亮的部分亮度值较大，较暗的部分亮度值较小。

接着，对区域判定部31中的使用亮度图像的区域的划分即区域的边界的提取进行说明。

图3B是表示图3A中的虚线3B的亮度值的图。图3C是表示图3A中的虚线3C的亮度值的图。图3B和图3C分别是将图3A中的虚线3B及3C的水平像素行作为横轴、在纵轴上标绘亮度值的图。这里，以由图3B表示的亮度值为例，对被摄体的区域划分即边界(边缘)的提取进行说明。如果将亮度值的变化较大的部位作为被摄体的边界来进行划分，则能够提取建筑物与地面的边界、地面与道路的边界、地面与树的边界。具体而言，在邻接像素间能看到5％～10％以上的亮度值的差异的情况下，作为边界进行提取，但该值根据照相机的噪声等而任意地设定，所以并不限定于此。

但是，在图3B中，不能提取地面与信号机的柱的边界、以及树与人的上半身的边界，仅用亮度图像难以进行边界提取。这是因为，由于亮度信号的量由来自被摄体的反射光的量和照相机的灵敏度决定，所以假如在被摄体的反射率是同等程度的情况下，即使是不同的被摄体，在各自的亮度值之间也不发生明确的差异，被摄体彼此重叠，不能提取被摄体的边界(边缘)。同样，在如图3C那样建筑物与人的亮度值的差异较小的情况下，仅用亮度图像难以进行被摄体的边界提取。

在图4中表示仅使用亮度图像进行被摄体的边界提取的情况下的结果。根据图4也可知，无法提取处亮度值看不到明确的差异的人与树的边界(图3B的用圆包围的3b的部分)及人与建筑物的边界(图3C的用圆包围的3c的部分)。即使使用它进行了后述的识别处理，也不能进行正确的判定。

所以，在本公开中，为了在仅用亮度图像难以进行被摄体的边界提取的情况下也精度良好地进行被摄体的边界提取，提出了并用距离图像的图像识别装置100。

接着，对区域判定部31中的使用距离图像的区域的划分即区域的边界的提取进行说明。

图5A表示在由图像识别装置100对图2所示的被摄体进行摄像的情况下得到的距离图像。距离图像包含表示距离值的像素数据。这里，图5A的被摄体的对比度对应于距离，较亮的部分从图像识别装置100到被摄体的距离较远，较暗的部分则距离较近。

图5B是表示图5A中的虚线5B的距离值的图。图5C是表示图5A中的虚线5C的距离值的图。图5B和图5C分别是将图5A中的虚线5B及5C的水平像素行作为横轴、在纵轴上标绘了距离值的图。另外，由于虚线5B及5C是与前述的虚线3B及3C在空间上相同的位置，所以摄像元件的像素值的地址也相同，所以使用两者的值较容易。这里，以由图5B表示的距离值为例，对被摄体的边界的提取进行说明。如果将距离值的变化较大的部位作为被摄体的边界划分，则能够提取建筑物与地面的边界、地面与信号机的柱的边界、地面与树的边界、人与树的边界。具体而言，在邻接像素间能看到5％～10％以上的距离值的变化、或在包括邻接像素的数像素的距离值的梯度(斜度)中能看到50％左右以上的差异的情况下，提取其梯度变化的像素作为边界，但该值根据照相机的噪声等而任意地设定，所以并不限定于此。在图5B中可知，根据树与人的距离值的差异，能够提取出用亮度图像无法明确地提取的边界。同样，在图5C中，也能够根据建筑物与人的距离值的差异而提取边界。

在图6中表示仅使用距离图像进行被摄体的边界提取的情况下的结果。根据图6可知，能够提取出仅用亮度图像不能得到被摄体的边界的人与建筑物的边界、以及人与树的边界。但是，仅用距离图像，对于道路与地面、以及道路的人行横道那样的距离值的变化较小(凹凸较小)的情况，难以提取其边界。即，为了识别地面或道路等的被摄体，仅用距离图像是困难的。

所以，在图像识别装置100中，区域判定部31将根据亮度图像进行的多个被摄体的边界划分处理和根据距离图像进行的多个被摄体的边界划分处理的两者综合起来。即如图7所示，通过将使用各自的亮度图像和距离图像提取出的边界合成，能够进行被摄体的正确的边界提取。

此外，在图像识别装置100中使用的进行TOF测距的照相机部10及图像生成部20由于能够将亮度图像和距离图像在光学上同轴地取得，所以不再需要光轴修正等。因此，与将亮度图像和距离图像用不同的照相机取得的情况相比，显然不仅在成本上，在识别速度这一点上也较为优越。

进而，图像识别装置100的区域判定部31按照被划分后的多个区域的每一个，进行是明显不存在特定的物体的第1区域、及除此之外的第2区域的哪一个的判定。换言之，区域判定部31按照多个区域的每一个，实施是不进行物体的识别所需要的特征量的计算还是进行这样的计算的判定处理。这里，以作为特定的物体的人的识别为例，对它们的判定处理进行说明。图8是表示由使用距离图像和亮度图像提取出的被摄体的边界划分的多个区域中的第1区域的图。即，图8是表示通过图7所示的使用距离图像和亮度图像提取出的被摄体的边界划分的多个区域中的、距离值为一定值以上(这里是照相机的极限可测量距离Xm以上)的区域8A、和距离值在水平像素方向或垂直像素方向上维持一定的斜率而变化的区域8B的图。即，区域8A是在距离图像中不包含表示比规定值(例如，上述的极限可测量距离Xm)小的距离的像素的区域。区域8B是在某个方向(例如，距离图像的垂直方向)上邻接像素间的差相同的区域。

这里，关于如区域8A那样在画面上部照相机的极限测量距离以上的区域连续的区域，明显被摄体是天空或较远的背景等，能够省略作为特定的物体的人的识别处理。此外，如区域8B那样距离值维持一定的斜率而变化的区域，由于三维空间中的高度非常低的物体为连续，所以明显是地面(这里也包括道路)，同样能够省略人的识别处理。即，相对于到此为止在被摄体的全区域中实施人的识别处理所需要的特征量的计算，在图像识别装置100中，通过将由亮度图像和距离图像得到的被摄体的边界区域进一步缩减为进行特征量的计算的区域和不进行上述计算的区域，能够省略不需要的区域的计算而使计算速度即识别速度提高。例如，在将图8所示的区域8A和区域8B作为从特征量计算的对象排除的区域而省略了计算的情况下，估计可实现约2倍的识别速度。

如以上说明那样，图像识别装置100具备：照相机部10，使用来自多个被摄体的反射光生成距离信号和亮度信号；图像生成部20，根据上述距离信号生成距离图像，根据上述亮度信号生成亮度图像；和图像识别处理部30，进行图像识别；上述图像识别处理部30将上述距离图像及上述亮度图像分别划分为多个区域，关于上述多个区域的每一个，进行是明显不存在特定的物体的第1区域及除此之外的第2区域中的哪一种的判定，将上述多个区域中的上述第1区域排除而执行图像识别处理。

由此，即使在高分辨率的图像全区域中进行物体检测，也能够减小检测速度的下降，在复杂的背景图像中也能够减小识别精度的下降。

这里，上述图像识别处理部30也可以基于从被划分为上述多个区域后的上述距离图像得到的距离值来进行上述判定。

这里，上述图像识别处理部30也可以将上述多个区域中的、在上述距离图像中不包含表示比规定值小的距离的像素的区域判定为上述第1区域。

由此，能够将天空或较远的背景等包含在第1区域中。

这里，上述图像识别处理部30也可以将上述距离图像的上述多个区域中的、邻接像素间的差相同的区域判定为上述第1区域。

由此，能够将地面或道路等包含在第1区域中。

这里，上述图像识别处理部30也可以在上述距离图像中，在由邻接像素得到的距离值的差是阈值以上的情况下，将上述邻接像素间作为上述多个区域的边界。

由此，由于用距离值求出边界，所以能够提高区域的划分精度。

这里，上述照相机部10也可以具有生成上述距离信号和上述亮度信号的摄像元件14。

由此，由于将距离图像和亮度图像用相同的照相机生成，所以不需要光轴修正等的处理，与将亮度图像和距离图像用不同的照相机取得的情况相比，不仅是成本，在识别速度这一点上也是有效的。

此外，如图9所示，由图像识别装置100执行的图像识别方法通过照相机的摄像，生成包含表示距离值的像素数据的距离图像、和包含表示亮度值的像素数据的亮度图像(S11)，将上述距离图像及上述亮度图像分别划分为多个区域(S12)，关于上述多个区域中的每一个，分别进行是明显不存在特定的物体的第1区域及除此之外的第2区域中的哪一种的判定(S13)，将上述多个区域中的上述第1区域排除而执行图像识别(S14)。图9是图像识别装置100执行的图像识别方法的流程图。

(其他实施方式)

以上，基于实施方式对有关一个或多个技术方案的图像识别装置进行了说明，但本公开并不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个技术方案的范围内。

例如，在上述各实施方式中，光源控制部、图像识别处理部、图像识别处理部等的各构成要素也可以通过由专用的硬件构成、或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。

此外，本公开的包含性或具体的技术方案，也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。

产业上的可利用性

有关本公开的图像识别装置例如可以适当地应用在车载用的传感器中。

标号说明

10 照相机部

11 光源

12 光源控制部

13 照相机透镜

14 摄像元件

20 图像生成部

21 距离图像生成部

22 亮度图像生成部

30 图像识别处理部

31 区域判定部

32 图像提取部

33 特征量计算部

34 识别处理部

100 图像识别装置

Claims (7)

1.一种图像识别装置，其特征在于，

具备：

照相机部，使用来自多个被摄体的反射光生成距离信号和亮度信号；

图像生成部，根据上述距离信号生成距离图像，根据上述亮度信号生成亮度图像；和

图像识别处理部，进行图像识别；

上述图像识别处理部，

将上述距离图像及上述亮度图像分别划分为多个区域；

对于上述多个区域中的每一个，进行是明显不存在特定的物体的第1区域及除此之外的第2区域中的哪一种的判定；

将上述多个区域中的上述第1区域排除而执行图像识别处理。

2.如权利要求1所述的图像识别装置，其特征在于，

上述图像识别处理部基于从被划分为上述多个区域的上述距离图像得到的距离值进行上述判定。

3.如权利要求2所述的图像识别装置，其特征在于，

上述图像识别处理部，将上述多个区域中的、在上述距离图像中不包含表示比规定值小的距离的像素的区域，判定为上述第1区域。

4.如权利要求2或3所述的图像识别装置，其特征在于，

上述图像识别处理部，将上述距离图像的上述多个区域中的、邻接像素间的差相同的区域，判定为上述第1区域。

5.如权利要求1～4中任一项所述的图像识别装置，其特征在于，

上述图像识别处理部，在上述距离图像中由邻接像素得到的距离值的差为阈值以上的情况下，将上述邻接像素间作为上述多个区域的边界。

6.如权利要求1～3中任一项所述的图像识别装置，其特征在于，

上述照相机部具有生成上述距离信号和上述亮度信号的摄像元件。

7.一种图像识别方法，其特征在于，

通过照相机的摄像，生成包含表示距离值的像素数据的距离图像、和包含表示亮度值的像素数据的亮度图像；

将上述距离图像及上述亮度图像分别划分为多个区域；

对于上述多个区域中的每一个，进行是明显不存在特定的物体的第1区域及除此之外的第2区域中的哪一种的判定；

将上述多个区域中的上述第1区域排除而执行图像识别。