CN109844801A - 图像处理装置 - Google Patents

Abstract

图像处理装置(1)具备图像获取部(1、S1)、检测部(1、S3)以及显示处理部(1、S11～S15、S41～S45、S5)。图像获取部构成为从拍摄车辆的周边的拍摄装置(2)获取拍摄图像。检测部构成为根据由图像获取部获取到的拍摄图像检测规定车辆的行驶路的车道标识(30)。显示处理部以在由检测部检测出的车道标识上重叠用于辅助车道标识的视觉确认的标识图像(31)的方式使重叠有标识图像的拍摄图像即重叠图像显示于显示装置(3)。

Description

图像处理装置

相关申请的交叉引用

本申请主张基于2016年10月7日向日本专利厅申请的日本专利申请第2016－199184号的优先权，并通过参照日本专利申请第2016－199184号的全部内容在本申请中作为参考。

技术领域

本发明涉及图像处理装置。

背景技术

已知有如下的装置：为了容易掌握车辆和白线的位置关系而对从拍摄装置获取到的拍摄图像进行处理并显示于显示装置。例如，在专利文献1中公开了以下那样的技术。首先，将由后方摄像机拍摄到的后方的拍摄图像转换为后方俯瞰图像。接下来，使转换后的后方俯瞰图像向车辆的前方移动，使后方俯瞰图像和车辆的位置之间的位置关系偏移，创建推定车辆的侧方或前方并表示的推定俯瞰图像。换句话说，推定后方俯瞰图像所包含的白线同样地延续到车辆的侧方或前方，并创建推定俯瞰图像。如果使用该技术，特别是在车辆前进时，通过将该推定俯瞰图像与表示本车辆的位置的图像一起显示于监视器等，从而能够容易地掌握车辆相对于白线的位置。

现有技术文献

专利文献

专利文献1:日本特开2003－006621号公报

在专利文献1中，例如道路上的白线缺失、或白线在夜间不清晰的情况下，后方俯瞰图像所包含的白线也会缺失或不清晰。因此，在根据后方俯瞰图像创建的推定俯瞰图像中，该白线的图像也会缺失或不清晰。因此，发明人详细研究的结果发现了即使驾驶员观察显示有该推定俯瞰图像的监视器，也较难视觉确认白线且难以掌握车辆和白线的位置关系这个课题。

发明内容

本发明的一个方面在于提供驾驶员能够容易掌握车辆和规定车辆的行驶路的车道标识的位置关系的图像处理装置。

本发明的一个方面是具备图像获取部、检测部以及显示处理部的图像处理装置。图像获取部构成为从拍摄车辆的周边的拍摄装置获取拍摄图像。检测部构成为根据由图像获取部获取到的拍摄图像检测规定车辆的行驶路的车道标识。显示处理部构成为以在由检测部检测到的车道标识上重叠用于辅助车道标识的视觉确认的标识图像的方式使重叠有标识图像的拍摄图像即重叠图像显示于显示装置。

根据本发明的图像处理装置，通过使重叠图像显示于显示装置，驾驶员易于掌握本车辆和车道标识之间的位置关系。另外，例如也在车道标识一部分缺失或车道标识在夜间不清晰的情况下，通过标识图像补充车道标识，所以驾驶员易于视觉确认车道标识。

此外，本发明的保护范围所记载的括号内的附图标记示出与后述作为一个方面的实施方式所记载的具体单元的对应关系，并不对本发明的技术范围进行限定。

附图说明

图1是表示图像处理装置的结构的框图。

图2是表示第一实施方式的图像处理的流程图。

图3是表示第一实施方式的重叠处理的流程图。

图4是表示白线一部分缺失的状态的俯瞰图像。

图5是对图4所示的俯瞰图像进行了第一实施方式的图像处理后的重叠图像。

图6是表示白线在夜间不清晰的状态的图。

图7是对图6所示的俯瞰图像进行了第一实施方式的图像处理后的重叠图像。

图8是表示第二实施方式的重叠处理的流程图。

图9是表示白线一部分缺失且本车辆向右车道移动的状态的图。

图10是在白线一部分缺失且本车辆向右车道移动的状态的情况下进行了第二实施方式的图像处理的图。

图11是表示白线在夜间不清晰且本车辆向右车道移动的状态的图。

图12是处于在白线在夜间不清晰且本车辆向右车道移动的状态被示出的状态的情况下，进行了第二实施方式的图像处理的图。

具体实施方式

以下，参照附图，对用于实施本发明的方式进行说明。

[第一实施方式]

[1－1.图像处理装置1的结构]

基于图1，对图像处理装置1的结构进行说明。图像处理装置1是搭载于车辆的车载装置。以下将搭载图像处理装置1的车辆称为本车辆。图像处理装置1为ECU，在图像处理装置1连接有拍摄装置2和显示装置3。此外，ECU是“Electronic Control Unit”的缩写，即是电子控制装置的缩写。

拍摄装置2具备前摄像机、左侧摄像机、右侧摄像机以及后摄像机。前摄像机被设置于本车辆，以使本车辆前方的路面成为拍摄范围。左侧摄像机被设置于本车辆，以使本车辆左侧方的路面成为拍摄范围。右侧摄像机被设置于本车辆，以使本车辆右侧方的路面成为拍摄范围。后摄像机被设置于本车辆，以使本车辆后方的路面成为拍摄范围。各摄像机以预先设定的时间间隔，例如1/15秒间隔反复拍摄，并将拍摄图像输出给图像处理装置1。

显示装置3是具有液晶、有机EL(电致发光)等显示画面的显示装置。显示装置按照从图像处理装置1输入的信号对图像进行显示。

图像处理装置1以具备CPU(中央处理器)、RAM(随机存取存储器)、ROM(只读存储器)以及闪存等半导体存储器的公知的微型计算机为中心而构成。图像处理装置1的各种功能通过CPU执行储存在非迁移的实体记录介质中的程序来实现。在该例子中，半导体存储器相当于储存有程序的非迁移的实体记录介质。另外，通过执行该程序来执行与程序对应的方法。此外，构成图像处理装置1的微型计算机的数量可以是一个也可以是多个。

图像处理装置1具备图像获取处理部4、映像转换处理部5、车道标识检测处理部6以及检测结果输出处理部7，作为通过CPU执行程序而实现的功能的构成。实现构成图像处理装置1的这些要素的手法并不限于软件，也可以使用组合了逻辑电路、模拟电路等的硬件来实现其一部分或者全部要素。

[1－2.图像处理]

使用图2以及图3的流程图，对图像处理装置1执行的图像处理进行说明。在本车辆的点火开关为接通(ON)状态的期间中，例如以1/15秒等规定的时间间隔执行图像处理。

如图2所示，在步骤1中，图像处理装置1进行如下的处理：从前摄像机、左侧摄像机、右侧摄像机以及后摄像机获取拍摄图像，并转换为数字信号。此外，图像处理装置1通过执行步骤1的处理而作为图像获取处理部4发挥作用。

在后续的步骤2中，图像处理装置1进行了如下的处理：将经过了数字信号化的四个拍摄图像转换为从预先设定的虚拟视点观察到的俯瞰图像并合成，生成映现出本车辆的周边的俯瞰图像。具体而言，图像处理装置1进行通过对四个拍摄图像实施公知的俯瞰转换而将该拍摄图像转换为从本车辆的上方俯视的视点的图像即俯瞰图像并合成的处理。此外，图像处理装置1通过执行步骤2的处理而作为映像转换处理部5发挥作用。

在后续的步骤3中，图像处理装置1进行根据在步骤2中生成的俯瞰图像检测车道标识30的处理。此处，车道标识30用于规定本车辆的行驶路。在步骤3中，作为车道标识30，检测在路面上标记并规定行驶路的白线、以及主要是车道与人行道之间的分界线即道路端。作为白线，列举有连续的线、虚线等。作为道路端，列举有路缘石、沟渠以及护栏等。例如，在图4以及图6所示的俯瞰图像中，检测两条白线作为车道标识30。

能够使用公知的技术来进行车道标识30的检测。例如，能够通过计算俯瞰图像中的亮度，并根据亮度转换后的图像提取边缘来进行白线的检测。能够以俯瞰图像的亮度、颜色或形状等信息为线索进行道路端的检测。此外，图像处理装置1通过执行步骤3的处理而作为车道标识检测处理部6发挥作用。

在后续的步骤4中，图像处理装置1进行在步骤3中检测出的车道标识30上重叠用于辅助该车道标识30的视觉确认的标识图像31的重叠处理。具体地，例如如图5以及图7所示，标识图像31是指用于清晰地表示车道标识30的带状的图像。图5是在图4所示的俯瞰图像上的两条白线上重叠有两条标识图像31而成的重叠图像。如图5所示，标识图像31是被配置为与俯瞰图像上的车道标识30重叠且从俯瞰图像上的端延伸到端的带状的图像。因此，即使在图4所示车道标识30缺失的情况下，通过重叠这样的标识图像31，能够清晰地表示车道标识30的位置。另外，图7是在图6所示的俯瞰图像上的两条白线上重叠两条标识图像31而成的重叠图像。如图6所示，即使车道标识30在夜间不清晰的情况下，通过重叠标识图像31，也能够清晰地表示车道标识30的位置。

使用图3的流程图，对重叠处理的具体的处理进行说明。

在步骤11中，图像处理装置1进行将变量N的初始值设定为0的处理。N为自然数。

在后续的步骤12中，图像处理装置1进行如下的处理：判定在步骤3中检测出的车道标识30的检测数是否多于变量N。当在步骤12中作出肯定判定时，进入步骤13。在步骤13中，图像处理装置1进行对变量N加上1的处理。

在后续的步骤14中，图像处理装置1进行如下的处理：基于在步骤3中检测到的第N个车道标识30，从俯瞰图像获取从本车辆到该车道标识30的距离、和该车道标识30的倾斜。此外，从本车辆到车道标识30的距离是指从本车辆到表示带状的车道标识30的长边方向的靠近本车辆的一侧的线的距离。

在后续的步骤15中，图像处理装置1进行如下的处理：基于在步骤14中获取到的结果来决定在第N个车道标识30上重叠的标识图像31的坐标位置。具体而言，图像处理装置1进行决定表示带状的标识图像31的长边方向的靠近本车辆的一侧的线的位置的处理。此外，该线从俯瞰图像上的端延伸到端。

在后续的步骤16中，图像处理装置1进行如下的处理：判定从本车辆到第N个车道标识30的距离是否在阈值以下。当在步骤16中作出肯定判定时，在步骤17中，图像处理装置1进行将危险度设定为强的处理。当在步骤16中作出否定判定时，在步骤18中，图像处理装置1进行将危险度设定为弱的处理。此外，将步骤16、步骤17以及步骤18的处理称为危险度决定处理。

在步骤17或者步骤18之后，进入步骤19。在步骤19中，图像处理装置1进行根据在步骤17以及步骤18中所设定的危险度来设定标识图像31的宽度的处理。具体而言，图像处理装置1在危险度为强的情况下以加宽标识图像31的宽度的方式设定标识图像31的显示方式，而在危险度为弱的情况下以标识图像31的宽度变窄的方式设定标识图像31的显示方式。此外，图像处理装置1进行通过决定从在步骤15中决定的标识图像31的线的位置到距本车辆较远的一侧的距离来设定标识图像31的宽度的宽窄的处理。

在后续的步骤20中，图像处理装置1进行判定在步骤3中检测到的第N个车道标识30是否是白线的处理。当在步骤20中作出肯定判定时，在步骤21中进行在俯瞰图像上描绘表示白线的直线形状的标识图像31的处理。当在步骤20中作出否定判定时，在步骤22中进行在俯瞰图像上描绘表示道路端的立体形状的标识图像31的处理。此外，将步骤20、步骤21以及步骤22的处理称为重叠描绘处理。

在步骤21或者步骤22之后，返回到步骤12。在步骤12中，作出肯定判定时进行从步骤13到步骤22的处理，当作出否定判定时，重叠处理结束。

步骤4之后，进入步骤5。在步骤5中，图像处理装置1进行将在步骤4中重叠了标识图像31的重叠图像输出给显示装置3的处理。此外，图像处理装置1通过执行步骤4以及步骤5的处理而作为检测结果输出处理部7发挥作用。

步骤5之后，返回到步骤1，图像处理装置1针对以下获取到的拍摄图像进行图像处理。当点火开关断开(OFF)时，图像处理装置1结束图像处理。

[1－3.效果]

根据以上详述的第一实施方式，获得以下的效果。

(1a)第一实施方式的图像处理装置1进行使重叠有标识图像31的重叠图像显示于显示装置3的处理。因此，能够清晰地表示车道标识30的位置。因此，驾驶员易于掌握本车辆和车道标识30之间的位置关系。另外，例如也在车道标识30一部分缺失、或车道标识30在夜间不清晰的情况下，通过标识图像31补充车道标识30，所以驾驶员易于视觉确认车道标识30。

(1b)第一实施方式的图像处理装置1进行决定标识图像31的显示方式的处理。因此，能够使标识图像31的显示方式变化。因此，能够使重叠有任意的显示方式的标识图像31的重叠图像显示于显示装置3。

(1c)第一实施方式的图像处理装置1进行根据危险度使标识图像的宽度变化的处理。因此，驾驶员能够识别危险度。因而，驾驶员能够掌握本车辆在行驶路的宽度方向上的位置。

(1d)第一实施方式的图像处理装置1进行在危险度为强的情况下加宽标识图像31的宽度的处理。因此，在危险度为强的情况下，能够强调显示标识图像31。因此，驾驶员容易识别危险度较高，换句话说，本车辆即将从行驶路脱离。

(1e)第一实施方式的图像处理装置1进行根据白线或者道路端来使标识图像31的显示方式变化的处理。因此，即使在重叠图像中重叠标识图像31并且车道标识30被隐藏，驾驶员也能够识别车道标识30的种类。

此外，在第一实施方式中，S1相当于作为图像获取部的处理，S3相当于作为检测部的处理，S11～S15、S5相当于作为显示处理部的处理，S16～S22相当于作为决定部的处理。

[2.第二实施方式]

[2－1.与第一实施方式的不同点]

第二实施方式基本构成与第一实施方式相同，所以以下对不同点进行说明。此外，与第一实施方式相同的附图标记表示同一结构，参照前面的说明。

在前述的第一实施方式中，图像处理装置1进行使在检测到的全部车道标识30重叠的标识图像31显示于显示装置3的处理。与此相对，在第二实施方式中，图像处理装置1进行如下的处理：当判定为本车辆是处于进行车辆变更的状态时，不显示在预测本车辆由于车道变更会越过的在车道标识30上重叠的标识图像31。

[2－2.图像处理]

使用图8的流程图，对第二实施方式的图像处理装置1代替图3所示的第一实施方式的重叠处理而执行的重叠处理进行说明。此外，图8中的步骤41至步骤45的处理与图3中的步骤11至步骤15的处理相同，所以简化一部分的说明。

步骤45之后，进入步骤46。在步骤46中，图像处理装置1进行危险度决定处理。危险度决定处理与图3中的步骤16、步骤17以及步骤18的处理相同。

在后续的步骤47中，图像处理装置1进行是否是在步骤3中检测到的第N个车道标识30的位置存在于本车辆的右侧、且右信号灯处于开启的状态的判定。当在步骤47中作出肯定判定时，返回到步骤42。例如如图9以及图11所示，在白线的位置存在于本车辆的右侧且右信号灯处于开启的状态的情况下，换句话说，如图10以及图12所示，在本车辆处于向右车道移动的状态的情况下，在该白线上不重叠标识图像31。当在步骤47中作出否定判定时，进入步骤48。

在步骤48中，图像处理装置1进行是否是在步骤3中检测到的第N个车道标识30的位置存在于本车辆的左侧、且左信号灯处于开始的状态的判定。当在步骤48中作出肯定判定时，返回到步骤42。换句话说，当判定为本车辆是处于向左车道移动的状态时，在该车道标识30上不重叠标识图像31。当在步骤48中作出否定判定时，进入步骤49。此外，将步骤47以及步骤48的处理称为非显示决定处理。

在步骤49中，图像处理装置1进行根据在步骤46中所设定的危险度来设定标识图像31的宽度的处理。

在后续的步骤50中，图像处理装置1进行重叠描绘处理。重叠描绘处理与图3中的步骤20、步骤21以及步骤22的处理相同。

在步骤50之后，返回到步骤42。当在步骤42中作出否定判定时，结束重叠处理。

[2－3.效果]

根据以上详述的第二实施方式，起到前述的第一实施方式的效果，还起到以下的效果。

(2a)第二实施方式的图像处理装置1进行非显示决定处理。因此，不将在预测本车辆由于车道变更会越过的在车道标识30上重叠的标识图像31显示于显示装置3。如果在车道变更时显示标识图像31，则驾驶员感觉难以进行车道变更，但由于未显示标识图像31，所以驾驶员能够不反感地进行车道变更。另外，如果在车道变更时显示标识图像31，则伴随着车道变更而显示表示危险度为强的标识图像31，但由于未显示标识图像31，所以能够不积极地通知驾驶员危险度为强这个信息。

此外，在第二实施方式中，S41～S45相当于作为显示处理部的处理，S46、S49以及S50相当于作为决定部的处理，S47以及S48相当于作为判定部的处理。

[3.其它实施方式]

以上，对本发明的实施方式进行了说明，但本发明并不限于上述的实施方式，能够进行各种变形并实施。

(3a)在上述实施方式中，作为图像处理对象，示出对俯瞰图像进行图像处理的例子，但图像处理对象并不限于此，也可以对拍摄图像进行图像处理。

(3b)在上述实施方式中，示出图像处理装置1进行根据危险度来设定标识图像31的宽度的处理的例子，但标识图像的显示方式的设定并不限于此。作为标识图像的显示方式，例如，列举标识图像的颜色、透过率以及闪烁速度等。具体而言，也可以当危险度变高时，标识图像逐渐变成红色、或透过率变低、或闪烁速度变快。

(3c)在上述实施方式中，作为重叠描绘处理，示出根据车道标识30是白线还是道路端来使标识图像31的显示方式变化的处理的例子，但重叠描绘处理并不限于此。重叠描绘处理也可以是根据白线或者道路端的种类来使标识图像的显示方式变化的处理。例如，在白线为虚线的情况下，标识图像也可以是虚线。

(3d)在上述实施方式中，作为危险度决定处理，示出根据本车辆与车道标识30的距离来进行危险度的设定的例子，但危险度决定处理并不限于此。危险度决定处理也可以根据车道标识的种类来设定危险度。例如也可以如虚线等的线所示那样在允许车道变更的情况下将危险度设定为弱，如黄色等的线所示那样不允许车道变更的情况下，将危险度设定为强。

(3e)上述实施方式的图像处理装置1也可以判定俯瞰图像的亮度，并根据判定出的亮度将标识图像变更为最优的亮度。例如将标识图像设为与俯瞰图像相同的位的亮度。由此，由于将亮度的差较少的重叠图像显示于显示装置，所以能够提供有益于驾驶员的眼睛的重叠图像。

(3f)在上述实施方式中，作为图像处理的范围，示出对整个俯瞰图像进行图像处理的例子，但图像处理的范围并不限于此。图像处理的范围例如可以是俯瞰图像的靠近车辆的部分。由此，与对整个俯瞰图像进行图像处理的情况相比，减少处理时间。

(3g)在上述实施方式中，作为拍摄装置2，示出使用前摄像机、左侧摄像机、右侧摄像机以及后摄像机这四个摄像机的例子，但拍摄装置并不限于此，也可以使用一个以上的摄像机。

(3h)可以通过多个构成要素来实现上述实施方式中的一个构成要素具有的多个功能、或通过多个构成要素来实现一个构成要素具有的一个功能。另外，也可以通过一个构成要素来实现多个构成要素具有的多个功能，或通过一个构成要素来实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的构成的一部分。另外，也可以对其它上述实施方式的构成附加或者置换上述实施方式的构成的至少一部分。此外，由本发明的保护范围所记载的词句指定的技术思想所包含的所有方式是本发明的实施方式。

(3i)除了上述的图像处理装置1以外，也能够通过将该图像处理装置1作为构成要素的系统、用于使计算机执行上述的图像处理的程序、记录有该程序的半导体存储器等非迁移的实体记录介质、图像处理方法等各种方式实现本发明。

Claims (6)

1.一种图像处理装置(1)，其特征在于，具备：

图像获取部(1、S1)，构成为从拍摄车辆的周边的拍摄装置(2)获取拍摄图像；

检测部(1、S3)，构成为根据由所述图像获取部获取到的所述拍摄图像，检测规定所述车辆的行驶路的车道标识(30)；以及

显示处理部(1、S11～S15、S41～S45、S5)，构成为以在由所述检测部检测到的所述车道标识上重叠用于辅助所述车道标识的视觉确认的标识图像(31)的方式，使重叠有所述标识图像的所述拍摄图像即重叠图像显示于显示装置(3)。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备决定部(1、S16～S22、S46、S49、S50)，所述决定部(1、S16～S22、S46、S49、S50)构成为决定所述标识图像的显示方式，

所述显示处理部构成为使基于由所述决定部决定的显示方式的所述重叠图像显示于所述显示装置。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述决定部(1、S16～S19、S46、S49)构成为计算所述车辆与所述车道标识之间的距离，并根据计算出的距离来使所述标识图像的显示方式变化。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述决定部构成为使所述标识图像的显示方式变化，以使计算出的所述距离在固定以下时的所述标识图像的宽度比计算出的所述距离不是固定以下时的所述标识图像的宽度宽。

5.根据权利要求2至4中的任一项所述的图像处理装置，其特征在于，

所述决定部(1、S20～S22、S50)构成为根据由所述检测部检测到的所述车道标识的种类，使所述标识图像的显示方式变化。

6.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，

所述图像处理装置还具备判定部(1、S47、S48)，所述判定部(1、S47、S48)构成为判定所述车辆是否处于进行车道变更的状态，

所述显示处理部构成为在通过所述判定部判定为所述车辆处于进行车道变更的状态的情况下不显示所述标识图像，所述标识图像在预测所述车辆由于车道变更会越过的所述车道标识上重叠。