CN109416887B - 识别控制对象车辆报知装置 - Google Patents

Abstract

本发明实现驾驶者能够准确地识别本车辆的周边的控制对象车辆的识别控制对象报知装置。本发明中，基于由外界图像获取部(10)得到的图像信息，由对象识别部(11)识别对象物，作为图像切出。根据切出的图像，种类识别部(12)判断对象物的颜色和形状。报知内容生成部(14)生成包括对象物的形状和颜色的报知内容，输出控制报知部(15)的控制信号，在报知部(15)报知包括上述对象物的形状和颜色的报知内容。由此，使用者能够准确地认知车辆控制的对象物的状态。

Description

识别控制对象车辆报知装置

技术领域

本发明涉及识别本车辆的周边的车辆并报知的识别控制对象车辆报知装置。

背景技术

近年来，面对交通事故的增多趋势，为了飞跃性地提高车的安全性即为了一开始就不陷入危险的状态而进行安全预防，或为了减轻驾驶者的驾驶负担，开发了自动紧急制动系统、紧急回避系统、自动巡航控制系统、车道维持(lane keep)系统、自动泊车系统等、利用从搭载于车辆的摄像机、雷达得到的信息使车辆的驾驶操作的一部分或全部由系统自动进行的各种自动驾驶技术(根据驾驶者的贡献度、参与度存在各种自动驾驶等级)。

上述系统利用搭载于车辆的前方监视摄像机的图像信号识别障碍物等，不仅根据该图像数据预测车辆的车道脱离、追尾、与障碍物的接触等的可能性，也具有利用这些技术追踪前方的车辆而行驶、追踪车道信息而行驶的功能。

此外，公开了在具有上述追踪行驶的车辆中追踪行驶时和非追踪行驶时使显示方式不同的事项。

具体地说，在专利文献1中记载了，在检测到要追踪的先行车辆时，在表示追踪行驶的状况的画面中，显示先行车辆显示、本车显示等，由此能够得到使驾驶者识别出已识别前方车辆的情况的效果的技术。

此外，在专利文献2中记载了，从前方监视摄像机的图像信号中切出控制对象物的区域，直接显示，由此使驾驶者识别出已识别前方车辆的情况的技术。

此外，在专利文献3中记载了使用配合识别出的立体物的朝向、姿态的代替图像，提高相同视觉辨认性的技术。

此外，在专利文献4中记载了判别动态步行者与静态步行者，仅对于动态步行者变换警报信号的技术。

现有技术文献

专利文献

专利文献1：日本特开2015-9777号公报

专利文献2：日本特表2015-501455号公报

专利文献3：日本特许第5516998号公报

专利文献4：日本特开2012-142832号公报

发明内容

发明要解决的课题

但是，在上述专利文献1中公开的发明，限定于巡航控制，将开关状态通知驾驶者，仅以事先决定的方式通知先行车的存在，不能够充分对应现今的多样化的车辆控制机构。

具体地说，以专利文献1记载的巡航控制为一例时，仅是通知先行车的存在，并不通知该先行车具体以什么为对象，因此存在不能得知在自动巡航控制系统这样的自动追踪功能中追踪的对象与使用者的识别是否一致的问题。

此外，专利文献2公开的发明中使用切出图像，在将先行车的识别信息向使用者通知这一方面解决了专利文献1的问题，但因为是将由摄像机获取的原图像直接切出并传送显示，所以传送的信息量较多，传送时间变长。此外，为了在小区域内显示原图像，根据获取的场景的不同，存在视觉辨认性变差的可能性。

此外，专利文献3公开的发明中，在本车辆的前方存在多个车种不同的车辆时，它们的姿态几乎相同，因此驾驶者难以确定作为对象的车辆。

此外，专利文献4公开的发明中，前方行驶中的车辆全部是动态车辆，因此全部转换为警报信号，驾驶者难以确定作为对象的车辆。

本发明鉴于上述问题而提出，其目的在于实现驾驶者能够准确地识别本车辆的周边的控制对象车辆的识别控制对象车辆报知装置。

用于解决课题的方法

为了解决上述课题，本发明以下述方式构成。

在识别控制对象车辆报知装置中包括：获取本车辆周围的图像的图像获取部；从上述图像获取部所获取的图像识别识别控制对象车辆的种类的种类识别部；基于由上述种类识别部识别出的识别控制对象车辆的种类，生成报知信息的报知信息生成部；和报知由上述报知信息生成部生成的报知用信息的报知部。

发明效果

根据本发明，能够实现驾驶者能够准确地识别本车辆的周边的控制对象车辆的识别控制对象车辆报知装置。

附图说明

图1是搭载有本发明的识别控制对象车辆报知装置的车辆的系统结构的概略结构图。

图2是本发明的实施例的自动驾驶的动作流程。

图3是说明在自动驾驶中动作的实用例中识别车辆时的报知动作的一例的图。

图4是说明无论是否自动驾驶均动作的实用例中识别出车辆的状态下转移至自动驾驶中时的报知动作的一例的图。

图5是说明将报知的颜色、形状数据化处理时的表管理的一例的图。

图6是说明自动驾驶等级的概要的说明图。

具体实施方式

以下，对本发明的实施方式参照附图进行说明。

(实施例)

图1是搭载本发明的识别控制对象车辆报知装置的车辆的系统结构的概略结构图。

图1中，在车辆(汽车等)1，主要搭载获取车辆1的周边的信息并报知获取的信息的识别控制对象报知系统2，和自动驾驶车辆1的自动驾驶系统3。另外，自动驾驶系统3进行的自动驾驶在后面叙述。

识别控制对象报知系统2主要包括：从自动驾驶系统3获取车辆1是否处于自动驾驶系统3的自动驾驶中的自动驾驶信息的自动驾驶信息获取部13；从获取(识别)的图像识别识别控制对象车辆的对象识别部11；识别识别出的对象车辆的种类(形状、颜色等)的种类识别部12；基于由种类识别部识别出的识别控制对象车辆的种类，生成报知用内容的报知内容生成部(报知信息生成部)14；报知(显示、声音输出等)生成的报知用内容的报知部15；和摄像机等的获取外界图像(本车辆周围图像)的外界图像获取部10，报知内容生成部(报知信息生成部)14基于从外界图像获取部10得到的信息和由自动驾驶信息获取部13得到的自动驾驶信息生成控制信号并输出。

图2是本发明的实施例的自动驾驶的动作流程。

图2中，在步骤S201中，外界图像识别获取部10判断摄像机状态是否正常化。判断为不正常时，进入步骤S209，由报知部15等进行异常通知，回到开始。

在步骤S201中，判断为摄像机状态正常时，进入步骤S202，外界图像识别部10获取车辆的周边图像。接着，在步骤S203中，控制对象识别系统2的各部分进行初始设定。然后在步骤S204中，对象识别部11检测道路的白线，在步骤S205检测道路上的立体物。然后在步骤S206中，选择先行车辆中的控制对象车辆，进入步骤S207。

步骤S207是用于报知驾驶者容易确定控制对象车辆的处理步骤，包括图2的右侧所示的步骤S211到S215。

在步骤S211中，外界图像获取部10获取本车辆周边信息，自动驾驶信息获取部13获取关于车辆1是否处于自动驾驶系统3的自动驾驶中的自动驾驶信息，本车辆周边图像信息和自动驾驶信息被向对象识别部11发送。

另外，外界图像获取部10的图像信息的获取、自动驾驶信息获取部13的自动驾驶信息的获取可以定期进行，也可以在预先决定的时刻进行。此外，外界图像获取部10的图像信息的获取时刻和自动驾驶信息获取部13的自动驾驶信息的获取时刻当然也可以不同。

接着，识别控制对象报知系统2的对象识别部11基于发送来的车辆的周边信息，识别存在于车辆的周边信息的物体并作为图像切出后向种类识别部12发送图像(步骤S212)。

种类识别部12基于从对象识别部11发送来的切出图像，判断物体的形状(步骤S213)。

种类识别部12在判断出物体的形状时，进而基于从对象识别部11发送来的切出图像，判断物体的颜色(步骤S214)。

另外，随着外界图像获取部10的周边信息的获取进行形状的判断和颜色的判断时刻当然可以不同。

种类识别部12在物体的切出后，在判断出物体的形状、颜色时，将该物体信息、判断结果向报知内容生成部14发送(步骤S215)。

从种类识别部12接收到判断结果的报知内容生成部14，按照发送来的形状、颜色信息生成报知内容(步骤S216)。

从报知内容生成部14接收到判断结果的报知部15，对车辆1的驾驶者将物体的切出图像、包括物体的形状、颜色的图像作为控制信号报知(步骤S208)。

另外，作为该报知部15，例如能够举出仪表、液晶画面、显示(LED)灯、声音(包括蜂鸣器)产生装置、振动产生装置等，作为报知部15的报知方法，能够考虑仪表、液晶画面等的显示变更、LED灯等的光、语音等的声音、振动等的发生等。

通过反复进行上述处理，能够在设置于车辆1的报知部15适当地报知识别对象物。

另外，在上述实施方式中，报知部15对车辆1的驾驶者利用显示、声音以识别对象的物体的切出图像、包括物体的形状、颜色的图像的方式进行报知，但可以生成仅显示和声音的任一种的控制信号进行报知，也可以用显示和声音报知识别对象。作为声音的一例，有说明对象车辆的形状和颜色的报知方式。

此外，关于显示，可以仅显示识别对象的形状或仅显示颜色，关于声音，可以仅报知识别对象的形状或仅报知颜色。

此外，说明了对于识别对象物进行报知的情况，但报知对象物能够分为2种。一种是由外界图像获取部10获取图像，由对象识别部11判断对象物时作为仅保持该对象物的信息的对象的识别对象物。另一种是作为保持识别对象物的信息，并且进行本车辆1的控制的对象的控制对象物。

可以对上述识别对象物和控制对象物两者进行报知，也可以仅报知一者。此外，在报知两者时，可以分别改变其报知内容。

此外，作为在报知内容生成部14生成报知内容时的条件，可以使用从自动驾驶信息获取部13获取的信息。

例如，可以仅在自动驾驶信息获取部13判断为处于自动驾驶系统3的自动驾驶中进行报知内容生成，向报知部15发送报知内容。此外，在自动驾驶信息获取部13判断为不处于自动驾驶系统3的自动驾驶中时，也可以改变判断为处于自动驾驶中时生成的报知内容，向报知部15发送报知内容。

另外，在使用从自动驾驶信息获取部13得到的信息时，判断车辆1是否从进行自动驾驶系统3的自动驾驶前的准备状态(即驾驶者的手动驾驶的状态)切换为自动驾驶系统3的自动驾驶，向自动驾驶的切换，可以由本车辆1的驾驶者的开关操作等手动进行，也可以由系统自动进行。

上述自动驾驶系统3，以减少交通事故、缓解交通堵塞、减轻环境负担、辅助高龄者等的移动、提高驾驶的舒适性等为目的，由各种自动驾驶功能实现，基于由这些各自动驾驶功能得到的信息，能够得到用于判断是否处于自动驾驶中的自动驾驶信息。此外，这些各自动驾驶功能一般根据驾驶者的贡献度、参与度等分类为多个自动驾驶等级(例如，等级0～4的5阶等级)(参照图6)。

此处，在本说明书中，作为自动驾驶，意味着系统进行车辆的驾驶操作的全部或一部分的驾驶，例如，图6所示的例子中对应于自动驾驶等级1～4，手动驾驶意味着基本上驾驶者进行车辆的驾驶操作的驾驶，例如在图6所示的例子中对应自动驾驶等级0。

另外，图6所示的自动驾驶等级、自动驾驶功能、它们的分类等是一个例子，本发明当然并不限定于此。

如上所述，自动驾驶系统3的自动驾驶中，存在各种自动驾驶等级的自动驾驶，有驾驶者依然需要控制对象报知的自动驾驶，和驾驶者不需要控制对象报知的自动驾驶。

例如，自动驾驶系统3的自动驾驶中，在自动驾驶等级1的AEB(自动紧急制动)动作时，为了避免与车辆1周边的物体的接触，可以对识别对象物、控制对象物进行报知。

此处，作为自动驾驶等级0，驾驶者进行加速、转向、制动，作为自动驾驶功能，有周围视野、后视野、死角视野、LDW(车道脱离警报)、失速警报、FCW(前方碰撞警报)。

此外，自动驾驶等级1是汽车进行加速(减速)、转向、制动的任一者的状态，是安全驾驶辅助系统。作为自动驾驶功能，有AEB、紧急回避系统、自动泊车系统、ACC(自动巡航)、LKS(车道维持系统)、LDP(车道脱离防止辅助系统)。

此外，自动驾驶等级2是汽车同时进行加速(减速)、转向、制动中的多个操作，驾驶者总是处于需要中止动作的状态，是准自动驾驶系统。作为自动驾驶功能是自动驾驶等级0和自动驾驶等级1的复合型。

此外，自动驾驶等级3是汽车进行加速(减速)、转向、制动的全部动作，仅在紧急时驾驶者进行应对的状态，是准自动驾驶系统。作为自动驾驶功能，是半自动。但是，在一部分状况下，是自动驾驶等级0和自动驾驶等级1的功能的复合型。

此外，自动驾驶等级4是加速(减速)、转向、制动全部由驾驶者以外的方式进行，驾驶者完全不参与的状态，是完全自动驾驶系统。自动驾驶功能是全自动。

另外，在自动驾驶等级2～4中，AEB动作时仅警报动作的情况下，优选也与自动驾驶等级1同样，对识别对象物、控制对象物进行报知。

此外，自动驾驶等级1的其他功能(自动泊车功能等)动作时，方向盘、加速板控制交给系统(系统责任)时，对于识别对象物、控制对象物也可以进行报知，但方向盘、加速板控制交给驾驶者(驾驶者责任)时，对于识别对象物、控制对象物也可以不作报知。

此外，自动驾驶等级2、自动驾驶等级3中，例如，ACC(自动巡航控制)、LDP(车道脱离防止辅助系统)在单体时仅暂时进行方向盘、加速板控制(例如使车辆1回到车道内)，因此与存在将方向盘、加速板控制的全部交给系统的可能性的LKS(车道维持系统)组合时，可以对识别对象物、控制对象物进行报知。

此外，自动驾驶等级4中，车辆1的驾驶操作全部由系统进行(完全自动驾驶)，因此可以对识别对象物、控制对象物进行报知。

如上所述，在自动驾驶系统3的自动驾驶中，也有驾驶者依然需要针对识别对象物、控制对象物的报知的自动驾驶，和驾驶者不需要控制对象报知的自动驾驶。因此，报知内容生成部14基于从自动驾驶信息获取部13发送的自动驾驶信息，判断它们的自动驾驶等级或由自动驾驶系统3动作的自动驾驶功能，在判断其自动驾驶等级或自动驾驶功能是预先决定的自动驾驶等级或自动驾驶功能(即车辆1已切换为预先决定的自动驾驶等级或自动驾驶功能的自动驾驶)时，可以输出用于进行控制对象报知的控制信号。

图3～图5是具体说明报知动作的图，图3是说明在自动驾驶中动作的实用例中识别出车辆时的报知动作的一例的图，图4是说明无论是否自动驾驶均动作的实用例中在识别出车辆的状态下转移至自动驾驶中时的报知动作的一例的图。此外，图5是说明将报知的形状、颜色数据化处理时的表管理的一例的图。

如图3所示，在仅在自动驾驶中动作的实用例中识别出前方车辆时，在开始自动驾驶前，在报知部15，作为周边的信息什么也不显示(报知部15的显示内容S301)。

在某地点由驾驶者或控制对象报知系统2，自动驾驶系统动作而车辆1从手动驾驶切换为自动驾驶模式，自动驾驶信息获取部13获取切换成自动驾驶的信息时，基于由外界图像获取部10得到的周边信息16，对象识别部11根据获取的周边信息识别存在于前方的车辆。

于是，将识别出的车辆中识别控制对象车辆的车辆影像作为切出图像17切出。

之后，基于该切出图像17，种类识别部12根据形状信息18判断形状，根据颜色信息19判断颜色。然后，报知内容生成部14基于种类识别部12的判断信息，生成报知内容(图3中，报知内容作为例子表示多个报知内容，但生成的报知内容是图示例子中的一个)，在报知部15通知报知内容。报知部15如显示内容S302所示，显示施以色彩的车种形状图像15A。另外，在报知部15的显示内容S302中，表示了表示本车位置的标记15B，但这并非必要。此外，报知部15用声音例如报知“将前方的黄颜色的轿车作为追踪对象”。

上述例子是在自动驾驶模式中，在报知部15报知追踪对象的例子，但在不是自动驾驶模式的状态下也能够将前方车辆显示于报知部15。

图4是说明在识别了车辆的状态下转移至自动驾驶中时的报知动作的一例的图，是在不是自动驾驶模式的状态下也将前方车辆显示于报知部15的例子的说明图。

在图4中，在开始自动驾驶前也显示周边的识别出的对象车辆信息(在识别控制对象车辆之外识别出的车辆的信息)(报知部15的显示内容S401)。

但是，为显示内容S401时，虽然识别出前方车辆，但并不会报知是何种颜色。

在某地点由驾驶者或控制对象报知系统2从手动驾驶切换为自动驾驶模式时，自动驾驶信息获取部13获取切换为自动驾驶的信息，基于由外界图像获取部10得到的周边信息，对象识别部11从获取的周边信息16识别在前方、侧方存在的车辆并将该车辆影像作为图像17切出。

基于该切出图像17，种类识别部12判断形状、颜色，报知内容生成部14基于这些信息生成报知的内容，向报知部15通知报知内容。

向报知部15的报知内容，可以是对于识别出的全部车辆，通知形状和颜色的方式(显示内容S402(也显示在识别控制对象车辆之外识别出的其他车辆的信息))，也可以是对于仅识别的对象仅通知形状而不通知颜色，仅对于控制对象车辆通知形状和颜色的方式(显示内容S403(对于识别控制对象车辆生成形状和颜色，对于识别控制对象车辆之外识别出的车辆，生成形状和颜色中的任一个并报知))。

另外，图3和图4所示的例子中，作为报知的方法，图3表示仅报知控制所需的物体信息的情况，图4表示报知控制所需的物体和识别出的物体两者的情况。

此外，图3表示转移至自动驾驶动作时进行报知动作的情况，图4表示在自动驾驶前也进行报知动作的情况。可以是图3、图4中的任一种情况。

接着，参照图5，说明对控制对象车辆的颜色、形状的数据表管理。

如图5所示，在进行报知部15的报知内容的生成时，处理颜色、形状的发送用数据。此时，生成颜色信息时，在表中可以成对地具有颜色和表示该颜色的数值(例1)，也可以分别具有RGB等颜色(例2)。

对于形状信息也同样，可以成对地具有形状和数值(例3)。此外，也可以使颜色和形状信息成对，而具有数值(例4)。

如上所述，根据本发明的实施例，能够实现驾驶者能够准确地识别本车辆的周边的识别控制对象车辆的识别控制对象车辆报知装置。

即，根据本发明的一实施例的识别控制对象报知系统2，基于由外界图像获取部10得到的图像信息，由对象识别部11识别对象物，作为图像切出，根据切出的图像，种类识别部12判断对象物的颜色和形状，报知内容生成部14生成包括对象物的形状和颜色的报知内容，输出控制报知部15的控制信号，在报知部15报知包括上述对象物的形状和颜色的报知内容，由此使用者能够准确地认知车辆控制的对象物的状态。

此外，报知内容生成部14获取关于是否处于自动驾驶系统3的自动驾驶中的自动驾驶信息，通过基于自动驾驶信息改变报知的内容，使用者能够准确地认知识别对象和车辆控制的对象的状态。

另外，本发明并不限定于上述实施方式，包括各种变形。

例如，上述实施方式是为了容易理解地说明本发明而详细说明的，并不限定于必须具有说明的全部结构。

此外，能够将某实施方式的结构的一部分转换为其他实施方式的结构，此外，能够在某实施方式的结构上添加其他实施方式的结构。此外，能够对于实施方式的结构的一部分，进行其他结构的添加、删除、置换。

此外，控制线、信息线表示了说明上所需的部分，并不限于表示产品上全部控制线和信息线。实际可以认为几乎全部结构相互连接。

附图标记的说明

1……车辆

2……控制对象报知系统

3……自动驾驶系统

10……外界图像信息获取部

11……对象识别部

12……种类识别部

13……自动驾驶信息获取部

14……报知内容生成部(报知信息生成部)

15……报知部

16……周边信息

17……切出图像

18……形状信息

19……报知内容。

Claims (13)

1.一种识别控制对象车辆报知装置，其特征在于，包括：

获取本车辆周围的图像的图像获取部；

从所述图像获取部所获取的图像识别识别控制对象车辆的种类的种类识别部；

获取自动驾驶信息的自动驾驶信息获取部；

基于由所述种类识别部识别出的识别控制对象车辆的种类和由所述自动驾驶信息获取部获取的自动驾驶信息，生成报知信息的报知信息生成部；和

报知由所述报知信息生成部生成的报知信息的报知部，

所述自动驾驶分类为多个自动驾驶等级，

所述报知信息生成部在所述本车辆处于预先决定的自动驾驶等级的自动驾驶的情况下，将用于使所述报知部报知所述报知信息的控制信号输出到所述报知部。

2.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述报知信息生成部所生成的报知信息，是由所述种类识别部识别出的识别控制对象车辆的颜色。

3.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述报知信息生成部所生成的报知信息，是由所述种类识别部识别出的识别控制对象车辆的形状。

4.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述报知信息生成部所生成的报知信息，是说明由所述种类识别部识别出的识别控制对象车辆的种类的声音。

5.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述种类识别部根据所述图像获取部所获取的图像识别识别控制对象车辆的形状和颜色，所述报知信息生成部所生成的报知信息是由所述种类识别部识别出的识别控制对象车辆的形状和颜色。

6.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述种类识别部根据所述图像获取部所获取的图像识别识别对象车辆的形状和颜色，所述报知信息生成部所生成的报知信息是由所述种类识别部识别出的识别控制对象车辆的形状、颜色和说明所述识别控制对象车辆的种类的声音。

7.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述报知信息生成部仅在所述自动驾驶信息获取部表示正在进行本车辆的自动驾驶的情况下，生成报知信息。

8.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述报知信息生成部在所述自动驾驶信息获取部表示没有进行本车辆的自动驾驶的情况下，生成所述种类识别部识别出的识别控制对象车辆和在识别控制对象车辆以外识别出的车辆的形状和颜色中的任一个，并在所述报知部上进行报知，在所述自动驾驶信息获取部表示正在进行本车辆的自动驾驶的情况下，生成所述种类识别部识别出的识别控制对象车辆和在识别控制对象车辆以外识别出的车辆的形状和颜色，并在所述报知部上进行报知。

9.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述报知信息生成部在所述自动驾驶信息获取部表示没有进行本车辆的自动驾驶的情况下，生成所述种类识别部识别的识别控制对象车辆和在识别控制对象车辆以外识别出的车辆的形状和颜色中的任一个，并在所述报知部上进行报知，在所述自动驾驶信息获取部表示正在进行本车辆的自动驾驶的情况下，所述种类识别部对于识别控制对象车辆生成形状和颜色，对于识别控制对象车辆以外识别出的车辆，生成形状和颜色中的任一个，并在所述报知部上进行报知。

10.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述预先决定的自动驾驶等级的自动驾驶包括对所述本车辆自动制动的自动紧急制动功能。

11.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述预先决定的自动驾驶等级的自动驾驶包括所述本车辆的自动加减速、转向、制动中的任一个。

12.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述预先决定的自动驾驶等级的自动驾驶包括所述本车辆的自动加减速、转向、制动的全部，仅在紧急时由所述本车辆的驾驶者应对。

13.如权利要求1所述的识别控制对象车辆报知装置，其特征在于：

所述预先决定的自动驾驶等级的自动驾驶包括所述本车辆的自动加减速、转向、制动的全部。

Images