CN109562763A

CN109562763A - 自动驾驶车辆的控制方法及控制装置

Info

Publication number: CN109562763A
Application number: CN201680088216.5A
Authority: CN
Inventors: H.张; 寸田刚司; 平松真知子
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2016-08-09
Filing date: 2016-08-09
Publication date: 2019-04-02
Anticipated expiration: 2036-08-09
Also published as: MX2019001528A; BR112019002648B1; CA3033463A1; US20190171211A1; BR112019002648A2; US10671071B2; RU2704053C1; EP3498558A4; EP3498558B1; KR20190034331A; EP3498558A1; KR102101867B1; WO2018029789A1; JP6690715B2; CN109562763B; JPWO2018029789A1

Abstract

具有检测乘客对自动驾驶车辆的行驶状况的关注度的关注度检测部(1)、基于自动驾驶车辆的行驶状况学习手动驾驶特性的手动驾驶特性学习部(7)、基于自动驾驶车辆的周围状况设定自动驾驶特性的自动驾驶特性设定部(8)。进而，具备判定乘客对车辆行驶的关注度的关注度判定部(12)和驾驶特性设定部(13)，该驾驶特性设定部(13)在由关注度判定部(12)判定为关注度高的情况下，基于手动驾驶学习部(7)所学习的手动驾驶特性设定驾驶特性，在判定为关注度低的情况下，设定自动驾驶设定部(8)所设定的自动驾驶特性。

Description

自动驾驶车辆的控制方法及控制装置

技术领域

本发明涉及自动驾驶车辆的控制方法及控制装置。

背景技术

专利文献1中公开有检测车辆的搭乘者的生物信息，并根据该生物信息辅助驾驶操作的技术。

现有技术文献

专利文献

专利文献1：(日本)特开2014-75008号公报

然而，专利文献1所公开的现有例中，对于乘客对行驶状况的关注度没有进行研究，所以不能执行与乘客的关注度对应的自动驾驶控制。因此，存在不能进行适当地反映乘客的意图的自动驾驶控制这样的问题。

发明内容

本发明是为了解决这样的现有的课题研究而创立的，其目的在于，提供一种可进行适当地反映乘客的意图的自动驾驶控制的自动驾驶车辆的控制方法及控制装置。

本发明的一方式检测乘客对自动驾驶车辆的行驶状况的关注度，并基于与关注度对应的驾驶特性，控制车辆。

根据本发明的一方式，能够执行适当地反映乘客的意图的自动驾驶。

附图说明

图1是表示本发明的实施方式的自动驾驶车辆的控制装置的构成的块图；

图2是表示本发明的实施方式的眼球状态检测部的构成的块图；

图3是表示本发明的实施方式的图像处理装置的构成的块图；

图4是表示乘客的眼球及眼球所包含的瞳孔的中心、及反射光的中心的说明图；

图5A是表示本车辆的前方状况及乘客的视线方向的移动的说明图；

图5B是表示乘客对物体的注视、非注视的说明图；

图6是表示拍摄乘客的脸提取眨眼参数的顺序的说明图；

图7是表示乘客的睁眼度相对于时间经过的变化的块图；

图8是表示车辆所搭载的关联开关及非关联开关的说明图；

图9是表示会话判定部的详细构成的块图；

图10是表示本车辆状况检测部的详细构成的块图；

图11是表示周围状况检测部的详细构成的块图；

图12是表示检测特征点的3个方法的说明图；

图13是表示对于所检测出的特征点的驾驶动作的学习的流程的说明图；

图14是表示行驶状况的分类的说明图；

图15是表示将其它车辆的数据分解为有意义的项目的例子的说明图；

图16是表示由手动驾驶特性学习部所学习的手动驾驶特性的例子；

图17A是表示本车辆不采用自动驾驶特性进行巡航行驶的情况下的行驶状况的说明图；

图17B是表示本车辆采用自动驾驶特性进行巡航行驶的情况下的行驶状况的说明图；

图18A是表示本车辆不采用自动驾驶特性进行追随行驶的情况下的行驶状况的说明图；

图18B是表示本车辆采用自动驾驶特性进行追随行驶的情况下的行驶状况的说明图；

图19A是表示本车辆不采用自动驾驶特性通过交叉路口的情况下的行驶状况的说明图；

图19B是表示本车辆采用自动驾驶特性通过交叉路口的情况下的行驶状况的说明图；

图20A是表示本车辆在交叉路口暂时停止后右转的情况下的行驶状况的说明图；

图20B是表示本车辆在交叉路口不停止而右转的情况下的行驶状况的说明图；

图21是表示车辆在交叉路口不暂时停止而右转的情况、暂时停止后右转的情况的频度的图表；

图22是表示手动驾驶特性的概率分布的说明图；

图23是表示本发明的实施方式的自动驾驶车辆的控制装置的处理顺序的流程图；

图24是表示基于眼球的动作判断关注度是否比基准值高的处理的流程图；

图25是表示基于乘客操作的开关的频度判断关注度是否高的处理的流程图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。图1是表示本发明的一实施方式的自动驾驶车辆的控制装置的构成的块图。如图1所示，自动驾驶车辆的控制装置具备关注度检测部1、行驶状况检测部14、个性化适应驾驶特性判定部4和自动驾驶特性设定部8及运转特性切换部11。

本实施方式所示的各功能可以利用1个或多个处理电路安装。处理电路包括含有电路的处理装置。另外，处理装置为了执行实施方式所记载的功能，包括所改编的面向特定用途集成电路(ASIC)及现有型的电路部件之类的装置。

[关注度检测部的说明]

关注度检测部1检测本车辆的乘客(例如，驾驶员)对本车辆目前的行驶状况的关注度，判定关注度是否比基准值高。关注度检测部1具备检测乘客眼球的动作的眼球状态检测部2、检测车辆所搭载的各种开关的操作的频度的开关操作检测部3、对乘客的会话分析的会话判定部16。眼球状态检测部2、开关操作检测部3及会话判定部16的检测结果输出到驾驶特性切换部11的关注度判定部12。

(眼球状态检测部2)

图2是表示眼球状态检测部2的块图。如图2所示，眼球状态检测部2具备朝向乘客的眼球18照射红外线的红外线照明21、拍摄由眼球18的瞳孔19反射的红外线的红外线摄像机20和控制红外线照明21及红外线摄像机20的照明/摄像机控制器23。

进而，眼球状态检测部2具备有图像处理部22，其取得由拍摄车辆的外部(例如，车辆前方)的车外摄像机17所拍摄的车外图像，基于该车外图像和由红外线摄像机20所拍摄的图像，执行乘客的视线解析、眨眼解析等处理。而且，眼球状态检测部2基于乘客的眼球18的动作检测乘客的视线方向。

图3是详细地表示眼球状态检测部2的构成的块图。如图3所示，红外线摄像机20具备透镜25、可见光遮光滤光片26和快门、光圈27及红外线图像传感器28。而且，通过照明/摄像机控制器23的控制，从而控制快门、光圈27及红外线图像传感器28，拍摄照射在眼球18上的红外线反射光。

图像处理部22具备数字滤波器29、图像处理用CPU(Graphics Processing Unit)30和参数提取部31。

数字滤波器29对由红外线摄像机20所拍摄的图像及由车外摄像机所拍摄的图像进行过滤处理。

图像处理用GPU30基于由红外线摄像机20所拍摄的图像及由车外摄像机17所拍摄的图像，实施乘客的视线方向的解析及乘客的眨眼的解析等各种图像处理。

参数提取部31基于由利用图像处理用GPU30实施的图像处理所得到的乘客的视线方向及由车外摄像机17所拍摄的车外的图像，提取表示是否在注视车辆周围的“周围注视参数”。进而，提取表示是否在眨眼的“眨眼参数”，而且，参数提取部31将提取的周围注视参数、眨眼参数输出到图1所示的关注度判定部12。

接着，参照图4～图7对利用眼球状态检测部2对检测乘客的视线方向的处理进行说明。图4是表示乘客的眼球18、眼球18所包含的瞳孔19的中心r1及反射光的中心r2的说明图。

在检测乘客的视线方向的情况下，用图2所示的红外线照明21将红外线束照射在乘客的眼球18上。如图4所示，用红外线摄像机20检测红外线束的反射光和瞳孔19的中心。进而，运算自瞳孔19的中心r1至反射光的中心r2的输出矢量R1。

另外，基于红外线束的反射光的位置计算出红外线摄像机20与反射光的位置关系。进而，基于红外线摄像机20与反射光的位置关系和上述的输出矢量R1求红外线摄像机20与瞳孔19的中心的位置关系。其结果，能够识别乘客的视线方向即乘客在看车辆周围的哪个位置。

接着，对上述的周围注视参数进行说明。图5A是表示本车辆的前方图像的说明图，图5B是表示乘客对物体的注视、非注视的说明图。在由车外摄像机17所拍摄的图像中所包含的前方物体(其它车辆)的存在位置与乘客的视线一致的情况下定义为“识别(视觉识别)”。例如，在乘客的视线朝向图5A所示的前行车辆e1的情况下，判断为乘客识别前行车辆e1。在乘客的视线朝向存在于路边的车辆e2的情况下，判断为乘客识别车辆e2。

进而，识别确认后，在眼球的运动角速度为10[deg/s]以下的状态(视线正在停留的状态)持续了阈值时间τ1(例如，165msec)以上的情况下设为“注视”。其结果，如图5B所示，得到注视时间和非注视时间。将作为在一定时间内的注视时间的比例即周边注视度F1[％]用以下述式(1)定义。

F1＝Ta/(Ta+Tb)＊100(1)

在式(1)中，Ta表示一定时间内对象物的注视时间，T b表示一定时间内的非注视时间。

乘客的周围注视度高是指能够推定该乘客对行驶状况的关注度高。将用上述式(1)运算的周边注视度F1作为周边注视参数，输出到示于图1的关注度判定部12。

接着，对眨眼参数进行说明。对于表示乘客是否在眨眼的眨眼参数的检测顺序，参照图6进行说明。在图6的步骤h1中，用红外线摄像机20拍摄乘客的脸部图像。在步骤h2中，从在h1的处理中拍摄的面部图像71中提取面部区域72。

在步骤h3中，取得从面部区域72提取特征点而构成的图像73。在步骤h4中，从面部的特征点取得表示面部的姿势的图像74。在步骤h5中，从乘客的眼睛的图像中识别睁眼部、闭眼部。根据睁眼部及闭眼部，可以求表示睁眼相对于全睁的比例的睁眼度。在步骤h6中，检测眨眼的参数。此外，步骤h1～h5所示的图像处理由于是公知的技术，因此，省略详细的说明。

下面，对步骤h6所示的眨眼参数的检测方法进行说明。图7是表示乘客的睁眼度伴随着时间经过的变化的图表。如曲线Q1所示，乘客的睁眼度周期性地变化。将形成最大睁眼度的时刻的间隔设为间隔T1。另外，在睁眼度为20％以下的情况下，定义为闭眼来运算闭眼时间T2。最大睁眼度使用对各个乘客预先进行校准的数值。

利用下述式(2)运算眼球18的闭眼时间相对于眨眼间隔的比例的睁闭行为特征量PE。

PE＝(T2/T1)＊100[％](2)

另外，测量从形成最大睁眼度的时刻(例如，t1)至变为闭眼的时刻(例如t2)的经过时间，运算闭眼速度X1[％/sec]。进而，运算睁眼时的睁眼度X2[％]。

上述的睁闭行为特征量PE高是指为乘客的闭眼的程度高，可以说对行驶状况的关注度低。换言之，在睁闭行为特征量PE比预先设定的阈值(第二阈值PEth)低的情况下，可以推定乘客对行驶状况的关注度高。另外，闭眼速度X1高或睁眼时的睁眼度X2高是指由于注视本车辆的周围的程度高，因此可以推定乘客对行驶状况的关注度高。

而且，将闭眼速度X1、睁眼时的睁眼速度X2及用式(2)运算的睁闭行为特征量PE作为眨眼参数输入到图1所示的关注度判定部12。

(开关操作检测部3)

接着，对开关操作检测部3进行说明。开关操作检测部3检测车辆所搭载的各种操作，将检测数据输入到图1所示的关注度判定部12。将车辆所搭载的各种开关分类为与车辆行驶相关联的开关(以下，称作“关联开关”)和与车辆行驶无关联的开关(以下，称作“非关联开关”)

如图8所示，关联开关为例如速度设定开关、车间距离设定开关、车道变更开关等。另一方面，非关联开关为例如车窗的开闭开关、音响操作开关、导航操作开关、座椅位置调节开关、照明开关等。

如后所述，图1所示的关注度判定部12在关联开关的操作频度(一定时间内所操作的次数)高的情况下，判定为乘客对行驶状况的关注度高。相反，关联开关的操作频度(一定时间内所操作的次数)低的情况下，判定为乘客对行驶状况的关注度低。另外，在非关联开关的操作频度高的情况下，判定为乘客对行驶状况的关注度低，在操作频度低的情况下，判定为乘客对行驶状况的关注度高。

(会话判定部16)

接着，对会话判定部进行说明。如图9所示，会话判定部16具备有检测声音的麦克风42、扬声器43、对乘客提示各种信息的信息提示部44、分析乘客的会话的分析部45。会话判定部16为了辨别乘客的声音和其它的声音，用预先录入的乘客的声音数据识别乘客的声音。会话除了乘客与其他乘客的会话，还包括乘客与车辆的会话。在乘客的会话中，也可以分析乘客的会话速度、声音的大小等声音，检测关注度。例如，在乘客的会话速度快的情况下，可以设为与驾驶相比集中在会话上，判定为关注度低。另外，例如，在乘客声音的大小小的情况下，乘客自言自语的可能性大，可以设为没有集中在会话上，判定为关注度高。乘客与车辆的会话，信息提示部44可以从扬声器43对乘客提出各种各样的会话(可以是日常会话也可以是问答)。例如，提出“道路的限速是多少Km？”、“前行车辆是什么颜色？”等问题。而且，麦克风检测乘客的发言(声音)，分析部45对乘客对该会话的发言(声音)进行识别分析。

而且，如后述，关注度判定部12推定由会话判定部16所分析的乘客的意识量(意识程度)，意识量大的情况下，判定为关注度高。

[行驶状况检测部14的说明]

接着，对图1所示的行驶状况检测部14进行说明。行驶状况检测部14具备有检测本车辆的行驶状况的本车辆状况检测部6和检测本车辆的周围的状况的周围状况检测部9。

如图10所示，本车辆状况检测部6取得由车速传感器32所检测的车速数据、由加速度传感器33所检测的加速度数据、由转向角传感器34所检测的转向角度数据，根据这些各种数据检测车辆的行驶状况。由本车辆状况检测部6所检测出的数据输入到示于图1的手动驾驶特性学习部7。

如图11所示，周围状况检测部9具备有车辆间隔检测部35、非车辆检测部36、周围车辆种类检测部37、车道检测部38和道路种类检测部39及交通信息检测部40。

车辆间隔检测部35利用雷达等检测本车辆前后左右的车辆间隔。非车辆检测部36根据由拍摄周围状况的摄像机所拍摄的图像检测存在于本车辆周围的行人、自行车等车辆以外的物体。

周边车辆类型检测部37根据由摄像机所拍摄到的图像检测存在于本车辆的周围的车辆，并检测检测到的车辆的种类。例如，检测乘用车、卡车、公共汽车、摩托车等。车道检测部38从由摄像机所拍摄出的图像检测道路的车道。

道路种类检测部39从由导航装置所得的信息检测的道路种类。交通信息检测部40从由导航装置所得的信息检测交通信息。此外，以上记录的各种信息可以通过车辆间通信、道路车辆间通信检测，也可利用声纳等其它的传感器检测。由周围状况检测部9所检测出的数据输出到示于图1的自动驾驶特性设定部8。

[个性化适应驾驶特性判定部4的说明]

接着，对图1所示的个性化适应驾驶特性判定部4进行说明。个性化适应驾驶特性判定部4具备本车辆手动驾驶时学习乘客的驾驶特性的手动驾驶特性学习部7和存储手动驾驶特性的手动驾驶特性数据库5。

手动驾驶特性学习部7取得乘客手动驾驶时的各种驾驶特性，存储在手动驾驶特性数据库5中。该驾驶特性是符合乘客的喜好的驾驶特性，如后所述，在判定为乘客对本车辆的行驶状况的关注度比基准值高的情况下采用。下面，详细地进行说明。

手动驾驶特性学习部7从由本车辆状况检测部检测出的表示行驶状况的各数据(示于图10的利用各传感器取得的数据)检测乘客的驾驶特性。所谓驾驶特性是指乘客执行手动驾驶的情况下的车道变更时的时机、进入高速公路是的合流点，合流速度、车间距离、平均巡航速度、加减速度、制动时机、转向角速度、车道内的行驶位置(靠左、靠右)、交叉路口中的右转通过时机等。而且，学习在所检测出的各特征点的驾驶动作。

作为检测驾驶特性的方法，通常已知有3种学习方法。图12是表示3种学习方法的说明图。在学习方法“1”中，根据人的分析进行学习。在学习方法“2”中，设定根据人的知识、经验的假设，进而利用机械学习进行学习。在学习方法“3”中，以利用机械学习的完全自动方式进行学习。在本实施方式中，作为一个例子采用学习方法“2”的方法进行学习。

图13是表示从由行驶状况检测部14检测出的数据学习特征的流程的说明图。首先，在步骤a1中，从行驶状况检测部14收集数据。将本车辆的行驶状况和周围状况作为数据进行收集。收集数据后，在步骤a2中，提取所需的属性数据。行驶状况检测部14收集的数据未必与驾驶动作有关联性，当与驾驶动作没有关联性的数据作为学习的材料使用时，有时反倒对学习结果产生不良影响。因此，在步骤2a的处理中，仅提取所需要的数据(属性数据)。

在步骤3a中，去除在上述的a2的处理中提取的属性数据所包含的干扰(噪音)项等对学习产生不良影响的要素，修正属性数据。

在步骤a4中，将属性数据分类为有意义的项目(参数)。图15表示有将其它车辆的数据分类为有意义的项目的例子。

具体而言，在检测对象“1”～对象“n”的其它车辆，进而检测出其它车辆的“种类”、“动作”、“制动灯”、“与本车辆的距离”的情况下，将这些各种数据进行再分类取得“前行的车辆的台数”、“前行的卡车的台数”、“与前行的车辆之间的距离”等各种项目。

将上述的图6的a1～a4的处理定义为前处理，在步骤a5中，将由前处理所生成的参数作为机械学习的输入，执行机械学习。作为机械学习的算法，可以使用例如SOM(SelfOrganizing Map)、SVC(Support Vector Machine Classification)、SGD(StochasticGradient Decent)、对数回归等。利用该机械学习，输出正在行驶的道路种类。如图14所示，各种道路类别分类为(例如，b1～b8)。具体而言，在高速公路上行驶中的情况设为“b1，高速公路”，在普通道路上行驶在一侧两车道的情况设为“b2，干线道路”，在普通道路上行驶在一侧一车道的情况设为“b3，非干线道路”，行驶在普通道路的交叉路口的情况设为“b4，交叉路口”。另外，在普通道路或高速公路上行驶中不存在前行车辆的情况下，设为“b5，巡航行驶”，在普通道路或高速公路上行驶中存在前行车辆的情况设为“b6，追随行驶”，在普通道路的交叉路口停止后再起步的情况设为“b7，通过交叉路口”，在普通道路的交叉路口右转的情况分类为“b8，右转”。此外，该分类方法不限于以上的内容，既可以将分类项目增多，也可以将分类项目减少。分类项目多的情况下，以上项目中，也可以再加上高速公路的合流地点、高速公路的分支地点、干线道路的右转专用车道等。将分类项目减少的情况下，缩减为高速公路、普通道路这两种。

在步骤a6中，将根据学习确定的道路类别和道路中的驾驶特性保存到驾驶特性数据库5。如以上所述，在学习方法“2”中，将图13的步骤a1～a5中的分类项目用手动进行设定，在步骤a6中通过机械学习自动生成状况参数。

图16是表示由手动驾驶特性学习部所学习的手动驾驶特性的例子，表示一侧两车道的道路的左车道上本车辆V1正在以时速60km行驶，2台其它的车辆V2、V3沿右车道正在以时速80km行驶的状况。

对于该行驶状况，利用上述的方法可取得行驶状况的种类、与前后其它车辆的位置关系、道路信息(限速)、目前的车辆的行驶信息(例如，行驶速度)。

而且，利用机械学习的算法计算有意义的参数。其结果，例如，在巡航行驶的情况下，得到以限速的75％(限速80km/h的道路上以60km/h行驶)的速度行驶的学习结果。该学习结果保存到手动特性数据库5。此外，本实施方式所示的巡航行驶定义为，与前行车辆之间的车间时间(将车间距离用行驶速度除得出的数值)为2秒以上的状况持续30秒以上。

[自动驾驶特性设定部8的说明]

接着，对图1所示的自动驾驶特性设定部8进行说明。如后所述，自动驾驶特性设定部8设定乘客对行驶状况的关注度低的情况下选择的驾驶特性。下面，参照图7～图20详细地进行说明。

图17A、图17B是表示本车辆通过自动驾驶巡航行驶时的决定自动驾驶特性的例子。取得行驶状况的种类(该情况为巡航行驶)、与行驶在本车辆的前方、后方的其它车辆的位置关系及限速等道路信息作为输入参数。而且，在不超过限速的范围进行控制，以使本车辆的行驶速度与在周围行驶的其它车辆的速度对应。通过使本车辆的行驶速度与其它车辆的行驶速度对应，可以解除拥堵。具体而言，如图17A所示，存在拥堵区间P1、P3，进而，在这些区间的中间存在通畅行驶区间P2的情况下，通过使本车辆的行驶速度与其它车辆的行驶速度对应，如图17B所示，可以解除拥堵将整个区间调整为通常行驶区间4。

图18A、图18B是表示决定追随在本车辆的前方行驶的前行车辆的情况的自动驾驶特性的例子的说明图。此外，本实施方式所示的所谓追随行驶定义为与前行车辆之间的车间时间为少于2秒的状况持续30秒以上。作为输入参数，取得行驶状况的种类(该情况为追随行驶)、与在本车辆的前方、后方行驶的其它车辆的位置关系。在能够避免与前行车辆追尾的范围内缩短车间时间。即，如图18A所示，将车间时间为4[sec]的情况如图18B所示设为车间时间为2[sec]。其结果，由于车间时间缩短，在一定距离的区间行驶的车辆数变多，作为结果，可缓解拥堵。

图19A、19B是表示决定本车辆在交叉路口起步时的自动驾驶特性的例子的说明图。设想本车辆在交叉路口因红灯亮停止之后切换为绿灯亮而起步的情况。作为输入参数，取得行驶状况的种类(该情况为巡航行驶)、本车辆与前行车辆的位置关系及信号灯的信息。

而且，通过起步时在不与前行车辆追尾的范围对该前行车辆对应加速度、起步时机，可以使在绿灯点亮的时间通过交叉路口的车辆的台数增加。即，在不执行起步时的控制的情况下，如图19A所示车辆之间的间隔变大，通过的车辆台数少。具体而言，通过z1、z2、z3这3台。相对于此，通过设定自动驾驶特性控制起步，如图19B所示，通过交叉路口的车辆台数成为z4、z5、z6、z7这4台，可以使通过车辆增加。

图20A、图20B、图21是表示在本车辆V1在交叉路口右转的情况下决定暂时停止或直接右转的例子的说明图。如图20A、20B所示，将对向车辆V3到达交叉路口所需的时间设为到达时间s1，将本车辆到达交叉路口所需的时间设为到达时间s2。然后，运算到达时间s1和s2的差值(s1-s2：将其设为间隔时间△s)，在该间隔时间△s比预先设定的阈值时间(例如，6秒)长的情况下，本车辆V1不停止而在交叉路口右转。另一方面，间隔时间△s为阈值时间以下的情况下，本车辆V1在交叉路口暂时停止。

具体而言，如图20A所示，在本车辆V1正在接近交叉路口，对向车辆V3行驶在接近交叉路口的位置上的情况下(到达时刻s1小的情况)，本车辆V1暂时停止，在对向车辆通过之后右转。此时，后续车辆V2会在交叉路口暂时停止后再起步直行。

另一方面，如图20B所示，在本车辆V1正在接近交叉路口，对向车辆V3在距交叉路口比较远离的位置行驶的情况下(到达时间S1大的情况)，本车辆V1在交叉路口不停止而右转。此时，后续车辆V2可以不在交叉路口停止而直行。

这样，通过设定间隔时间△s，可以可靠地进行右转的判断，因此，可以缓解在交叉路口的拥堵。

图21是表示右转时暂时停止的情况及不停止而右转的情况下的间隔时间△s的累积频度的图表。曲线q1表示在交叉路口停止的情况下的间隔时间△s与频度的关系，间隔时间△s越短，停止的车辆越增多。曲线q2表示在交叉路口不停止而右转的情况下的间隔时间△s与频度的关系，间隔时间△s越长，在交叉路口不停止而右转的车辆越增多。

而且，在本实施方式中，设定曲线q1与q2的交点作为上述的阈值时间。图21的情况下，阈值时间为6秒。即，在间隔时间△s比6秒长的情况下，控制本车辆V1不在交叉路口停止而右转，在间隔时间△s为6秒以下的情况下，控制本车辆在交叉路口停止。通过如此控制，可在交叉路口通畅地右转，可以缓解在交叉路口的拥堵。

[驾驶特性切换部11的说明]

下面，对图1所示的驾驶特性切换部11进行说明。驾驶特性切换部11具备关注度判定部12和驾驶特性设定部13。

关注度判定部12基于由前述的眼球状态检测部2输出的“周围注视参数”及“眨眼参数”，判定乘客对行驶状况的关注度。具体而言，在示于前述的式(1)的周围注视度F1比预先设定的第一阈值F1th高的情况下，判定为对行驶状况的关注度比基准值高。另外，在示于前述的式(2)的睁闭行为特征量PE比预先设定的第二阈值PEth低的情况下，睁眼时的睁眼度X2比预先设定的第三阈值X2th高的情况下，或闭眼速度X1比预先设定的第四阈值X1th高的情况下，判定为对行驶状况的关注度比基准值高。

另外，根据由开关操作检测部3所输出的关联开关及非关联开关的操作状况，判断乘客对行驶状况的关注度。具体而言，在关联开关的操作频度比预先设定的第五阈值高的情况下，判定为对行驶状况的关注度比基准值高。另外，在非关联开关的操作频度比预先设定第六阈值高的情况下，判定为对行驶状况的关注度比基准值低。

进而，如前所述，推定在由会话判定部16所分析的对驾驶员的意识量(意识度)，在意识量比预先设定的第7阈值高的情况下，判断为对行驶状况的关注度比基准值高。

驾驶特性设定部13基于由关注度判定部12所判定的关注度确定自动驾驶控制的控制内容。具体而言，在乘客对行驶状况的关注度比基准值高的情况下，进行自动驾驶以适应乘客的驾驶特性。例如，控制车辆速度、车间距离以适应乘客的特性。即，在驾驶员对目前的驾驶的关注度比基准值高的情况下，通过尽量按驾驶员(乘客)喜好的驾驶特性进行驾驶，可以抑制给予驾驶员的不适感。因而，将驾驶员手动驾驶时的驾驶特性数据从手动驾驶特性数据库提取进行自动驾驶以适应驾驶员的驾驶员特性。

例如，如图22所示，在手动驾驶特性数据库中存储有3种手动驾驶特性u1、u2、u3。而且，取得由本车辆的手动驾驶的目前的驾驶特性u0。具体而言，取得行驶状况的种类、与前后的其它车辆的位置关系、道路信息(限速)、目前的车辆的行驶信息(例如，行驶速度)，作为输入参数。然后，利用机械学习的算法计算有意义的参数，取得目前的驾驶特性。

在示于图22的例子中，从各手动驾驶特性u1～u3之中，选择与自动驾驶车辆的目前的驾驶特性u0最相似的手动驾驶特性u2。而且，在驾驶特性设定部13中，在由关注度判定部12判定为对驾驶的关注度比基准值高的情况下，选择手动驾驶特性u2，输出控制指令。

另一方面，在乘客对现在的驾驶的关注度低的情况下，进行对应周围状态的自动驾驶。即、

在乘客对车辆行驶的关注度比基准值低的情况下，由于设定适合周围状况的驾驶特性执行自动驾驶控制，因此可以控制使行驶速度及车间距离适合周围车辆，不会扰乱交通车流而能缓解交通拥挤的产生。

另一方面，在乘员对当前的驾驶的关注度低的情况下，进行适合周围状况的自动驾驶。即，在对行驶状况的关注度低的情况下，优选尽可能以适合周围的行驶状况的驾驶特性进行自动驾驶。通过以适合周围的行驶状况的驾驶特性进行自动驾驶，能够抑制阻碍周围的其它车辆的行驶，另外，能够抑制赋予其它车辆的乘员的不适感。而且，由于能够调整交通流，所以能够缓解拥堵。因此，选择由自动驾驶特性设定部8决定的驾驶特性、具体而言选择上述的图17～图21所示的控制而输出控制指令。

[处理动作的说明]

下面，参照图23、图24、图25所示的流程图对通过本实施方式的自动驾驶车辆的控制装置处理的处理顺序进行说明。图23表示整体的处理顺序，图24、图25表示图23的S13的详细的处理。

示于图23的处理通过示于图1的驾驶特性设定部13执行。首先，在图23的步骤S11中，驾驶特性设定部13判定本车辆的行驶状况。在该处理中，如图10所示，使用由本车辆状况检测部6检测出的车速数据、加速度数据、转向角度数据等。或者，也可以根据通过CAN(Controller Area Network)取得的车辆速度、加速度、转向角度的信息及雷达和摄像机的传感信息，判定目前的行驶状况。

在步骤S12中，驾驶特性设定部13判定乘客对行驶状况的关注度。如前所述，关注度的判定根据乘客的眼球的动作、开关的操作频度、会话的内容等进行。进而，在步骤S13中，判定关注度是否比基准值高。

下面，参照图24、图25，对关注度判定的详细的处理顺序进行说明。该处理由图1所示的关注度判定部12执行。

图24为表示基于眼球信息，判定关注度的流程。首先，关注度判定部12在步骤S31中从眼球状态检测部2取得“周边注视参数”，在步骤S32中，取得“眨眼参数”。

在步骤S33中，关注度判定部12根据周围注视参数，判定周围注视度F1是否比第一阈值F1th高。而且，在判断为周边注视度F1比第一阈值F1th高的情况下(在步骤S33为是)，在步骤S37中，判定为乘客对行驶状况的关注度比基准值高。

另一方面，在判定为周围注视度F1比第一阈值F1th低的情况下(在步骤S33为否)，在步骤S34中，判定睁闭行为特征量PE是否比第二阈值PEth低。

在睁闭行为特征量PE比第二阈值PEth低的情况下(在步骤S34为是)，执行步骤S37的处理。另一方面，在睁闭行为特征量PE比第二阈值PEth高的情况下(在步骤34为否)，在步骤S35中，关注度判定部12根据乘客的眨眼信息判定睁眼时的睁眼度是否高。在该处理中，判定睁眼时的睁眼度X2是否比第三阈值X2th高。

在睁眼时的睁眼度X2比第三阈值X2th高的情况下(在步骤S35为是)，将处理进入到步骤S37。在睁眼时的睁眼度X2比第三阈值X2th低的情况下(在步骤S35为否)，在步骤S36，关注度判定部12根据眨眼参数，判定闭眼速度X1是否比第四阈值X1th高。

在判定为闭眼速度X1比第四阈值X1th高的情况下(在步骤S36为是)，在步骤S37中，判定为关注度比基准值高。另一方面，在判定为闭眼速度X1比第四阈值X1th低的情况下(在步骤36为否)，在步骤S38中，判定为关注度比基准值低。而且，根据步骤S37、S38的判定结果，执行图23的步骤S13的处理。

接着，参照示于图25的流程，对应于开关操作的频度，对判定关注度的处理进行说明。该处理通过关注度判定部12执行。

首先，在步骤S51中，关注度判定部12取得由开关操作检测部3输出的各种开关操作的频度信息。

在步骤S52中，关注度判定部12判定关联开关的操作频度是否高。如前所述，关联开关为例如速度设定开关、车间距离设定开关、车道变更开关等。

而且，在关联开关的操作频度比预先设定的第五阈值高的情况下(在步骤S52为是)，在步骤S54中，关注度判定部12判定为乘客对行驶状况的关注度比基准值高。

另一方面，在关联开关的操作频度比第五阈值低的情况下(在步骤S52为否)，在步骤S53中，判定非关联开关的操作频度是否比第六阈值高。如前所述，非关联开关为例如车窗的开闭开关、音响操作开关、导航操作开关、座椅位置调节开关等。

而且，在非关联开关的操作频度比第六阈值高的情况下(在步骤S53为是)，在步骤S55中，关注度判定部12判定为乘客对行驶状况的关注度比基准值低。

另外，在非关联开关的操作频度比第六阈值低的情况下，(在步骤S53为否)，设想开关操作的频度低或没有进行操作，因此保留判定，将处理返回到步骤S52。

如此，为图23的步骤S13所示的处理，即判定乘客对行驶状况关注度是否比基准值高。此外，如前所述，也可以判断乘客的会话的状态，根据会话的状态，求得对驾驶的关注度。

在图23的步骤S13中，在关注度比基准值高的情况下(在步骤S13为是)，在步骤S14中，驾驶特性设定部13设定适合乘客的手动驾驶特性的驾驶特性(车速、车间距离等)。

作为乘客对行驶状况关注度高的情况下的例子，可以举出本车辆没有沿着周围的其它车辆的行车流的情况、不能对应道路状况的情况、卡车、豪华车、障碍物、道路结构等需要注意的对象物正在接近的情况等。在这类行驶状况中，乘客通过将车辆速度、车间距离(前后左右)、车道变更等行驶特性设定为适合乘客的喜好的驾驶特性，由此，可实现抑制了给予乘客的不适感的自动驾驶。

另外，在判定为关注度比基准值低的情况下(步骤S13为否)，在步骤S15中，驾驶特性设定部13设定沿着周围状况的车速、车间距离。

在步骤S16中，确定在步骤S14的处理所设定的驾驶特性或在步骤S15的处理所设定的驾驶特性之中的任一驾驶特性。

在步骤S17中，驾驶特性设定部13判定自动驾驶区间是否已结束，如未结束，将处理返回到步骤S11。如已结束，则结束自动驾驶，切换为手动驾驶。

这样，在本发明的自动驾驶车辆的控制方法中，由于检测乘客的关注度，基于对应于关注度的驾驶特性控制本车辆，所以可以识别乘客的意图，可以将乘客的意图反映到车辆的行驶特性中，因此，可以进行适当地反映乘客的意图的自动驾驶行驶。

另外，在乘客对车辆行驶的关注度比基准值低的情况下，由于设定适合周围状况的驾驶特性执行自动驾驶控制，因此可以控制使行驶速度及车间距离适合周围车辆，不会扰乱交通车流而能缓解交通拥挤的产生。

进而，在乘客对车辆行驶的关注度比基准值高的情况下，由于设定基于该乘客的手动驾驶时的驾驶特性，因此可实现对乘客没有不适感的自动驾驶控制。

另外，在本实施方式中，根据由眼球状态检测部2所检测的眼球的动作，检测乘客对车辆行驶的关注度。具体而言，由于在注视度F1比第一阈值F1th高的情况下，判断为关注度比基准值高，因此，可高精度地进行关注度的判定。

另外，由于在闭眼时间相对于眨眼间隔的比例(睁闭行为特征量PE)比第二阈值PEth低的情况下，判断为关注度比基准值高，因此可高精度地进行关注度的判定。

进而，由于在睁眼时的睁眼度X2比第三阈值X2th高的情况下，判断为关注度比标准值高，因此可高精度地进行关注度的判定。

另外，由于在闭眼速度X1比第四阈值高的情况下，判断为关注度比标准值高，因此可高精度地进行关注度的判定。

进而，由于在关联开关的操作频度比第五阈值高的情况下，判定为关注度比基准值高，因此，可通过简单的处理进行关注度的判定。

另外，由于在非关联开关的操作频度比第六阈值高的情况下，判定为关注度比基准值低，因此，可通过简单的处理进行关注度的判定。

另外，根据乘客的会话判定关注度。详细而言，推定由会话判定部16所分析的乘客的意识量，在意识量大的情况下判定为关注度比标准值高。因而，可根据乘客的会话内容，进行高精度地关注度的判定。

进而，作为车辆的乘客，通过使用驾驶员的关注度可进行更适合乘客的喜好的自动驾驶控制。

此外，在上述的流程中，对根据示于图24的眼球的动作判定关注度的情况及根据示于图25的开关操作判定关注度的情况进行了记载，但也可以将两者并用判断关注度。

例如，在判定由眼球的动作反映的关注度，且判定为关注度比基准值低的情况，进而执行开关操作的关注度判定，进而，在判定为关注度比基准值低的情况，也可以执行根据会话的内容反映的关注度判定。

另外，如前所述，推定由会话判定部16所分析的乘客的意识量，意识量大的情况下判定为关注度高，也可执行步骤S13的处理。

另外，在上述的实施方式中，作为乘客的一例，列举出驾驶员为例进行了说明，但本发明并不限定于驾驶员，也可使用驾驶员以外的搭乘者的驾驶特性，执行自动驾驶控制。

[变形例1的说明]

接着，对前述的实施方式变形例进行说明。在上述的实施方式中，在判定为乘客对行驶状况的关注度比基准值高的情况下，从手动驾驶特性数据库5所存储的驾驶特性中，提取适合乘客的喜好的驾驶特性进行自动驾驶。

相对于此，在变形例中，本车辆的乘客注视着其它车辆作为对象物的情况下，判断为对该其它车辆的关注度比基准值高。进而，提取该其它车辆的驾驶特性，用该驾驶特性控制本车辆。即，在乘客的关注度比基准值高的情况下，检测乘客表现关注的对象物的驾驶特性，根据该目标物的驾驶特性，控制自动驾驶车辆。

具体而言，根据示于图1的由眼球状态检测部2所检测的周围注视参数，确定乘客正在注视的其它车辆，进而，检测该其它车辆的行驶速度、与其它车辆之间的车间距离等驾驶特性。而且，以使本车辆适合该其它车辆的驾驶特性的方式进行控制。其结果，存在乘客作为样本的其它车辆，在乘客注视该其它车辆的情况下，由于控制本车辆使其适合该其它车辆的驾驶特性，因此用适合驾驶员喜好的驾驶特性控制本车辆。此外，作为乘客正在注视的对象，不限于其它的汽车，也可以是摩托车、自行车、行人等移动物体，与上述同样，也可以对应于移动物体的移动特性控制本车辆。

[变形例2的说明]

接着，对实施方式的变形例2进行说明。在变形例2中，本车辆的乘客注视着周围的静止物作为对象物的情况下，对应于该静止物的特性，判断关注度，根据关注度控制本车辆。例如，乘客关注道路标识作为上述的静止物的情况，判断为关注度高。相反，乘客正在关注山或天空等景色作为上述的静止物的情况，判断为关注度低。作为检测乘客正在注视车外的哪个静止物的方法，可以使用标识及地理数据，确定视线和处于其延伸方向的静止物与其特性。另外，也可以对于沿视线延长的方向实施感知，确定静止物与其特性。

另外，在本实施方式中，在关注度比基准值高的情况中，基于手动驾驶时的驾驶特性执行自动控制，但在基于手动驾驶时的驾驶特性执行自动驾驶的过程中，也可以测量关注度，调整自动驾驶的驾驶特性。例如，在关注度比基准值高的情况下，在手动驾驶时的驾驶特性与对应于周围状况的驾驶特性之间，关注度越高，越可以偏向手动驾驶时的驾驶特性设定驾驶特性。例如，在关注度比基准值高的情况，乘客的视线的动作越激烈，也可以视为即使在关注度比标准值高的状况中关注度也较高。相反，关注度比标准值低的情况也同样。关注度比标准值低的情况在手动驾驶时的驾驶特性和对应于周围状况的驾驶特性之间，关注度越低，可以越偏向于手动驾驶时的驾驶特性设定驾驶特性。

以上，基于图示的实施方式，对本发明的自动驾驶车辆的控制方法进行了说明，但本发明并不限定于此，各部的构成可以置换为具有同样的功能的任意的构成。

符号说明

1 关注度检测部

2 眼球状态检测部

3 开关操作检测部

4 个性化适应驾驶特性判定部

5 手动驾驶特性数据库

6 本车辆状况检测部

7 手动驾驶特性学习部

8 自动驾驶特性设定部

9 周围状况检测部

11 驾驶特性切换部

12 关注度判定部

13 驾驶特性设定部

14 行驶状况检测部

16 会话判定部

17 车外摄像机

18 眼球

19 瞳孔

20 红外线摄像机

21 红外线照明

22 图像处理部

23 照明/摄像机控制器

25 透镜

26 可见光遮光滤光片

28 红外线图像传感器

29 数字滤波器

30 图像处理用CPU

31 参数提取部

32 车速传感器

33 加速度传感器

34 转向角度传感器

35 车辆间隔检测部

36 非车辆检测部

37 周围车辆种类检测部

38 车道检测部

39 道路种类检测部

40 交通信息检测部

42 麦克风

43 扬声器

44 信息提示部

45 分析部

Claims

1.一种自动驾驶车辆的控制方法，控制自动驾驶车辆，其特征在于，

检测乘客对所述自动驾驶车辆的行驶状况的关注度，

基于与所述关注度对应的驾驶特性，控制所述自动驾驶车辆。

2.如权利要求1所述的自动驾驶车辆的控制方法，其特征在于，

检测所述自动驾驶车辆的周围状况，

在所述关注度比基准值低的情况下，基于与所述周围状况对应的驾驶特性，控制所述自动驾驶车辆。

3.如权利要求1或2所述的自动驾驶车辆的控制方法，其特征在于，

学习所述乘客的手动驾驶时的驾驶特性，

在所述关注度比基准值高的情况下，基于所述手动驾驶时的驾驶特性，控制所述自动驾驶车辆。

4.如权利要求1～3中任一项所述的自动驾驶车辆的控制方法，其特征在于，

在所述关注度比基准值高的情况下，检测所述乘客表现关注的物体的特性，

基于所述物体的特性，控制自动驾驶车辆。

5.如权利要求1～4中任一项所述的自动驾驶车辆的控制方法，其特征在于，

检测所述乘客的眼球的动作，在周边注视度比第一阈值高的情况下，判定为所述关注度比基准值高。

6.如权利要求1～5中任一项所述的自动驾驶车辆的控制方法，其特征在于，

检测所述乘客的眼球的动作，在闭眼时间相对于眨眼间隔的比例比第二阈值低的情况下，判定为所述关注度比基准值高。

7.如权利要求1～6中任一项所述的自动驾驶车辆的控制方法，其特征在于，

检测所述乘客的眼球的动作，在睁眼时的睁眼度比第三阈值高的情况下，判定为所述关注度比基准值高。

8.如权利要求1～7中任一项所述的自动驾驶车辆的控制方法，其特征在于，

检测所述乘客的眼球的动作，在闭眼速度比第四阈值高的情况下，判定为所述关注度比基准值高。

9.如权利要求1～8中任一项所述的自动驾驶车辆的控制方法，其特征在于，

检测所述乘客的开关操作，

在与自动驾驶车辆的行驶相关联的开关的操作频度比第五阈值高的情况下，判定为所述关注度比基准值高。

10.如权利要求1～9中任一项所述的自动驾驶车辆的操作方法，其特征在于，

检测所述乘客的开关操作，

在与自动驾驶车辆的行驶无关联的开关的操作频度比第六阈值高的情况下，判定为所述关注度比基准值低。

11.如权利要求1～10中任一项所述的自动驾驶车辆的控制方法，其特征在于，

检测乘客的会话，基于会话内容判定所述关注度是否比基准值高。

12.如权利要求1～11中任一项所述的自动驾驶车辆的控制方法，其特征在于，

所述乘客是驾驶员。

13.一种自动驾驶车辆的控制装置，控制自动驾驶车辆，其中，

检测乘客对所述自动驾驶车辆的行驶状况的关注度，并基于与所述关注度对应的驾驶特性设定自动驾驶车辆的驾驶特性。