CN117152721A - 座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序 - Google Patents

Abstract

本发明提供座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序。座椅定位推测装置具有：遮蔽图像生成部(31)，在通过摄像部(2)在驾驶员乘坐车辆(10)的期间生成的表示车室内的驾驶员图像中对表示驾驶员的区域进行遮蔽来生成遮蔽图像；差分图像生成部(32)，通过驾驶员座椅(11)的定位相互不同的一个以上的基准图像的各个基准图像和遮蔽图像的差分，生成一个以上的差分图像；以及推测部(33)，通过将一个以上的差分图像的各个差分图像输入给识别器，针对每个差分图像求出驾驶员座椅的定位的个别推测值，将针对每个差分图像求出的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值。

Description

座椅定位推测装置、座椅定位推测方法以及座椅定位推测用 计算机程序

技术领域

本发明涉及从表示车室内部的图像推测车辆的驾驶员座椅的定位(position)的座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序。

背景技术

研究了根据通过利用摄像装置对车辆的驾驶员的脸进行摄像而得到的图像，判定驾驶员的状态是否为适合于车辆的驾驶的状态。为了判定驾驶员的状态，要求从图像高精度地检测驾驶员的脸。但是，根据驾驶员座椅的定位，图像上的驾驶员的脸的位置以及尺寸变化。因此，为了从图像高精度地检测驾驶员的脸，优选能够推测驾驶员座椅的定位。

另一方面，关于乘员保护系统，提出了求出车辆座椅的位置的方法(参照日本特表2004-516470号公报)。在日本特表2004-516470号公报公开的方法中，通过照相机探测车辆的客室中的图像区域，将通过照相机探测到的图像信息传送给评价单元。而且，在该方法中，从图像区域选择包含车辆座椅的固有的特征的预定的部分，从在预定的部分中探测的图像区域求出车辆座椅的固有的特征的位置。另外，作为预定的部分，探测包含与照相机对应起来的车辆座椅的侧面和/或与该侧面相接的两个平面包围的区域。

发明内容

在驾驶员乘坐车辆的期间，在从摄像装置观察时驾驶员座椅的大部分被驾驶员隐藏。因此，要求在图像上即使驾驶员座椅的大部分被驾驶员隐藏，也能够从图像推测驾驶员座椅的定位。

因此，本发明的目的在于提供能够从表示车辆的车室内的图像推测驾驶员座椅的定位的座椅定位推测装置。

根据一个实施方式，提供座椅定位推测装置。该座椅定位推测装置具有：存储部，存储表示车辆的驾驶员座椅成为预定的定位时的车辆的车室内的一个以上的基准图像，一个以上的基准图像的各个基准图像中的驾驶员座椅的定位相互不同；遮蔽图像生成部，在通过以拍摄车室内的方式设置的摄像部在驾驶员乘坐车辆的期间生成的驾驶员图像中确定表示驾驶员的区域，并对确定的区域进行遮蔽，从而生成遮蔽图像；差分图像生成部，通过遮蔽图像和一个以上的基准图像的各个基准图像的差分，生成一个以上的差分图像；以及推测部，通过将一个以上的差分图像的各个差分图像输入给以推测驾驶员座椅的定位的方式预先学习的识别器，关于一个以上的差分图像的各个差分图像求出驾驶员座椅的定位的个别推测值，将关于一个以上的差分图像的各个差分图像的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值。

在该座椅定位推测装置中，优选针对一个以上的每个基准图像，设定所述驾驶员座椅的定位的容许范围。而且，优选推测部将关于一个以上的差分图像的各个差分图像求出的驾驶员座椅的定位的个别推测值中的、包含于与该差分图像对应的基准图像的容许范围的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值。

另外，在该座椅定位推测装置中，优选差分图像生成部通过针对遮蔽图像应用边缘检测滤波器生成边缘遮蔽图像，通过边缘遮蔽图像和对一个以上的基准图像的各个基准图像应用边缘检测滤波器而得到的一个以上的边缘基准图像的各个边缘基准图像的差分，生成一个以上的差分图像。

进而，在该座椅定位推测装置中，优选一个以上的基准图像的各个基准图像还表示定位相互不同的车辆的转向装置。而且，优选推测部通过将一个以上的差分图像的各个差分图像输入给以推测转向装置的定位的方式预先学习的第2识别器，关于一个以上的差分图像的各个差分图像求出转向装置的定位的个别推测值，将关于一个以上的差分图像的各个差分图像的转向装置的定位的个别推测值的统计性代表值还计算为转向装置的定位的推测值。

根据其他方式，提供座椅定位推测方法。该座椅定位推测方法包括：在通过以拍摄车辆的车室内的方式设置的摄像部在驾驶员乘坐车辆的期间生成的驾驶员图像中确定表示驾驶员的区域，并对确定的区域进行遮蔽，从而生成遮蔽图像；通过遮蔽图像和表示车辆的驾驶员座椅成为预定的定位时的车室内的一个以上的基准图像的各个基准图像的差分，生成一个以上的差分图像，一个以上的基准图像的各个基准图像中的驾驶员座椅的定位相互不同；以及通过将一个以上的差分图像的各个差分图像输入给以推测驾驶员座椅的定位的方式预先学习的识别器，关于一个以上的差分图像的各个差分图像求出驾驶员座椅的定位的个别推测值，将关于一个以上的差分图像的各个差分图像的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值。

根据进一步其他方式，提供座椅定位推测用计算机程序。该座椅定位推测用计算机程序包括用于使搭载于车辆的处理器执行如下步骤的命令：在通过以拍摄车辆的车室内的方式设置的摄像部在驾驶员乘坐车辆的期间生成的驾驶员图像中确定表示驾驶员的区域，并对确定的区域进行遮蔽，从而生成遮蔽图像；通过遮蔽图像和表示车辆的驾驶员座椅成为预定的定位时的车室内的一个以上的基准图像的各个基准图像的差分，生成一个以上的差分图像，一个以上的基准图像的各个基准图像中的驾驶员座椅的定位相互不同；以及通过将一个以上的差分图像的各个差分图像输入给以推测驾驶员座椅的定位的方式预先学习的识别器，关于一个以上的差分图像的各个差分图像求出驾驶员座椅的定位的个别推测值，将关于一个以上的差分图像的各个差分图像的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值。

本公开所涉及的座椅定位推测装置起到能够从表示车辆的车室内的图像推测驾驶员座椅的定位这样的效果。

附图说明

图1是成为推测对象的驾驶员座椅的定位和转向装置的定位的说明图。

图2是包括座椅定位推测装置的、车辆控制系统的概略结构图。

图3是作为座椅定位推测装置的一个例子的ECU的硬件结构图。

图4是与座椅定位推测处理有关的、ECU的处理器的功能框图。

图5是说明遮蔽图像生成的概要的图。

图6是说明差分图像生成以及定位推测值计算的概要的图。

图7是说明针对每个基准图像设定的驾驶员座椅的定位的容许范围、通过第1识别器计算出的定位的推测值、以及最终地推测的驾驶员座椅的定位的关系的图。

图8是通过车辆的ECU的处理器执行的、座椅定位推测处理的动作流程图。

图9是通过车辆的ECU的处理器执行的、车辆控制处理的动作流程图。

具体实施方式

以下，参照附图，说明座椅定位推测装置、以及由座椅定位推测装置执行的座椅定位推测方法以及座椅定位推测用计算机程序。该座椅定位推测装置根据通过设置于车室内的驾驶员监视用的照相机生成的、表示驾驶员乘车中的车辆的车室内的图像，推测驾驶员座椅的定位和转向装置的定位。为此，该座椅定位推测装置通过表示驾驶员乘车中的车辆的车室内的图像和表示驾驶员未乘车时的车室内的背景图像的背景差分，确定在图像上表示驾驶员的区域。而且，该座椅定位推测装置生成对确定的区域进行遮蔽后的遮蔽图像。接下来，该座椅定位推测装置生成遮蔽图像和表示预定的座椅定位以及预定的转向装置定位下的车室内的至少一张基准图像的各个基准图像的差分图像。而且，该座椅定位推测装置通过将生成的各差分图像输入给座椅定位以及转向装置定位推测用的识别器，得到座椅定位以及转向装置定位的推测值。

以下，说明将座椅定位推测装置安装到监视驾驶员的状态而执行与驾驶员的状态对应的驾驶支援等的车辆控制系统的例子。

图1是成为推测对象的驾驶员座椅的定位和转向装置的定位的说明图。在本实施方式中，能够在用箭头101表示的方向上调整的驾驶员座椅11的靠背11a的倾角以及能够在用箭头102表示的方向上调整的驾驶员座椅11的座面11b的纵深方向的位置成为驾驶员座椅的定位的推测对象。另外，能够在用箭头103表示的方向上调整的转向装置12的上下方向的位置以及能够在用箭头104表示的方向上调整的转向装置12的纵深方向的位置成为转向装置的定位的推测对象。此外，不限于此，驾驶员座椅的座面11b的高度方向的位置也可以是驾驶员座椅的定位的推测对象。

图2是包括座椅定位推测装置的、车辆控制系统的概略结构图。在本实施方式中，搭载于车辆10并且控制车辆10的车辆控制系统1具有驾驶员监视照相机2、通知设备3、以及作为座椅定位推测装置的一个例子的电子控制装置(ECU)4。驾驶员监视照相机2以及通知设备3和ECU4经由依照控制器局域网这样的通信标准的车内网络能够相互通信地连接。此外，车辆控制系统1也可以具有拍摄车辆10的周边的区域来生成表示该周边的区域的图像的车外照相机(未图示)。或者，车辆控制系统1也可以具有LiDAR或者雷达这样的、测定从车辆10至存在于车辆10的周围的物体的距离的距离传感器(未图示)。进而，车辆控制系统1也可以具有GPS接收机这样的、用于根据来自卫星的信号对车辆10的位置进行测位的测位设备(未图示)。进而另外，车辆控制系统1也可以具有用于搜索直至目的地的行驶预定路线的导航装置(未图示)。进而另外，车辆控制系统1也可以具有存储在车辆10的自动驾驶控制中参照的地图信息的存储装置(未图示)。

驾驶员监视照相机2是摄像部的一个例子，具有由CCD或者C-MOS等对可见光或者红外光具有灵敏度的光电变换元件的阵列构成的二维检测器、和在该二维检测器上使成为拍摄对象的区域的图像成像的成像光学系统。驾驶员监视照相机2也可以还具有红外LED这样的用于对驾驶员照明的光源。而且，驾驶员监视照相机2以使坐在车辆10的驾驶员座椅的驾驶员的脸包含于该拍摄对象区域的方式、即以能够拍摄驾驶员的脸的方式设置于车室内。例如，驾驶员监视照相机2在仪表板或者其附近、或者在转向装置朝向驾驶员安装。而且，驾驶员监视照相机2按照预定的拍摄周期(例如1/30秒～1/10秒)对拍摄对象区域拍摄，生成映入拍摄对象区域的图像(以下称为驾驶员图像)。通过驾驶员监视照相机2得到的驾驶员图像是表示车辆10的车室内的室内图像的一个例子，既可以是彩色图像、或者也可以是灰度图像。驾驶员监视照相机2每当生成驾驶员图像时，将该生成的驾驶员图像经由车内网络输出给ECU4。

通知设备3是设置于车辆10的车室内，针对驾驶员通过光、声音、振动、文字显示或者图像显示进行预定的通知的设备。为此，通知设备3例如具有扬声器、光源、振动器或者显示装置的至少任意装置。而且，通知设备3在从ECU4接收到表示向驾驶员的警告的通知时，通过从扬声器输出声音、光源的发光或忽亮忽灭、振动器的振动、或者向显示装置显示警告消息，向驾驶员通知该警告。

ECU4依照应用于车辆10的驾驶控制等级对车辆10进行驾驶控制、或者支援由驾驶员驾驶车辆10。进而，ECU4根据从驾驶员监视照相机2接受的驾驶员图像，监视驾驶员，并且检测驾驶员产生的异常。而且，ECU4在判定为驾驶员产生了异常的情况下，警告驾驶员或者以使车辆10紧急停止的方式控制车辆10。进而，ECU4在预定的定时，根据驾驶员图像，推测驾驶员座椅的定位以及转向装置的定位。而且，ECU4通过使其推测结果反映到用于从驾驶员图像检测驾驶员的脸的检测条件，提高驾驶员的脸的检测精度以及驾驶员的状态的推测精度。

图3是ECU4的硬件结构图。如图3所示，ECU4具备通信接口21、存储器22、以及处理器23。通信接口21、存储器22以及处理器23既可以分别构成为个别的电路、或者也可以一体地构成为一个集成电路。

通信接口21具有用于将ECU4连接到车内网络的接口电路。而且，通信接口21每当从驾驶员监视照相机2接收到驾驶员图像时，将接收到的驾驶员图像送到处理器23。进而另外，通信接口21在从处理器23接收到表示向驾驶员的警告的通知这样的经由通知设备3通知给驾驶员的信息时，将该信息输出给通知设备3。

存储器22是存储部的一个例子，例如具有易失性的半导体存储器以及非易失性的半导体存储器。而且，存储器22存储在通过ECU4的处理器23执行的座椅定位推测处理中使用的各种算法以及各种数据。例如，存储器22存储在驾驶员座椅以及转向装置的定位的推测或者驾驶员的检测等中利用的各种数据以及参数。在这样的数据中，例如，包括表示驾驶员未乘坐车辆10时的车室内的背景图像、以及表示驾驶员座椅以及转向装置为预定的定位时的车室内的一个以上的基准图像。进而，存储器22存储表示定位的推测值和驾驶员的脸的检测条件的关系的检测条件表。进而另外，存储器22存储用于规定用于判定驾驶员是否产生了异常的判定条件(以下有时简称为异常判定条件)的参数。进而另外，存储器22临时地存储驾驶员图像以及在座椅定位推测处理的途中生成的各种数据以及作为定位推测处理的结果得到的定位的推测值。进而另外，存储器22存储用于对车辆10进行驾驶控制的各种参数以及各种数据。在这样的数据中，包括通过车外照相机生成的图像、通过距离传感器生成的测距信号、通过GPS接收机生成的表示车辆10的位置的测位信号、通过导航装置生成的行驶预定路线、以及地图信息。

处理器23具有一个或者多个CPU(Central Processing Unit，中央处理单元)及其外围电路。处理器23也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。而且，处理器23按照预定的周期，执行包括座椅定位推测处理的车辆的驾驶控制处理。

图4是与包括座椅定位推测处理的车辆的驾驶控制处理有关的、处理器23的功能框图。处理器23具有遮蔽图像生成部31、差分图像生成部32、推测部33、检测部34、姿势检测部35、异常判定部36、警告处理部37、以及车辆控制部38。处理器23具有的这些各部分例如是通过在处理器23上动作的计算机程序实现的功能模块。或者，处理器23具有的这些各部分也可以是设置于处理器23的专用的运算电路。此外，通过处理器23具有的这些各部分中的、遮蔽图像生成部31、差分图像生成部32以及推测部33执行的处理与座椅定位推测处理对应。而且，遮蔽图像生成部31、差分图像生成部32以及推测部33在预定的定时，针对ECU4从驾驶员监视照相机2接受的驾驶员图像执行座椅定位推测处理。进而，检测部34利用座椅定位推测处理的结果，按照预定的周期，从最新的驾驶员图像检测驾驶员的脸。而且，姿势检测部35、异常判定部36、警告处理部37以及车辆控制部38根据检测到的驾驶员的脸，判定驾驶员是否产生了异常，根据其判定结果控制车辆10或者执行针对驾驶员的警告。

遮蔽图像生成部31通过在预定的定时ECU4从驾驶员监视照相机2接收到的驾驶员图像和背景图像的背景差分，检测在驾驶员图像上表示驾驶员的区域(以下有时称为驾驶员区域)。而且，遮蔽图像生成部31通过在驾驶员图像上对驾驶员区域进行遮蔽来生成遮蔽图像。

预定的定时优选为驾驶员完成驾驶员座椅的定位以及转向装置的定位的设定的定时。其原因为，只要是驾驶员完成驾驶员座椅的定位以及转向装置的定位的设定后，则设想驾驶员座椅以及转向装置的定位不会被频繁地变更。因此，预定的定时例如能够设为从车辆10的点火开关成为开启起经过一定时间的定时。或者，预定的定时也可以是从车辆10的点火开关成为开启后车辆10的速度最初超过预定的速度阈值(例如10km/h)的定时。或者另外，预定的定时也可以是从上次执行座椅定位推测处理起经过了预定期间的定时。另外，在无法从驾驶员图像检测驾驶员的脸的情况下，存在检测条件不适当的可能性。因此，预定的定时也可以是最近的预定期间中的一连串的驾驶员图像中的、未检测到驾驶员的脸的驾驶员图像所占的比例成为预定比例以上的定时。

在遮蔽图像生成部31中，作为背景差分，在驾驶员图像与背景图像的对应像素之间计算亮度差的绝对值。而且，遮蔽图像生成部31将亮度差的绝对值成为预定的亮度差阈值以上的像素的集合确定为表示驾驶员的驾驶员区域。此外，在用RGB表色系这样的不包含直接的亮度分量的表色系表示驾驶员图像以及背景图像的情况下，遮蔽图像生成部31将驾驶员图像以及背景图像的表色系变换为HLS表色系。而且，遮蔽图像生成部31使用驾驶员图像以及背景图像的各像素的亮度分量，针对每个对应像素，计算亮度差的绝对值即可。另外，也可以将与车室内的明亮度对应的多个背景图像预先存储到存储器22。在该情况下，遮蔽图像生成部31从存储器22读出与最接近通过搭载于车辆10的光量传感器(未图示)测定的光量的测定值的明亮度关联起来的背景图像，用于背景差分即可。

遮蔽图像生成部31在驾驶员图像中用预定值改写包含于驾驶员区域的各像素的值，从而生成驾驶员区域被遮蔽的遮蔽图像。

图5是说明遮蔽图像生成的概要的图。在驾驶员图像500上表示驾驶员501。因此，通过驾驶员图像500与未表示驾驶员的背景图像510之间的背景差分，确定在驾驶员图像500上表示驾驶员501的驾驶员区域502。因此，通过将驾驶员图像500的驾驶员区域502内的各像素的值改写为预定值对驾驶员区域502进行遮蔽，生成遮蔽图像520。

此外，遮蔽图像生成部31也可以使用在预定的定时的前后时序地得到的多个驾驶员图像来检测驾驶员区域。例如，遮蔽图像生成部31通过在多个驾驶员图像的各个驾驶员图像与背景图像之间执行背景差分，检测每个驾驶员图像的个别的驾驶员区域。而且，遮蔽图像生成部31将成为每个驾驶员图像的个别的驾驶员区域的并集或者积集的区域重新作为驾驶员区域。遮蔽图像生成部31通过对在一连串的驾驶员图像的任意驾驶员图像中求出的驾驶员区域进行遮蔽来生成遮蔽图像即可。由此，遮蔽图像生成部31能够对在驾驶员图像中存在驾驶员的可能性高的区域更可靠地进行遮蔽。

遮蔽图像生成部31将生成的遮蔽图像送到差分图像生成部32。

差分图像生成部32生成遮蔽图像和一个以上的基准图像的各个基准图像的差分图像。在基准图像中，表示驾驶员座椅以及转向装置被设定为预定的定位时的车辆10的车室内。此外，在基准图像被准备多个的情况下，针对每个基准图像，表示相互不同的驾驶员座椅的定位以及转向装置的定位的组合。特别是，优选在多个基准图像中，包括以使驾驶员座椅以及转向装置的可动部中的仅任意一个成为不同的定位的方式设定的2个以上的基准图像。例如，优选准备固定驾驶员座椅的座面的位置以及转向装置的纵深方向的位置以及上下方向的位置，仅驾驶员座椅的靠背的倾斜不同的2个以上的基准图像。或者，优选准备固定驾驶员座椅的座面的位置以及靠背的倾斜和转向装置的上下方向的位置，仅转向装置的纵深方向的位置不同的2个以上的基准图像。由此，在各个差分图像中，关于特定的可动部，在遮蔽图像中示出的位置和在对应的基准图像中示出的位置的相异变得明确。

差分图像生成部32关于一个以上的基准图像的各个基准图像，计算该基准图像与遮蔽图像的对应像素之间的像素值的差的绝对值。而且，差分图像生成部32关于一个以上的基准图像的各个基准图像，以针对各个像素的每一个使对应像素之间的像素差的绝对值成为该像素的值的方式，生成差分图像。此外，在基准图像以及遮蔽图像是彩色图像的情况下，差分图像生成部32通过针对每个颜色分量执行上述处理生成差分图像即可。由此，在差分图像中，在基准图像中示出的驾驶员座椅以及转向装置的定位、和在遮蔽图像中示出的驾驶员座椅以及转向装置的定位的差被强调。

或者，差分图像生成部32也可以针对各基准图像以及遮蔽图像，应用预定的边缘检测滤波器来生成表示边缘的强度的图像。而且，差分图像生成部32也可以针对每个基准图像，在根据该基准图像生成的边缘基准图像与根据遮蔽图像生成的边缘遮蔽图像之间，计算对应像素之间的像素值的差的绝对值。在该情况下，差分图像生成部32也以针对各个像素的每一个使该对应像素之间的像素值的差的绝对值成为该像素的值的方式，生成差分图像。此外，在差分图像生成部32中，作为预定的边缘检测滤波器，例如，能够使用Sobel滤波器、Prewitt滤波器或者Laplacian滤波器。

差分图像生成部32将针对每个基准图像生成的差分图像送到推测部33。

推测部33将针对每个基准图像生成的各个差分图像输入给推测驾驶员座椅的定位的第1识别器以及推测转向装置的定位的第2识别器。由此，推测部33针对每个差分图像，求出驾驶员座椅的定位的个别推测值以及转向装置的定位的个别推测值。此外，在推测部33中，作为第1识别器以及第2识别器，例如，能够利用具备具有多个卷积层的卷积神经网络(CNN)型的架构的深度神经网络(DNN)。或者，在推测部33中，也可以作为第1识别器以及第2识别器，利用具有self attention network(SAN，自我注意网络)型的架构的DNN。这些识别器使用表示各种定位的驾驶员座椅或者转向装置的大量的教师图像，依照误差逆传播法这样的预定的学习手法预先学习。

此外，设想在驾驶员图像上存在表示转向装置的可能性的范围以及存在表示驾驶员座椅的可能性的范围。如上所述，在驾驶员监视照相机2设置于仪表板或者其附近的情况下，转向装置比驾驶员座椅位于更接近驾驶员监视照相机2的位置。因此，在驾驶员图像上表示转向装置的范围大于表示驾驶员座椅的范围。因此，推测部33向推测转向装置的定位的第2识别器输入差分图像整体。另一方面，推测部33也可以向推测驾驶员座椅的定位的第1识别器仅输入差分图像中的、存在表示驾驶员座椅的可能性的范围。

根据变形例，推测部33也可以向第1识别器以及第2识别器都输入差分图像整体。另外，一个识别器也可以以推测驾驶员座椅的定位和转向装置的定位这两方的方式预先学习。在该情况下，推测部33通过将差分图像输入给该一个识别器，能够求出驾驶员座椅的定位和转向装置的定位这两方的个别推测值。

推测部33将从各差分图像推测的驾驶员座椅的定位的个别推测值的统计性代表值、例如平均值或者中央值计算为驾驶员座椅的定位的推测值。同样地，推测部33将从各差分图像推测的转向装置的定位的个别推测值的统计性代表值计算为转向装置的定位的推测值。此外，在基准图像仅准备1张的情况下，关于通过该1张基准图像与遮蔽图像之间的差分得到的差分图像通过第1识别器计算出的驾驶员座椅的定位的个别推测值自身成为统计性代表值。即，该个别推测值自身成为驾驶员座椅的定位的推测值。同样地，关于通过该1张基准图像与遮蔽图像之间的差分得到的差分图像通过第2识别器计算出的转向装置的定位的个别推测值自身成为转向装置的定位的推测值。

此外，也可以针对每个基准图像，预先设定驾驶员座椅的定位的容许范围。推测部33选择从各差分图像推测出的驾驶员座椅的定位的个别推测值中的、包含于关于在该差分图像的生成中使用的基准图像设定的容许范围的定位的个别推测值。而且，推测部33也可以将选择的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值。同样地，也可以针对每个基准图像，预先设定转向装置的定位的容许范围。推测部33选择从各差分图像推测出的转向装置的定位的个别推测值中的、包含于关于在该差分图像的生成中使用的基准图像设定的容许范围的定位的个别推测值。而且，推测部33将选择的个别推测值的统计性代表值设为转向装置的定位的推测值即可。

图6是说明差分图像生成以及定位推测值计算的概要的图。在该例子中，预先准备驾驶员座椅的定位和转向装置的定位的组合相互不同的n个基准图像600-1～600-n(n为2以上的整数)。而且，针对基准图像600-1～600-n的各个基准图像，生成与遮蔽图像601的差分图像。即，根据基准图像600-i(i＝1，2，...，n)和遮蔽图像601生成差分图像602-i。生成的差分图像602-1～602-n被逐张输入给第1识别器610和第2识别器620。此外，如上所述，也可以对第1识别器610仅输入存在在差分图像602-i上表示驾驶员座椅的可能性的区域603，对第2识别器620输入差分图像602-i整体。作为其结果，针对差分图像602-1～602-n的每一个，计算驾驶员座椅的定位的个别推测值和转向装置的定位的个别推测值。

图7是说明针对每个基准图像设定的驾驶员座椅的定位的容许范围、通过第1识别器计算的定位的个别推测值、以及最终地推测的驾驶员座椅的定位的关系的图。在该例子中，设为在各基准图像0～11上表示驾驶员座椅的靠背的倾斜角度相互不同的驾驶员座椅。另外，关于通过第1识别器输出的驾驶员座椅的靠背的倾斜角度的推测值，在10度～40度的范围中以5度单位输出。而且，针对基准图像0～2，将倾斜角度的容许范围设定为10度～25度的范围。另外，针对基准图像3～5，将倾斜角度的容许范围设定为20度～35度的范围。进而，针对基准图像6～8，将倾斜角度的容许范围设定为25度～40度的范围。而且，针对基准图像9～11，将倾斜角度的容许范围设定为15度～30度的范围。

在图7中，各星标701表示从关于基准图像0～11的各个基准图像计算出的差分图像通过第1识别器计算出的驾驶员座椅的倾斜角度的个别推测值。在该例子中，关于基准图像5以及基准图像8，驾驶员座椅的倾斜角度的个别推测值脱离容许范围。因此，在最终的驾驶员座椅的靠背的倾斜角度的推测中，去除从与基准图像5以及基准图像8对应的差分图像计算出的个别推测值。而且，作为从与基准图像0～4、6～7、9～11对应的差分图像计算出的个别推测值的统计性代表值，计算最终的驾驶员座椅的靠背的倾斜角度的推测值。

推测部33将驾驶员座椅的定位的推测值以及转向装置的定位的推测值保存到存储器22。

图8是通过处理器23执行的、座椅定位推测处理的动作流程图。处理器23在上述预定的定时，依照以下的动作流程图执行座椅定位推测处理即可。

处理器23的遮蔽图像生成部31通过驾驶员图像和背景图像的背景差分从驾驶员图像检测驾驶员区域(步骤S101)。而且，遮蔽图像生成部31对驾驶员图像上的驾驶员区域进行遮蔽，即将驾驶员区域内的各像素的值改写为预定的值而生成遮蔽图像(步骤S102)。

处理器23的差分图像生成部32生成遮蔽图像和一个以上的基准图像的各个基准图像的差分图像(步骤S103)。

处理器23的推测部33将针对每个基准图像生成的各个差分图像输入给第1识别器以及第2识别器。由此，推测部33针对每个差分图像，计算驾驶员座椅的定位的个别推测值以及转向装置的定位的个别推测值(步骤S104)。而且，推测部33将从各差分图像推测出的驾驶员座椅的定位的个别推测值的统计性代表值计算为驾驶员座椅的定位的推测值(步骤S105)。同样地，推测部33将从各差分图像推测出的转向装置的定位的个别推测值的统计性代表值计算为转向装置的定位的推测值(步骤S106)。在步骤S106之后，处理器23结束座椅定位推测处理。

检测部34从ECU4从驾驶员监视照相机2接收到的驾驶员图像检测表示驾驶员的脸的区域(以下称为脸区域)。

检测部34例如通过将驾驶员图像输入到以从图像检测驾驶员的脸的方式预先学习的识别器，从该驾驶员图像检测脸区域的候补。在检测部34中，作为这样的识别器，例如，能够利用具有CNN型或者SAN型的架构的DNN。或者另外，在检测部34中，也可以作为这样的识别器，利用支持向量机或者AdaBoost识别器这样的、基于DNN以外的机器学习手法的识别器。这样的识别器使用表示驾驶员的脸的大量的教师图像，依照误差逆传播法这样的预定的学习手法预先学习。

检测部34判定通过识别器输出的脸区域的候补是否满足检测条件，在脸区域的候补满足检测条件的情况下，将该候补设为脸区域。检测条件被设定为设想在驾驶员图像上存在驾驶员的脸的推测区域以及驾驶员图像上的脸区域的尺寸的容许范围。即，检测部34在通过识别器输出的脸区域的候补包含于在检测条件中表示的推测区域、并且脸区域的尺寸是在检测条件中表示的尺寸的容许范围内的情况下，判定为脸区域的候补满足检测条件。根据驾驶员座椅的定位和转向装置的定位的组合，设定检测条件。在本实施方式中，将表示驾驶员座椅的定位和转向装置的定位的每个组合的检测条件的检测条件表预先存储到存储器22。具体而言，驾驶员座椅的座面越向前方移动、或者靠背的倾角越小，驾驶员的位置越接近驾驶员监视照相机2。而且，驾驶员的位置越接近驾驶员监视照相机2，在驾驶员图像上表示驾驶员的脸的区域越大。进而，驾驶员的位置越接近驾驶员监视照相机2，与驾驶员的活动相伴的、驾驶员图像上的驾驶员的活动量也越大。因此，驾驶员座椅的座面越向前方移动、或者靠背的倾角越小，在检测条件中表示的推测区域被设定得越大。另外，根据转向装置的定位，在驾驶员图像上表示转向装置的区域变化。因此，在检测条件中表示的推测区域被设定成不包括与转向装置的定位对应的、在驾驶员图像上表示转向装置的区域。检测部34参照检测条件表，确定与通过推测部33求出的、驾驶员座椅的定位的推测值和转向装置的定位的推测值的组合对应的检测条件。而且，检测部34将确定的检测条件用于检测脸区域。

检测部34将表示检测的脸区域的位置以及范围的信息(例如脸区域的左上端的坐标以及右下端的坐标)通知给姿势检测部35。

姿势检测部35根据从驾驶员图像检测的脸区域，检测驾驶员的姿势。在本实施方式中，在姿势检测部35中，作为表示驾驶员的姿势的信息，检测驾驶员的脸的位置以及驾驶员的脸的朝向。

姿势检测部35从驾驶员图像的脸区域检测眼梢、大眼角、鼻尖点、嘴角点等驾驶员的脸的多个特征点。此时，姿势检测部35通过将脸区域输入给以检测在图像上表示的脸的特征点的方式预先学习的识别器，检测脸的特征点。作为这样的识别器，姿势检测部35例如能够使用具有CNN型的架构的DNN、支持向量机或者AdaBoost识别器。此外，脸区域检测用的识别器和脸的特征点检测用的识别器也可以一体地构成。在该情况下，检测部34将驾驶员图像输入给识别器，从而检测脸区域和脸的各个特征点各自即可。或者，姿势检测部35也可以依照表示脸的特征点的模板和脸区域的模板匹配、或者检测脸的特征点的其他手法，从脸区域检测驾驶员的脸的各个特征点。

姿势检测部35使检测的脸的各个特征点与表示脸的三维形状的三维脸模型拟合。而且，姿势检测部35将各特征点与三维脸模型最拟合时的三维脸模型的脸的朝向检测为驾驶员的脸的朝向。此外，姿势检测部35也可以依照判定在图像中示出的脸的朝向的其他手法，根据驾驶员图像检测驾驶员的脸的朝向。

进而，姿势检测部35将驾驶员图像中的脸区域的重心位置检测为驾驶员的脸的位置。

此外，姿势检测部35也可以根据驾驶员的视线方向检测驾驶员的姿势。在该情况下，姿势检测部35从脸区域检测表示驾驶员的眼睛的眼睛区域。此时，姿势检测部35通过与上述检测脸的特征点的手法同样的手法，关于左右各个眼睛检测眼睛区域即可。进而，姿势检测部35通过针对左右任意的眼睛区域的模板匹配，检测瞳孔质心以及驾驶员监视照相机2的光源的角膜反射图像(浦肯野图像)。而且，姿势检测部35根据瞳孔质心和浦肯野图像的位置关系，检测驾驶员的视线方向即可。此外，姿势检测部35在驾驶员的左右任意一个眼睛区域都无法检测的情况下，判定为视线方向的检测失败。

姿势检测部35将针对驾驶员图像的驾驶员的姿势的检测结果、即驾驶员的脸的位置以及脸的朝向的检测结果通知给异常判定部36。进而，在进行了驾驶员的视线方向的检测的情况下，姿势检测部35将视线方向的检测结果通知给异常判定部36。

异常判定部36在通过姿势检测部35检测出的驾驶员的姿势满足异常判定条件的情况下，判定为驾驶员产生了异常。如上所述，在本实施方式中，通过驾驶员的脸的位置以及驾驶员的脸的朝向，表示驾驶员的姿势。另外，异常判定条件是驾驶员的脸的位置或者脸的朝向脱离正常范围的状态持续时间阈值以上。因此，异常判定部36每当从姿势检测部35被通知驾驶员的脸的位置以及脸的朝向时，判定该脸的位置以及脸的朝向是否包含于预先设定的正常范围。而且，异常判定部36在驾驶员的脸的位置或者脸的朝向脱离正常范围的状态持续的期间的长度成为时间阈值以上时，判定为驾驶员产生了异常。另外，在检测驾驶员的视线方向的情况下，异常判定部36每当从姿势检测部35被通知驾驶员的视线方向时，判定该视线方向是否包含于预先设定的正常范围。而且，异常判定部36也可以在驾驶员的视线方向脱离正常范围的状态持续的期间的长度成为时间阈值以上时，判定为驾驶员产生了异常。

异常判定部36将驾驶员是否产生了异常的判定结果通知给警告处理部37以及车辆控制部38。

警告处理部37在从异常判定部36接收到驾驶员产生了异常这样的判定结果时，实施预定的警告处理。例如，警告处理部37使通知设备3具有的扬声器发出请求驾驶员采取驾驶姿势的声音信号或者警告音。或者，警告处理部37使通知设备3具有的显示器显示请求驾驶员采取驾驶姿势的警告消息。或者另外，警告处理部37使通知设备3具有的振动器振动。

警告处理部37在经由通知设备3向驾驶员实施请求采取驾驶姿势的警告处理之后，从异常判定部36接收到驾驶员未产生异常这样的判定结果时，停止警告处理的执行。

车辆控制部38依照应用于车辆10的驾驶控制等级控制车辆10直至从异常判定部36接收到驾驶员产生了异常这样的判定结果。在应用于车辆10的驾驶控制等级是驾驶员不参与车辆10的驾驶的驾驶控制等级的情况下，车辆控制部38以使车辆10沿着行驶中的本车道行驶的方式控制车辆10。为此，车辆控制部38从通过车外照相机生成的图像检测将本车道和邻接车道划区的车道划区线以及在车辆10的周围行驶的其他车辆这样的移动物体。而且，车辆控制部38通过对照检测的车道划区线和地图信息，推测车辆10的位置以及姿势。而且，车辆控制部38根据车辆10的位置以及姿势的推测结果和车辆10的周围的各个移动物体的检测结果，以使车辆10与各个移动物体不碰撞并且沿着本车道行驶的方式控制车辆10。

另外，在从异常判定部36持续一定期间接收到驾驶员产生了异常这样的判定结果时，车辆控制部38以使车辆10紧急停车的方式控制车辆10。此外，车辆控制部38也可以以在从异常判定部36接收到驾驶员产生了异常这样的判定结果时使车辆10立即紧急停车的方式控制车辆10。此时，车辆控制部38也可以根据车辆10的位置以及姿势的推测结果、车辆10的周围的各个移动物体的检测结果、以及地图信息，使车辆10移动到路肩后停车。

图9是通过处理器23执行的车辆控制处理的动作流程图。处理器23按照预定的周期，按照以下的动作流程图执行车辆控制处理即可。

处理器23的检测部34从最新的驾驶员图像检测脸区域的候补(步骤S201)。另外，检测部34根据驾驶员座椅的定位的推测值以及转向装置的定位的推测值的组合，设定检测条件(步骤S202)。而且，检测部34判定检测的脸区域的候补是否满足检测条件(步骤S203)。

在脸区域的候补不满足检测条件的情况下(步骤S203-“否”)，检测部34判定为驾驶员的脸的检测失败。而且，处理器23结束车辆控制处理。另一方面，在脸区域的候补满足检测条件的情况下(步骤S203-“是”)，检测部34判定为驾驶员的脸的检测成功。而且，处理器23的姿势检测部35根据从驾驶员图像检测的脸区域，检测驾驶员的脸的位置以及驾驶员的脸的朝向(步骤S204)。此外，如上所述，姿势检测部35也可以从脸区域检测驾驶员的视线方向。

处理器23的异常判定部36根据驾驶员的脸的位置以及驾驶员的脸的朝向，判定驾驶员是否产生了异常(步骤S205)。此时，异常判定部36根据最近的预定时间中的时序的一连串的驾驶员图像中的驾驶员的脸的朝向以及脸的位置或者视线方向，判定驾驶员是否产生了异常即可。在异常判定部36判定为驾驶员产生了异常的情况下(步骤S205-“是”)，处理器23的警告处理部37经由通知设备3对驾驶员通知请求采取驾驶姿势的警告(步骤S206)。进而，处理器23的车辆控制部38以使车辆10紧急停车的方式控制车辆10(步骤S207)。

另一方面，在步骤S205中，异常判定部36判定为驾驶员未产生异常的情况下(步骤S205-“否”)，车辆控制部38依照应用于车辆10的驾驶控制等级，控制车辆10(步骤S208)。

在步骤S207或者步骤S208之后，处理器23结束车辆控制处理。

如以上说明，该座椅定位推测装置从表示驾驶员乘车中的车辆的车室内的图像生成对表示驾驶员的区域进行遮蔽后的遮蔽图像。进而，该座椅定位推测装置生成遮蔽图像、和表示驾驶员座椅的预定的定位以及转向装置的预定的定位下的车室内的至少一张基准图像的各个基准图像的差分图像。而且，该座椅定位推测装置将生成的各差分图像输入给识别器，从而得到驾驶员座椅的定位以及转向装置定位的推测值。由此，该座椅定位推测装置能够从表示车辆的车室内的图像推测驾驶员座椅的定位。

根据变形例，遮蔽图像生成部31也可以通过背景差分以外的方法确定驾驶员区域。例如，遮蔽图像生成部31通过针对时序地得到的一连串的驾驶员图像的各个驾驶员图像执行与检测部34的处理同样的处理，检测表示驾驶员的候补区域。进而，遮蔽图像生成部31求出成为从一连串的驾驶员图像的各个驾驶员图像检测出的候补区域的积集的区域。成为该积集的区域被判断为在各驾驶员图像中表示驾驶员，所以实际上表示驾驶员的可能性高。因此，遮蔽图像生成部31也可以将成为该积集的区域确定为驾驶员区域。

另外，根据车辆，有时在使得转向装置的定位不影响从驾驶员图像检测脸区域的精度的位置安装驾驶员监视照相机2。在这样的情况下，座椅定位推测装置也可以不推测转向装置的定位，而仅推测驾驶员座椅的定位。在该情况下，各基准图像与转向装置的定位无关地表示相互不同的定位的驾驶员座椅即可。另外，在推测部33中，与通过第2识别器识别转向装置的定位的个别推测值的计算以及基于各个别推测值的转向装置的定位的推测值的计算有关的处理被省略。根据该变形例，与转向装置的定位的推测有关的处理被省略，所以处理器23的运算负荷被减轻。

另外，上述实施方式或者变形例所涉及的、实现ECU4的处理器23的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的、计算机可读取的可搬性记录介质的形式提供。

如以上所述，本领域技术人员能够在本发明的范围内与实施的方式符合地进行各种变更。

Claims (6)

1.一种座椅定位推测装置，具有：

存储部，存储表示车辆的驾驶员座椅成为预定的定位时的所述车辆的车室内的一个以上的基准图像，所述一个以上的基准图像的各个基准图像中的所述驾驶员座椅的定位相互不同；

遮蔽图像生成部，在通过以拍摄所述车室内的方式设置的摄像部在驾驶员乘坐所述车辆的期间生成的驾驶员图像中确定表示所述驾驶员的区域，并对确定的区域进行遮蔽，从而生成遮蔽图像；

差分图像生成部，通过所述遮蔽图像和所述一个以上的基准图像的各个基准图像的差分，生成一个以上的差分图像；以及

推测部，通过将所述一个以上的差分图像的各个差分图像输入给以推测所述驾驶员座椅的定位的方式预先学习的识别器，关于所述一个以上的差分图像的各个差分图像求出所述驾驶员座椅的定位的个别推测值，将关于所述一个以上的差分图像的各个差分图像的所述个别推测值的统计性代表值计算为所述驾驶员座椅的定位的推测值。

2.根据权利要求1所述的座椅定位推测装置，其中，

针对所述一个以上的基准图像的每个基准图像，设定所述驾驶员座椅的定位的容许范围，

所述推测部将关于所述一个以上的差分图像的各个差分图像求出的所述驾驶员座椅的定位的个别推测值中的、包含于与该差分图像对应的所述基准图像的所述容许范围的个别推测值的统计性代表值计算为所述驾驶员座椅的定位的推测值。

3.根据权利要求1所述的座椅定位推测装置，其中，

所述差分图像生成部通过针对所述遮蔽图像应用边缘检测滤波器生成边缘遮蔽图像，通过所述边缘遮蔽图像和对所述一个以上的基准图像的各个基准图像应用所述边缘检测滤波器而得到的一个以上的边缘基准图像的各个边缘基准图像的差分，生成所述一个以上的差分图像。

4.根据权利要求1～3中的任意一项所述的座椅定位推测装置，其中，

所述一个以上的基准图像的各个基准图像还表示定位相互不同的所述车辆的转向装置，

所述推测部通过将所述一个以上的差分图像的各个差分图像输入给以推测所述转向装置的定位的方式预先学习的第2识别器，关于所述一个以上的差分图像的各个差分图像求出所述转向装置的定位的个别推测值，将关于所述一个以上的差分图像的各个差分图像的所述转向装置的定位的个别推测值的统计性代表值还计算为所述转向装置的定位的推测值。

5.一种座椅定位推测方法，包括：

在通过以拍摄车辆的车室内的方式设置的摄像部在驾驶员乘坐所述车辆的期间生成的驾驶员图像中确定表示所述驾驶员的区域，并对确定的区域进行遮蔽，从而生成遮蔽图像；

通过所述遮蔽图像和表示所述车辆的驾驶员座椅成为预定的定位时的所述车室内的一个以上的基准图像的各个基准图像的差分，生成一个以上的差分图像，所述一个以上的基准图像的各个基准图像中的所述驾驶员座椅的定位相互不同；以及

通过将所述一个以上的差分图像的各个差分图像输入给以推测所述驾驶员座椅的定位的方式预先学习的识别器，关于所述一个以上的差分图像的各个差分图像求出所述驾驶员座椅的定位的个别推测值，将关于所述一个以上的差分图像的各个差分图像的所述个别推测值的统计性代表值计算为所述驾驶员座椅的定位的推测值。

6.一种座椅定位推测用计算机程序，用于使搭载于车辆的处理器执行：

在通过以拍摄所述车辆的车室内的方式设置的摄像部在驾驶员乘坐所述车辆的期间生成的驾驶员图像中确定表示所述驾驶员的区域，并对确定的区域进行遮蔽，从而生成遮蔽图像；

通过所述遮蔽图像和表示所述车辆的驾驶员座椅成为预定的定位时的所述车室内的一个以上的基准图像的各个基准图像的差分，生成一个以上的差分图像，所述一个以上的基准图像的各个基准图像中的所述驾驶员座椅的定位相互不同；以及

通过将所述一个以上的差分图像的各个差分图像输入给以推测所述驾驶员座椅的定位的方式预先学习的识别器，关于所述一个以上的差分图像的各个差分图像求出所述驾驶员座椅的定位的个别推测值，将关于所述一个以上的差分图像的各个差分图像的所述个别推测值的统计性代表值计算为所述驾驶员座椅的定位的推测值。