CN114666499A - 图像处理设备、图像处理方法和可移动体 - Google Patents

Abstract

本公开提供了一种图像处理设备、图像处理方法和可移动体，其基于由车载相机捕获的驾驶员的图像来获取指示驾驶员认知周围环境的能力的意识水平。通过车载相机100以低分辨率捕获宽眼椭圆的图像，并且针对每一帧来校正通过图像分析识别的眼球位置。对于眼球位置，同时进行局部高速处理，从而实现对眼球运动的跳视动作的跟踪。换句话说，通过在由车载相机100捕获的图像的捕获框102的有限部分中实现主动局部高速眼球跟踪，在不造成附着负荷的情况下实现了对眼球运动的跳视动作的监视。

Description

图像处理设备、图像处理方法和可移动体

本申请是申请日为2017年1月31日、申请号为201780027367.4、发明名称为“图像处理设备、图像处理方法和可移动体”的发明专利申请的分案申请。

技术领域

本说明书中公开的技术主要涉及处理由车载相机拾取的图像的图像处理设备、图像处理方法和可移动体，并且具体地涉及处理由车载相机拾取的驾驶员的图像的图像处理设备、图像处理方法和可移动体。

背景技术

已知使用车载相机掌握驾驶员的状态的系统。例如，已经讨论了利用相机捕获诸如头部姿态和眨眼之类的驾驶员的状态、识别驾驶员的状态以尽早检测到打瞌睡或疲劳并促使驾驶员休息一下等以防止不合理驾驶的系统，并且已经制造了一些这样的系统(例如，参见专利文献1和2)。

此外，已经检查了安全预防装置等，其以时间序列的方式连续分析驾驶员对油门踏板、制动踏板和转向装置的操作的转变以观察运动稳定性的变化，并且估计和确定驾驶员的驾驶关注程度。

在将来，假设如果先进驾驶辅助系统(ADAS)将变得进一步普及，则车辆能够在没有驾驶员干预的情况下维持其行驶的比率在某些条件在行驶期间得到满足的附带条件下增加，自主行驶的车辆的比率将逐渐增加，并且在车辆行驶期间根本不需要驾驶员操作转向装置。此外，如果将引入驾驶员干预变得不必要的行驶专用车道或车道区段作为社会基础设施，则在所述区段中行驶的车辆的驾驶员有意识地与用于前方关注驾驶的转向回路分离，行驶车辆的周围识别的顺序被延迟，并且没有识别的行驶时间增加。也就是说，如果将引入部分自动驾驶或全自动驾驶，则不需要驾驶员始终以高关注度将他们的视线转向前方。因此，驾驶员在其驾驶操作中暂时或在长时间段内摆脱关注紧张状态。

当频繁发生如上所述的事件时，假设操作车辆的驾驶员可以与驾驶关注回路分离。例如，尽管操作车辆，但是驾驶员可以考虑与前方或周围识别完全无关的事情，在极端情况下入睡，以与针对前方识别的态度完全不同的态度与同伴乘客进行对话，或者操作智能手机。为了在驾驶员暂时与驾驶关注回路分离时由于发生意外事件(诸如前方事故)而紧急返回转向回路，驾驶员必须立即恢复意识并掌握周围情况。

简而言之，当引入部分自动驾驶或全自动驾驶时，驾驶员在驾驶操作中暂时或在长时间内摆脱关注紧张状态。然而，即使在不允许驾驶员依赖自动驾驶的驾驶时间，驾驶员也很可能由于其习惯而采取导致注意力降低的动作。

存在如下担心，即以实现全自动驾驶为目标当部分自动驾驶变得普遍时，频繁地发生与需要高关注状态的驾驶回路分离的驾驶动作。由于现有法律在制度上不允许将驾驶员与车辆控制分离，因此在从自动驾驶恢复时的驾驶操作尚未成为问题。然而，由于在制度修改之后驾驶员不参与驾驶的驾驶动作变得普遍，因此假设在恢复到驾驶动作时的降低的注意力被视为问题。

除非确立允许车辆在出发之后进行全自动驾驶直到在目的地处完全停止的技术，否则驾驶员从自动驾驶转换到手动驾驶的可能性保持直到驾驶结束。当转换到手动驾驶时，需要驾驶员认知或理解周围环境并接管车辆的驾驶和转向。如果在驾驶员睡眼惺忪或在梦中等时在驾驶员对周围环境或驾驶情况的认知或理解被降低的状态下将驾驶从自动驾驶转换到手动驾驶，则驾驶员转换到造成引发严重事故的风险的不完全转向。

因此，当驾驶员作为自动驾驶的紧急响应而恢复到手动驾驶时，需要在进行自动驾驶控制的驾驶辅助系统侧确认驾驶员认知或掌握周围环境的精神意识水平的恢复状态。

基本上假设利用车载相机掌握驾驶员状态的现有系统观察处于其固定姿态的驾驶员。当驾驶员专注于驾驶时，驾驶员处于固定姿态，但是当驾驶员摆脱关注紧张状态时，驾驶员处于驾驶员的姿态或头部会广泛地移动的自由式。因此，认为现有系统不适合于观察摆脱关注紧张状态的驾驶员，并且现有系统几乎不以高精度确定驾驶员的手动驾驶能力。

引用列表

专利文献

专利文献1：日本专利特开2010-262478号公报

专利文献2：日本专利特开2015-127937号公报

专利文献3：日本专利特开2015-226766号公报

发明内容

技术问题

本说明书中公开的技术的目的是提供一种优异的图像处理设备、图像处理方法和可移动体，其能够优选地处理由车载相机拾取的驾驶员的图像。

问题的解决方案

考虑到上述问题而实现了本说明书中公开的技术。本技术的第一方面提供了一种图像处理设备，包括：

第一图像获取单元，其以第一帧速率获取车辆的驾驶员的图像；

区域确定单元，其确定该图像中的包括驾驶员的眼睛的区域；以及

第二图像获取单元，其以高于第一帧速率的第二帧速率获取该区域的图像。

在本说明书中公开的技术的第二方面，根据第一方面的图像处理设备还包括处理单元，其处理以第二帧速率获取的所述区域的图像，以识别或辨别驾驶员的意识水平。

在本说明书中公开的技术的第三方面，根据第二方面的图像处理设备还包括控制单元，其根据由处理单元识别或辨别的驾驶员的意识水平来控制车辆的驾驶模式的切换。

在本说明书中公开的技术的第四方面，配置根据第三方面的图像处理设备，使得当驾驶员的意识水平为规定水平或更低时，控制单元限制或禁止车辆从自动驾驶切换为手动驾驶。

在本说明书中公开的技术的第五方面，根据第二方面的图像处理设备还包括警报单元，其当驾驶员的意识水平为规定水平或更低时发出警报。

在本说明书中公开的技术的第六方面，配置根据第一方面的图像处理设备，使得区域确定单元根据驾驶员的头部或上身的旋转或移动来校正区域的位置。

在本说明书中公开的技术的第七方面，配置根据第二方面的图像处理设备，使得处理单元根据基于区域中的图像对驾驶员的眼睛运动的跟踪结果来识别或辨别驾驶员的意识水平。

在本说明书中公开的技术的第八方面，配置根据第二方面的图像处理设备，使得处理单元跟踪驾驶员的眼睛的跳视、漂移、微跳视和震颤中的至少一个动作。

在本说明书中公开的技术的第九方面，配置根据第七方面的图像处理设备，使得处理单元基于驾驶员的眼睛运动与显著图之间的比较结果来识别或辨别驾驶员的意识水平。

在本说明书中公开的技术的第十方面，根据第九方面的图像处理设备还包括显著图生成单元，其根据驾驶员的状态或车辆的行驶状况来生成显著图。另外，配置图像处理设备，使得处理单元使用由显著图生成单元生成的显著图来识别或辨别驾驶员的意识水平。

在本说明书中公开的技术的第十一方面，配置根据第十方面的图像处理设备，使得显著图生成单元基于在车辆周围检测到的障碍物的信息来生成显著图。

在本说明书中公开的技术的第十二方面，根据第十一方面的图像处理设备还包括显示单元，其在平视显示器上模拟显示虚拟障碍物。配置图像处理设备，使得显著图生成单元通过进一步添加由显示单元显示的虚拟障碍物的信息来生成显著图。

在本说明书中公开的技术的第十三方面，根据第七方面的图像处理设备还包括学习单元，其学习驾驶员的眼睛运动的个人特性。

在本说明书中公开的技术的第十四方面，配置根据第七方面的图像处理设备，使得处理单元通过应用个人特性来识别或辨别驾驶员的意识水平。

在本说明书中公开的技术的第十五方面，配置根据第七方面的图像处理设备，使得处理单元确定驾驶员的主视眼，并且基于区域中包括的至少主视眼的图像来识别或辨别驾驶员的意识水平。

此外，本说明书中公开的技术的第十六方面提供了一种图像处理方法，包括：

以第一帧速率获取车辆的驾驶员的图像的第一图像获取步骤；

确定该图像中的包括驾驶员的眼睛的区域的区域确定步骤；以及

以高于第一帧速率的第二帧速率获取该区域的图像的第二图像获取步骤。

此外，本说明书中公开的技术的第十七方面提供了一种可移动体，包括：

图像拾取单元，其拾取驾驶员的图像；

第一图像获取单元，其以第一帧速率获取驾驶员的拾取图像；

区域确定单元，其确定图像中的包括驾驶员的眼睛的区域；

第二图像获取单元，其以高于第一帧速率的第二帧速率获取该区域的图像；

处理单元，其处理以第二帧速率获取的该区域的图像，以识别或辨别驾驶员的意识水平；以及

控制单元，其根据由处理单元识别或辨别的驾驶员的意识水平来控制驾驶模式的切换。

在本说明书中公开的技术的第十八方面，通过将包括第一半导体基板、第二半导体基板和第三半导体基板的三个半导体基板层叠在一起来构成图像拾取单元。

第一半导体基板具有像素，第二半导体基板具有存储图像的存储单元，并且第三半导体基板具有第一图像获取单元、第二图像获取单元、区域确定单元、处理单元和控制单元中的至少一个。

发明的有利效果

根据本说明书中公开的技术，可以提供一种优异的图像处理设备、图像处理方法和可移动体，其能够优选地处理由车载相机拾取的驾驶员的图像。

注意，本说明书中描述的效果仅是为了说明而给出，并且本发明的效果不限于这些效果。此外，本发明可以产生除上述效果之外的其他效果。

利用基于以下实施例和附图的更详细的描述，本说明书中公开的技术的其他目的、特性和优点将变得显而易见。

附图说明

图1是用于描述本说明书中公开的技术所应用于的车载相机100的图像拾取操作的示图。

图2是示出捕获框的部分选择性地高速读取图像的配置示例的示图。

图3是示出实现高速读取的IC之间的接口布线图的示例的示图。

图4是示出其中像素区域和信号处理电路区域被层叠在一起的层叠图像传感器的配置示例的示图。

图5是示出其中像素区域、存储器区域和信号处理电路区域被层叠在一起的层叠图像传感器的配置示例的示图。

图6是示出用于基于由车载相机拾取的图像来获取驾驶员识别目标的意识水平的处理过程的流程图。

图7是示意性地示出图像处理设备700的功能配置的示图，该图像处理设备700基于由车载相机拾取的图像来获取驾驶员识别目标的意识水平。

图8A是示出用于跟踪驾驶员的眼睛和识别驾驶员的意识水平的处理过程(前半部分)的流程图。

图8B是示出用于跟踪驾驶员的眼睛和识别驾驶员的意识水平的处理过程(后半部分)的流程图。

图9是示出用于以高帧速率跟踪眼睛跳视的处理过程的流程图。

图10A是概述与驾驶员的行为同时执行的各个处理(前半部分)的示图。

图10B是概述与驾驶员的行为同时执行的各个处理(后半部分)的示图。

图11是用于描述当车辆稳定地向前行驶时驾驶员为了在视觉上识别行驶道路周围的行人而采取的动作的示图。

图12是示意性地示出人的视野的配置的示图。

图13是示出当观察者在静止状态下看到目标时所识别的中心视野和周围视野的视觉信息的示例的示图。

图14是用于描述人看到不存在于中心视野中的物体的序列的示图。

图15是示出在车辆的稳定行驶期间驾驶员的视线(眼睛)和头部的动作的示例的示图。

图16是示出在车辆的稳定行驶期间驾驶员看到不存在于中心视野中的物体的序列的示例的示图。

具体实施方式

在下文中，将参考附图详细描述本说明书中公开的技术的实施例。

可能存在如下情况：当车辆处于诸如部分自动驾驶或全自动驾驶之类的驾驶模式时，作为紧急响应车辆应当恢复到由驾驶员干预的手动驾驶。在这种情况下，负责车辆的自动驾驶控制的控制系统应当在确认驾驶员认知和掌握环境的精神意识水平的恢复状态之后使车辆恢复到手动驾驶。因此，用于确认驾驶员的精神意识水平的方法是重要的。

例如，像裁判在拳击比赛中向被击倒的比赛者呼叫的情况一样，理想的是抓住驾驶员的手并确认驾驶员的挤压后反应或观察驾驶员的视线或响应的稳定性，因为可以精确地确定驾驶员意识的恢复状态。然而，根据本申请提交时的技术标准，难以实现这种交互式确认方法。

根据一种用于监视驾驶员响应于对驾驶员的主动输入的响应和确定意识状态的方法，可以像拳击裁判一样模拟地确认驾驶员的意识状态。

然而，根据本说明书提交时的技术标准，难以开发以非接触方式在行驶期间测量车辆中的驾驶员的脑电波的廉价的设备。此外，为了获得通过脑电图(EEG)检查的脑电波或通过磁共振成像(MRI)检查的脑磁图(MEG)等，需要大型设备。这样的大型设备可以用于医疗和学术目的，但普通人不能在日常生活中使用该设备。简而言之，用于测量脑波以即时确认驾驶员的确定能力的方法是不实际的。

鉴于此，本说明书将公开一种技术，通过该技术，驾驶员的视线的有意识地掌握周围环境的动作被监视，以相对容易且有效地确定驾驶员的意志辨别能力以及瞬间且直接读取驾驶员认知和掌握周围环境的精神意识水平的恢复状态。

首先，将考虑人的眼睛的运动的特性。

当产生去看在周围视野中模糊的目标的有意识欲望时，作为人的用于识别和确定目标的正常动作，人依次移动其眼睛、头部和姿势并在必要时使目标被放置在中心视野中。具体而言，眼睛首先单独旋转并且围绕中心视野捕获目标，以使得仅利用眼睛旋转在中心视野中看到目标。当目标存在于仅利用眼睛旋转不能覆盖的范围内的方向上时，人在头部或姿势的移动之前用眼睛旋转跟随目标，然后旋转头部和姿势。

此时，由于人的(解剖学)特性(其中眼睛的旋转惯性力实际上小于身体和头部的旋转惯性力)，眼睛可以在关注方向上瞬间定向，然后头部等旋转。因此，作为眼睛为了看物体的移动，眼睛一度在关注方向上瞬间旋转并相对于头部反向旋转以抵消头部的随后旋转。

同时，即使当视线似乎停留在相同位置时，眼睛已经前进以执行称为跳视或微跳视的眼睛运动以快速且一点一点地旋转。

跳视和微跳视是当人处于觉醒状态时特别进行的快速且冲动的眼睛运动。具体而言，眼睛运动是由笨拙且不连续的旋转加速和摆动运动组成的快速且精细的眼睛运动，其中眼睛在被定向在一个方向上之后停止。作为执行这种类型的眼睛运动的一个原因，当在静止状态下在某个方向上看到目标以防止图像流动而不是始终连续旋转眼睛时，人用相同的视杆细胞或视锥细胞在一定时间内获取相同的投影图像并识别视觉事件变得更容易。此外，作为另一个原因，当眼睛连续暴露于一定水平或更高的相同亮度时，视觉光接收灵敏度降低，这继而使得不可能获得目标。在识别目标之后或在取消头部旋转之后，围绕视线方向重复执行微跳视。

另外，当眼睛在间断眼睛运动期间暂时停止时投射在眼底上的现实世界空间中的图像和人在大脑中认知的图像不一定被认知为绝对位置。即使相对于通过眼睛的跳视看到的目标存在方向偏差，由视网膜捕获的投影光学图像当被从眼睛传输到大脑时也被带到主要视觉区域、视觉关联区域和高阶关联区域。通过参考最后的高阶关联区域、人类记忆等，人智能地认知目标。

在认知操作中不时地校正投射在视网膜上的现实世界空间的绝对坐标和在大脑中认知的认知坐标。认知校正是在人的意识中发生的事件，因此无法被直接观察到。该假设的有效性如下得到支持。例如，当头部以视线为轴旋转时，眼睛无意识地执行抵消该旋转的间断旋转运动。然而，上斜肌或下斜肌可以连续旋转的眼睛的旋转量小。此外，如果眼睛的旋转量超过其可跟随的旋转量，则眼睛在高速跳视中恢复到初始非旋转状态并且再次反复抵消头部的旋转以释放驱动眼睛的旋转的上斜肌或下斜肌的压力。然而，在这种情况下，人不会感觉到所认知的世界空间的外部世界被旋转的意识。也就是说，即使眼睛以当从眼睛的坐标看时投射在视网膜上的现实世界空间的图像为不连续的方式旋转，在感知和意识中也不会意识到这种高速恢复旋转。

也就是说，在将眼睛所看到(或投射在视网膜上)的真实世界空间从主要视觉区域传输到视觉关联区域的过程中，始终执行在人眼视线方向和与眼睛的跳视或微跳视相关联的实际认知方向之间的校正。因此，除非从对跳视或微跳视的动态分析得到视线和世界空间之间的相关性，否则不能必定辨别精确的意识状态。

由于上述原因，不能说当通过普通相机以例如60fps左右的更新速率捕获到眼睛运动以分析跟踪运动时获得的精度不足以快速确定驾驶员的意识水平。即使利用高精度的视线认知系统，其在视线方向上的认知和检测精度在理想环境下的测量中也最多是0.5度左右。通常，测量的绝对物理测量精度如上所述为0.5度左右的原因是基于如下假设：感觉神经细胞上的将感觉绝对地址投射在视网膜上的绝对投影位置总是匹配的。假设由于通过感觉区域等对实际认知地址进行插值和校正，因此由于物理方向和认知方向之间的偏差而发生错误。

如果可以高速跟踪眼睛的跳视或微跳视并且不管驾驶员的姿势如何都可以始终以自由式状态监视眼睛，则以一定的高精度获取驾驶员认知世界空间和目标的意识水平成为可能。

接下来，将考虑人的视觉区域眼睛运动。

其中人的视觉详细地认知环境的周围情况的机制没有以这样的方式实现：视线简单地朝向期望详细感知的特定目标的方向，并且在绝对空间坐标上发现其中可以高精度地看到目标的中心视野的方向。

眼睛片刻旋转以详细感知目标。当目标与中心视野分离时，头部进行旋转以补偿眼睛旋转的窄范围。在这种情况下，眼睛不因为眼睛的跳视而与头部的动作同步旋转，而是眼睛片刻旋转并转向目标方向。随着头部的移动，眼睛在中心视野的方向上捕获目标。眼睛进行移动以便以如下方式将中心视野调整到目标：抵消头部的在人体结构方面不强迫眼睛移动的水平的移动。此后，眼睛开始认知操作以获取高精度信息。

此时，眼睛不旋转和移动以一对一地完全抵消头部的旋转。然而，眼睛重复地执行由抵消旋转的摆动组成的跳视，并且被配置为遵循间断且快速的眼睛移动几步的方向以抵消移动。与眼睛的每次旋转相关联的真实空间中的视网膜上的虚拟图像的反射不被认知为投影表面的绝对坐标，而是校正投影位置的偏差以重复地无意识地进行大脑中的位置的解释。因此，通常，无法如预期那样精确地计算通过分析眼睛的运动而获得的视线认知的方向。

然而，在许多情况下，错误的原因与在物理工程现实空间中的投影点处的大脑和认知坐标随时得到校正的事实有关联。此外，人在中心视野中看到目标以完成目标的认知的时段是基于诸如人在相同条件下的认知体验之类的各种因素来确定的，并且与人的觉醒程度很大相关联。

因此，通过准确地分析驾驶员在行驶期间认知环境时的眼睛运动以及对存在于现实空间中的物体的空间布置的方向信息的延迟认知，期望以高精度并在早期掌握驾驶员针对驾驶恢复觉醒状态的能力。

特别地，在紧急情况、部分自动驾驶等中未实现全自动驾驶的车辆的情况下，要求在紧急情况下执行用于在早期将控制转移给驾驶员的序列。然而，如果驾驶操作被移交给未完全认知情况的驾驶员，则无法因此完全避免伴随情况掌握错误的驾驶故障。此外，如果在需要驾驶员在掌握周围情况不足的情况下判断执行操作的情况下将车辆转向权移交给驾驶员，则因为驾驶员由于超出驾驶员大脑的判断能力的情况而处于恐慌状态，因此正常的判断和动作序列不起作用。众所周知，一旦驾驶员处于恐慌状态，即使驾驶员在视觉上看到危险状态，负责认知和判断动作的神经认知网络变得完全堵塞并且整个动作停止，直到驾驶员足以承担以进行思考和动作为止。

因此，当可以连续地监视针对很可能使驾驶员的关注视线移动并从在高速公路上行驶的驾驶员的视线动作和显著图或障碍物信息获得的视觉信息的连续跟踪时，实现每次驾驶员的有效状态确认成为可能。

将考虑当车辆1101如图11所示向前稳定行驶时驾驶员1103为了在视觉上识别行驶道路周围的行人1102所采取的动作。

当驾驶员1103在其关注视点移动时所看到的行人1102偏离驾驶员1103独有的视野角度时，驾驶员1103通过一起使用头部旋转和眼睛旋转来全面地执行转弯确认。当通过视线移动来认知目标对象的特性内容时，完成利用人的视线移动来判断情况的序列。当物体从一开始就不存在于中心视野中时，该人转向物体很可能存在的方向。在必要时，利用头部旋转和物理身体运动，人使物体移动到视网膜上的中央视野。在感觉区中获取足以进行确定的信息的点处完成上述情况判断序列。通过分析普通驾驶员和需要在职业汽车比赛等中进行快速判断的驾驶员的视线的移动，可以理解上述事实。也就是说，需要在职业汽车比赛等中进行快速判断的驾驶员在显著图上的视线的移动目的地处具有非常短的视觉固定时间，并且一直将视线高速移动到大量目标并经常忽略其以做出准确的判定。因此，驾驶员反复地移动视线达到如下程度：他/她没有时间注视单独的目标。然而，假设驾驶员即使他/她没有进行注视以使视线停止也达到了做出判断所需的感知阈值。这表明驾驶员可以基于经验甚至以较少的刺激来做出判断。

驾驶员以低速依次执行眼睛的跳视、头部的旋转，以及物理身体的旋转和移动。此外，眼睛的跳视所可以覆盖的范围是有限的。

注意，在脑科学方面的认知中，相对于投影的真实空间中的二维信息的严格位置的位置偏差或旋转被移动和插值以便在颅神经上以如下方式被认知：在物理眼睛的视网膜上插入目标的中心视野的投影。因此，驾驶员不会有意识地感觉到包括实际眼睛的摆动旋转在内的跳视。

根据传统的视线跟踪，已经假设：如果可以检测眼睛的精确物理方向，则可以用其物理测量精度准确地掌握将被观察者在视觉上感知的认知目标。

然而，即使眼睛摆动并且间断地在视觉上观察目标，认知神经实际上通过根据目标的存储布置进行插值来解释三维外部世界。例如，即使头部旋转，有意识地感觉到的空间的图像也不会旋转。此外，当头部高速左右旋转时感觉到轻微的水平旋转，但是水平空间保持水平。

当在水平方向上移动视线时，眼睛首先执行跳视以移动到周围视野中的具有大亮度、大色度位置或大时间变化的地方以捕获目标，使得目标的方向进入中心视野。当眼睛在没有任何困难的情况下朝向该方向时，眼睛仅依赖于它们的旋转运动来试图捕获目标的方向。当目标存在于适度的眼睛旋转的范围之外时，头部也与眼睛的运动同时开始旋转并旋转。必要时，物理身体也旋转和移动。

头部比眼睛自身更重。因此，头部的快速旋转导致对颈部的负担，并且在诸如体育赛事等的短时间内的特殊情况之外的情况下不经常进行。

在大多数情况下，仅通过眼睛的旋转就可以覆盖当车辆(基于手动驾驶)正常直线行驶时驾驶员的视线的移动。因此，通常，不一定需要考虑头部的大的移动来识别驾驶员的状态的跟踪设备。

然而，在随着自动驾驶的普及驾驶员在正常姿势下不一定看到前方的情况下、相机监视系统(CMS)的屏幕被观察等的情况下，除非头部和眼睛的运动被广泛地并且以综合方式跟踪，否则立即掌握驾驶员的意识状态变得困难。因此，难以在几秒到一秒或更短的时间内进行用于判定是否将自动驾驶转换到手动驾驶的处理。

图12示意性地示出了人的视野的配置。如图所示，人在水平方向上具有大约200度的最大视野角，并且视野包括中心视野以及右侧和左侧的周围视野，在中心视野中可以以高分辨率看到前方的目标，在周围视野中主要以低分辨率检测目标的移动。此外，图13示出了当观察者(驾驶员)看到处于静止状态的目标时中心视野和周围视野的认知视觉信息的示例。当观察者在观察者进行注视的中心视野外部的周围视野中看到目标时，目标在模糊状态下被看到。此外，当观察者在周围视野中看到目标时，目标在减少饱和度的状态下被看到。

将参考图14考虑在人(驾驶员)看到不存在于中心视野中的物体的情况下的序列。在该序列中，人根据变化或意图在特定方向上移动中心视野以掌握情况。

人看到不存在于中心视野中的物体的序列包括由附图标记1401表示的快速眼睛旋转和由附图标记1402表示的跟随眼睛的头部旋转。当头部旋转赶上目标时，眼睛相对于头部相对反向旋转以抵消头部旋转。注意，当中心视野在转向过程中接近并穿过目标时，眼睛转换为针对头部旋转的消除，即，所谓的补偿性眼睛运动的用于视野稳定性的旋转。另外，当目标不存在于无穷远处时，并行地进行与复眼的距离相对应的所谓的聚散(vergence)眼睛运动。

将参考图15描述在车辆的稳定行驶期间驾驶员的视线(眼睛)和头部的动作。在该图中，附图标记1501表示前方，即，车辆1512的行驶方向。此外，附图标记1502表示驾驶员1511的头部的方向，并且头部相对于车辆的行驶方向1501旋转水平旋转角度。此外，附图标记1503表示驾驶员的视线的方向，并且视线相对于头部进一步旋转水平旋转角度。另外，相对于视线方向1503的±1.5度的范围成为中心视野。

在例如图16中示出并且将如下描述驾驶员在车辆的稳定行驶期间看到不存在于中心视野中的物体的序列。这里，如图15所示，将假设诸如行人1513之类的目标出现在周围视野中的情况，在周围视野中驾驶员的视线1503进一步旋转角度α。

(0)在稳定行驶中，驾驶员在其视线朝向前方的情况下驾驶车辆。

(1)这里，假设在除前方之外的方向上引起关注。例如，当可能是障碍物的行人等出现和当受到来自外部世界的动态视觉力刺激时，驾驶员基于其意愿移动视线以在交叉路口转弯或确认后视镜。

(2)驾驶员开始旋转眼睛，以使想要确认的目标落入中心视野内。当目标的视野角在视线移动范围之外时，驾驶员然后旋转其头部或其人体的姿势。

(3)在这种情况下，驾驶员按照小负荷的顺序进行眼睛运动、头部旋转和姿势旋转，以使目标进入中心视野。

(4)已知眼睛旋转的运动由摆动的跳视组成，其中眼睛旋转具有最小的负荷并且眼睛可以高速移动。

(5)驾驶员开始在目标的方向上高速旋转眼睛。在眼睛旋转不足以作为转向量的状态或者眼睛的动作范围有困难的状态下，当目标在由头部旋转或姿态运动补偿的头部运动中间进入眼睛旋转可以覆盖的范围中时，驾驶员开始在视觉上捕获中心视野中的目标的操作。然后，为了理解目标的事件，驾驶员调整其眼睛的焦点以开始聚散眼睛运动。注意，当目标从中心视野适度地移动到其外部时，眼睛瞬间转向目标的方向。在随着头部旋转跟随而确保充分转向之后，眼睛在其相对于头部的旋转被抵消的方向上反向旋转，即，驾驶员进行补偿性眼睛运动以搜索稳定的视线。

(6)上述一系列转向动作和大脑中的认知操作高速且并行地推进。在眼睛的方向相对于目标稳定之后，认知操作不会开始，但是眼睛在眼睛的摆动跳视期间感知地校正和解释微小眼睛运动以促进对情况的认知。

(7)即，充当外部世界观察者的驾驶员不解释将目标投射在中心视野的绝对坐标上的真实世界空间。然而，在认知动作中，驾驶员执行认知并解释空间，同时校正当眼睛由于跳视而微小旋转时发生的偏差。因此，即使检测到眼睛的物理绝对方向，观察者也不一定认知和理解方向。

(8)作为认知动作的意识，假定解剖眼睛方向完全匹配同时的认知方向。作为示例，环境认知支持：当头部以视线为轴旋转时，在超过眼睛旋转的范围之后，虽然眼睛轻微移动以抵消适度旋转(其旋转补偿头部旋转)并且随着跳视而旋转，但是根本未认知旋转并且真实空间不旋转而是处于静止状态。

(9)当(在旋转完成之前)在头部运动的中间确立眼睛旋转可以覆盖的范围内的中心视野的方向时，充当观察者的驾驶员凝视或注视进入中心视野的目标以在视觉上开始捕捉。然后，驾驶员调整眼睛焦点的位置以理解目标的事件，向视野和视觉关联区域发送更多且详细的信息，并在概念方面用记忆来认知信息。

例如，当驾驶员用中心视野抓住站立的孩子并且看到孩子的细节时，驾驶员认知孩子的状态，即，驾驶员认知衣服的颜色、孩子举手的状态、孩子穿着学生般的衣服并微笑的状态。此外，如果驾驶员认识孩子，则驾驶员认出孩子是谁。这些感知和认知动作按顺序进行，或者这些动作中的一些动作并行进行。

同时，驾驶员用跳视高速跟随目标。具体而言，当目标开始进入中心视野时，驾驶员并行地调整眼睛的焦点以开始聚散眼睛运动。此外，驾驶员推进头部旋转，直到头部的姿势被设定在放松位置，然后减速并停止旋转。当确定驾驶员在一定程度上意识到视觉认知的方向时，眼睛然后在该方向附近重复进行微跳视的同时推进认知。

在驾驶汽车的情况下，在掌握车辆周围的许多环境的同时，驾驶员在行驶时不利用其完全固定到目标的视线来凝视特定目标。当关于在某一视线方向上看到的目标做出驾驶转向判断的认知达到所需水平时，驾驶员无意识地或有意识地在想要执行认知的另一方向上开始跳视、头部移动等，以掌握具有更高优先级的目标。

上述一系列眼睛运动与确认驾驶员是否处于觉醒状态有关，其中优先认知可能对驾驶员的驾驶有影响的周围环境。当眼睛在其跳视的搜索动作中与现实世界空间的显著图的方向一起转动时，驾驶员与其高度意识到驾驶的状态相关联。显著图是二维分布图，其中机械地和算术地分析由于目标的视觉特性而吸引驾驶员关注的方向。

通过观察以类似跳视的时间序列方式连续且无休止地发生的眼睛运动而不是观察停留在静止状态的眼睛的状态，可以辨别驾驶员的意识状态。如果在部分自动驾驶或全自动驾驶中的驾驶员处于自由式状态并且头部广泛移动的情况下，可以连续地观察以时间序列方式连续且无休止地发生的驾驶员的眼睛运动，则在没有将电极或可穿戴物品附接到驾驶员的情况下随时跟踪驾驶员的意识状态成为可能。

如果可以始终高速跟踪眼睛的跳视或微跳视并且可以以自由式状态监视驾驶员而不管驾驶员的姿势如何，则以一定的高精度获取驾驶员认知世界空间和目标的意识水平成为可能。

在当将部分自动驾驶或全自动驾驶转换到手动驾驶时将跳视或微跳视应用于用于确定驾驶员的意识状态的处理的情况下，假设驾驶员处于自由式状态，在自由式状态中，与驾驶员处于集中驾驶姿势的情况相比，驾驶员的姿势或头部在更宽的范围内移动。为了在更宽的范围内并以更高的精度实现对驾驶员的意识状态的跟踪，有必要连续捕获驾驶员的头部位置并在宽视野角度中跟踪眼睛的跳视。

为了实现在宽范围内跟踪驾驶员的视线，假设一设备，其始终机械地跟随相机所检测到的驾驶员的头部。然而，如果这样的机械跟踪设备的可靠性不是非常高，则有必要在车辆的生命周期中反复地修理设备或进行对设备的维护。此外，为了防止产生作为安全标准确定的意外乘客伤害因素，有必要采取许多避免响应以减少机械伤害因素。

此外，已经提出了附接到对象的头部以测量眼睛运动的设备(例如，参见专利文献3)，但是产生附着负荷。即使在部分自动驾驶或全自动驾驶中，驾驶员也需要在头部上连续地佩戴该设备，这是麻烦的并且即使在自动驾驶中也基本上不会给予解放感。此外，当驾驶员在手动驾驶中在头部上佩戴该设备时，该设备对于驾驶员而言变得麻烦并且同时阻碍驾驶员的视力。

在提交本申请之前经常提出用于识别视线的技术。然而，由于眼睛在跳视或微跳视中以非常高的速度移动，因此以与对停止状态下的眼睛的检测不同的方式进行对眼睛的检测。为了检测快速跳视或微跳视，有必要利用具有高帧速率的相机来捕获和分析眼睛运动。例如，不能说60fps左右的帧速率足以快速辨别驾驶员的意识水平。这里，当使用具有高帧速率的相机时，数据速率增加。当进行视线检测等的传感器经由由长布线组成的传输路径将数据传送到后续信号处理处理器时，出现新问题，其中产生与传输损耗相对应的能量辐射并且引发许多热和电磁辐射的能量损耗。此外，在普通图像传感器的信号读取系统中，以固定速率从一个读取路径输出所有图像，因此能量损耗增加。另外，由于不容易响应这种能量损耗，因此需要以更低的频率来驱动电路，这导致难以高效地检测视线。

鉴于此，本说明书提出了一种技术，用于使用一个或多个没有机械跟随功能的静态安装(固定)的相机以宽视角捕获驾驶员的姿态或头部并针对眼睛位置的图像高速捕获眼睛的跳视。

将参考图1描述本说明书中公开的技术的概要。

车载相机(所谓的驾驶监视相机等)100拾取坐在驾驶员座位上的驾驶员的图像。注意，车辆在自动驾驶模式(包括部分自动驾驶和全自动驾驶二者)和手动驾驶模式之间切换，并且驾驶员不总是采取集中驾驶姿势而是假设处于自由式状态，在自由式状态中因为驾驶员免于关注紧张状态，因此驾驶员的姿势或头部在宽范围内移动。因此，车载相机100具有由附图标记101表示的宽范围区域的视野角度。为了检测快速跳视或微跳视，有必要以例如1000fps左右的高帧速率捕获驾驶员的眼睛及其详细的移动。然而，考虑到诸如当单独提供车载相机100时由于图像拾取信号传输到后级信号处理处理器所导致的传输损耗而产生的能量损失以及因此作为其能量释放发生电极不必要的辐射噪声之类的技术问题，由于图像拾取区域101覆盖宽范围，因此允许车载相机100以例如60fps左右在宽范围区域101中拾取驾驶员的图像。

通过在宽范围区域101中拾取图像，即使驾驶员处于自由式状态，也可以几乎无疑地捕获驾驶员的头部并跟踪驾驶员的眼睛的位置。

接下来，分析宽范围区域101的拾取图像以确定与驾驶员的眼睛相对应的窄捕获框102。由于驾驶员处于自由式状态，因此假设捕获框102的位置随时移动。因此，优选地以中等速度主动地校正捕获框102的位置。

然后，在捕获框102内，以1000fps左右的高速度拾取眼睛的图像并进行高速图像识别，以实现对眼睛的跳视的跟踪。

简而言之，车载相机100以低分辨率拾取宽眼椭圆101的图像，并且针对每个帧校正在图像分析中掌握的眼睛位置，同时并行对眼睛位置执行局部高速处理，从而实现对眼睛运动中的跳视的跟踪。也就是说，仅对车载相机100所拾取的图像中的捕获框102执行主动局部高速眼睛跟踪，在不造成附着负荷的情况下监视眼睛运动的跳视由此成为可能。

例如，如图2所示，执行图像识别处理的逻辑集成电路(IC)202被绑定到(正常)图像拾取元件201，使得在IC之间仅选择性地高速传输包括眼睛位置的部分图像(即，捕获框102)的图像数据。因此，可以使图像拾取元件201和图像识别处理IC 202之间的接口布线203最小化为硅穿透电极(穿通硅通孔，TSV)，并且可以在图像识别处理IC 202的接收负载降低的情况下以高帧速率选择性地读取捕获框102的部分图像。因此，即使驾驶员处于驾驶员头部的位置未固定的自由式状态，始终跟踪眼睛位置并监视眼睛运动的跳视也成为可能。

图3示意性地示出了寄生在图像拾取元件201和图像识别处理IC 202之间的接口布线图上的阻抗因子的示例。图像拾取元件201和图像识别处理IC 202如图2所示通过硅穿透电极而相互结合，以使接口布线的布线长度最小化，并且寄生阻抗被降低，以使得可以显著降低造成噪声源的不必要的布线负荷。因此，使得可以进行进一步的高速局部图像分析，这带来了双重优点。

图4示出了层叠图像传感器400的配置示例，其中像素区域410和信号处理电路区域420被层叠在一起，层叠图像传感器400能够选择性地高速传输部分图像的图像数据。

相机信号处理单元421以例如60fps左右的低帧速率读取像素区域410的整个区域的图像数据，以执行正常的相机信号处理。

同时，面部位置跟踪单元422从像素区域410的整个区域中跟踪驾驶员的面部区域。眼睛区域检测单元423从由面部位置跟踪单元422所跟踪的面部区域中检测驾驶员的眼睛，以确定包括双眼的部分图像的图像数据的(上述)捕获框。然后，高速读取单元424选择性地高速读取所确定的捕获框的部分图像的图像数据。

此外，图5示出了安装有存储器的层叠图像传感器500的配置示例，其中像素区域510、信号处理电路区域520和存储器区域530彼此层叠。安装有存储器的层叠图像传感器500可以选择性地高速传输部分图像的图像数据。安装有存储器的层叠图像传感器500将以1000fps左右的高帧速率拾取的图像的数据临时存储在存储器区域530中。然后，以期望的帧速率读取所存储的图像数据。

相机信号处理单元521以例如60fps左右的低帧速率读取像素区域510的整个区域的图像数据，以执行正常的相机信号处理。以60fps左右的低帧速率读取以1000fps捕获的图像数据的部分，从而可以减少相机信号处理的处理负荷。

此外，像素区域510的整个区域的图像数据被临时存储在存储器区域530中。面部位置跟踪单元522从像素区域510的整个区域中跟踪驾驶员的面部区域，并且面部图像写入单元523将面部图像531写入存储器区域530。然后，当从面部图像531中检测到驾驶员的眼睛并确定捕获框时，选择性高速读取单元524选择性地高速读取捕获框532的图像数据。例如，以与初始捕获的图像数据的帧速率相同的1000fps的高帧速率读取捕获框532的图像数据。通过采用这种配置，可以执行仅捕获框532的信号处理。因此，即使以1000fps左右的高帧速率读取图像数据，也可以减少信号处理负荷。此外，通过使用安装有存储器的层叠图像传感器500，用一个图像传感器以不同的帧速率读取图像成为可能。与使用两个图像传感器的情况相比，可以实现组件数量的减少和成本的降低。

图6以流程图的形式示出了用于获取意识水平的处理过程，在该意识水平下，假设处于自由式状态的驾驶员基于由车载相机拾取的图像来识别目标。例如将图4所示的层叠图像传感器400或图5所示的层叠图像传感器500假设作为车载相机。

首先，由车载相机(驾驶员监视相机)以例如60fps左右的低速度并以低分辨率拾取围绕驾驶员的头部眼椭圆的宽范围610的图像(步骤S601)。

接下来，从由车载相机拾取的图像的整个区域中跟踪驾驶员的面部区域611的位置(步骤S602)。

然后，从所跟踪的面部区域中检测包括驾驶员的眼睛的区域(步骤S603)。开始跟踪眼睛的位置，并且以例如1000fps左右的高速度选择性地读取捕获框612的部分图像的图像数据，同时随时校正包括双眼的捕获框612的位置(步骤S604)。

接下来，使用高速读取的部分图像来跟踪驾驶员的眼睛运动的跳视(步骤S605)。注意，由于跳视包括个人特性，所以可以基于对充当对象的每个驾驶员学习的结果来执行对跳视的跟踪(如稍后将描述的)。

然后，基于眼睛的跟踪来假设驾驶员要观察的目标(步骤S606)，并且进一步假设驾驶员认知目标的意识水平，即驾驶员的觉醒程度。

图7示意性地示出了图像处理装置700的功能配置，该图像处理装置700基于由车载相机拾取的图像来获取驾驶员认知目标的意识水平。各个功能模块701至709可以被配置为专用硬件电路，但是可以被实现为当中央处理单元(CPU)执行规定的程序代码时获得的序列。在下文中，将描述各个单元的操作。

假设车载相机拾取围绕驾驶员的头部眼椭圆的范围的图像。状态检测单元701从由车载相机拾取的图像的整个区域710中检测驾驶员的头部和上身的状态，并跟踪驾驶员的面部区域。

区域选择指定单元702从由状态检测单元701所跟踪的面部区域中指定选择性高速读取区域(相当于上述捕获框的区域)712，其中应该执行选择性高速读取。

眼睛跳视分析处理单元703仅对由车载相机拾取的图像的整个区域710当中的指定选择性高速读取区域712的部分图像执行例如1000fps左右的选择性高速读取。

单眼动作分析单元704在由眼睛跳视分析处理单元703读取的图像中针对驾驶员的右眼和左眼中的每一个来分析跳视的眼睛运动。例如，单眼动作分析单元704可以确定驾驶员的主视眼并分析仅主视眼的跳视。此外，由于已知眼睛运动由于疾病而变得不稳定，因此期望考虑到驾驶员特有的这些特性进行评估。另外，由于已知右眼和左眼之一作为主视眼是更可感知的，因此可以将对于确定觉醒状态更有效的眼睛之一用于分析。

注意，由于跳视包括个人特性，因此单眼动作分析单元704可以基于针对充当对象的每个驾驶员学习的结果来跟踪跳视(如稍后将描述的)。

方向估计单元705基于状态检测单元701所检测到的驾驶员的头部和上半身的状态以及单眼动作分析单元704对驾驶员的右眼和左眼中的每只的跳视的分析结果来分析驾驶员的视线、其头部的运动和旋转以及其上身的运动和旋转，以估计驾驶员的视线移动的方向。

障碍物信息获取单元706基于来自像毫米波雷达或LIDAR(光检测和测距，激光成像检测和测距)的传感器和安装在例如车辆中的诸如立体相机和单镜头相机之类的车载相机的信息来获取诸如存在于车辆周围的障碍物的方向和到车辆的距离之类的信息。换句话说，当车辆从部分自动驾驶或全自动驾驶切换到手动驾驶时，这里提到的障碍物可以是驾驶员在高意识水平时应当识别的目标。

伪目标投影单元707在驾驶员的视点方向上的例如平视显示器上投射并显示伪目标。

显著图生成单元708生成显著图，该显著图表示由于目标的视觉特性而由驾驶员自然看到的位置的概率分布。具体而言，显著图生成单元708基于由障碍物信息获取单元706获取的车辆周围的障碍物的信息来形成可以用来使驾驶员的视线转向的显著图。此外，显著图生成单元708在必要时将伪目标拍摄单元707所显示的伪目标添加到存在于车辆前方的真实空间中的障碍物，以生成显著图。

觉醒程度确定单元709检测由方向估计单元705估计的驾驶员的视线的方向与由显著图生成单元708生成的显著图之间的相关性，以确定驾驶员识别障碍物的意识水平，即，驾驶员相对于障碍物的觉醒程度。

将补充描述由觉醒程度确定单元709执行的处理。觉醒程度确定单元709确定驾驶员多频繁、多快和多精确地观察在车辆行驶期间在车辆前方的真实空间中发生的每个事件，并且基于检测时刻和驾驶员特有的认知习惯来评估动作特性的变化的存在或不存在或者反应的减速程度。

可能存在这样的情况：当车辆前方的风景非常单调时，驾驶员不太可能专注于视线。鉴于此，为了始终稳定地使用觉醒程度确定单元709，有效的是，伪目标拍摄单元707在驾驶员的视点方向上的平视显示器等上适当地显示假的虚拟障碍物(即，伪目标)的图像，并且觉醒程度确定单元709监视驾驶员是否正确地响应于该伪目标。

图8A和图8B以流程图的形式示出了用于使用图像处理设备700跟踪驾驶员的眼睛并识别驾驶员的意识水平的处理过程。

首先，通过诸如驾驶员监视相机之类的车载相机来捕获以例如60fps左右的低速度并以低分辨率拾取的宽范围图像(步骤S801)。

接下来，确定在捕获的宽范围图像(或车载相机的视野)内是否覆盖驾驶员的头部的位置(步骤S802)。

这里，当在宽范围图像内未覆盖驾驶员的头部的位置时(步骤S802中的“否”)，可以执行检测目标外处理(步骤S821)。

另一方面，当在宽范围图像内覆盖驾驶员的头部的位置时(步骤S802中的“是”)，从车载相机所拾取的图像的整个区域中检测驾驶员的头部的位置(步骤S803)。接下来，基于检测到的头部位置来估计包括眼睛的范围，以检测用于跟踪眼睛的捕获框的坐标(步骤S804)。以1000fps左右的高帧速率读取捕获框的图像数据，以并行地跟踪驾驶员的眼睛的跳视(步骤S805)。此外，预测驾驶员的关注目的地，并且详细地累计分析相对于预测的匹配度或匹配率，以估计眼睛的移动目的地并以时间序列方式跟踪眼睛(步骤S806)。

然后，基于步骤S803中对驾驶员的头部的位置的检测结果和步骤S806中对眼睛的跳视的分析结果，驾驶员的头部和上身的旋转开始的标志被分析(步骤S807)。

执行步骤S807中的标志分析以识别眼睛的相对位置由于头部等的移动而与捕获框偏离的标志移动并且适当地更新捕获框的重置读取地址。通过适当地分析根据高速移动的眼睛的跳视的移动估计并将捕获框设置在移动目的地，防止了眼睛跟踪损失。

接下来，根据跳视分析来估计驾驶员上身的旋转开始，以确定上身是否在眼睛的旋转可以覆盖的范围中旋转(步骤S808)。

当上身在眼睛的旋转可以覆盖的范围内不旋转时(步骤S808中的“否”)，仅利用眼睛的跳视不能获得操纵车辆所必需的视野信息。因此，驾驶员转换到头部和上身的旋转，以利用头部的运动的补充来连续地跟踪眼睛。

另一方面，当上身在利用眼睛的旋转可以覆盖的范围内旋转时(步骤S808中的“是”)，执行考虑驾驶员的个人响应特性的注视转变分析(步骤S810)。

此外，当上身在眼睛的旋转可以覆盖的范围中不旋转时(步骤S808中的“否”)，仅利用眼睛的跳视不能获得操纵车辆所必需的视野信息。因此，测量头部和上身的旋转，并估计与该旋转相关联的绝对角度(步骤S809)。因此，执行考虑驾驶员的个人响应特性的注视转变分析(步骤S810)。

在考虑驾驶员的个人响应特性的注视转变分析(步骤S810)中，基本上检测驾驶员的视线的估计移动方向与显著图之间的相关性，以确定注视转变，即，驾驶员相对于障碍物的觉醒程度。例如，当眼睛与现实世界空间中的显著图的方向一起转动作为其跳视的搜索动作时，驾驶员高度意识到驾驶。

这里，在考虑到驾驶员的个人响应特性的注视转变分析(步骤S810)中，考虑到个体之间在视线行为特性上存在较大差异的事实，对驾驶员进行个人认证(步骤S812)，以基于指定的个人视线行为特性执行注视转变分析处理。

此外，在考虑到驾驶员的个人响应特性的注视转变分析(步骤S810)中，考虑到驾驶员的视线行为特性根据驾驶员的状态而改变的事实，参考由安装在车辆中的各种传感器检测到的指示驾驶员的状态的各个参数(步骤S813)，以执行注视转变分析处理。

此外，根据车辆行驶于的环境条件或障碍物的信息，生成用于执行驾驶员的注视转变分析的显著图(步骤S820)。显著图表示由于目标的视觉特性而由驾驶员自然看到的位置的概率分布。

在步骤S820中，基于车辆周围的障碍物的信息来形成可以使驾驶员的视线转向的显著图。因此，在步骤S816中，基于来自诸如毫米波雷达和LIDAR之类的传感器以及诸如立体相机和单镜头相机之类的车载相机的信息来检测车辆前方的障碍物的方向和相对距离，以生成速度图。在步骤S817中，在假设自身车辆的行驶的时间序列转变的情况下对假设驾驶员更加关注的目标(即，在步骤S816中检测到的目标当中的存在于行驶路径或行驶路径附近的非路面上的并且预计在不久的将来干扰自身车辆行驶路径的目标(障碍物候选者))进行分类和整理。此外，在步骤S818中，为了更有效地监视驾驶员的觉醒程度，在驾驶员的视点方向上的平视显示器等上适当地显示伪虚拟障碍物(即，伪目标)的图像。在步骤S819中，在当从驾驶员看去时的视点的方向上转换检测到的实际障碍物和在平视显示器上显示的伪目标的坐标。然后，在步骤S820中，基于坐标已被转换的障碍物或伪目标的信息，形成可以使驾驶员的视线转向并且对应于行驶状况和状态的显著图。稍后将描述用于生成显著图的方法的细节。

此外，在步骤S814中，获取车辆行驶于的环境条件，诸如时区、天气、日照条件和路面状态。在步骤S820中，考虑到这样的环境条件来生成显著图。

此外，在步骤S810中，通过个人特性查找表等来参考每个驾驶员针对作为障碍物候选者的物体的视线响应特性，以执行考虑到驾驶员的个人响应特性的注视转变分析。

至于驾驶员的眼睛运动，个体之间在针对障碍物或作为障碍物候选者的物体的视线响应特性上存在差异。因此，在本实施例中，在个人特性查找表中管理诸如视线响应特性之类的关于驾驶员的眼睛运动的个人特性，并且基于步骤S810中的分析结果来顺序地学习驾驶员的个人特性。

最后，在步骤S811中，基于驾驶员的视线的移动方向和显著图之间的相关性的结果，动态地确定驾驶员识别障碍物的意识水平，即驾驶员相对于障碍物的觉醒状态。

在步骤S811中识别的驾驶员的意识水平被用于确定当车辆的驾驶模式从部分自动驾驶或全自动驾驶切换到手动驾驶时是允许还是限制还是禁止驾驶模式的切换。当驾驶员识别障碍物的意识水平相当高时，允许从自动驾驶切换到手动驾驶。另一方面，当驾驶员识别障碍物的意识水平低时，驾驶员不能响应手动驾驶并且是有危险的。因此，限制或禁止切换到手动驾驶。此外，当驾驶员的意识水平低时，可以发出警报，诸如在驾驶模式的切换或手动驾驶时段期间产生警报声以及向车辆内的驾驶员施加触觉刺激或电刺激。注意，为了应对紧急情况，可以执行用于自动驾驶的驾驶员干预控制，其中即使驾驶员部分地具有模糊意识，也在特殊条件下根据情况使车辆分阶段地减速、放缓或停止。

下面将补充描述在图8A和图8B的流程图中定义的一些处理。

在步骤S804中的用于设置用于跟踪眼睛的捕获框的坐标的处理中，首先在操作开始之后立即估计当可以从拾取图像的整个区域中检测到头部的位置时预测的包括眼睛的范围的位置。然后，根据估计的眼睛位置来设置用于以高帧速率跟踪眼睛的捕获框的坐标。在驾驶动作期间，反馈驾驶员的头部或眼睛的运动的跟踪信息，以预测眼睛的运动并在车载相机的视野范围内动态地可变地移动捕获框以防止眼睛偏离捕获框。注意，当多个相机系统被安装在车辆中并且驾驶员的眼睛的位置在跨相邻相机系统的视野的范围内移动时，可以在相邻相机系统之间接管驾驶员的跟踪。

在步骤S805中的对眼睛的跳视的跟踪中，假设使用如图4或图5所示的层叠图像传感器。因此，可以选择性地将捕获框的窄范围且必定调色的部分图像数据发送到层叠在像素区域的下层上的信号处理IC，以高速执行跟踪。像素区域的捕获框和层叠在下层上的信号处理IC彼此直接链接，并且在它们之间不需要布线回路。因此，可以使诸如传输路径的阻抗失配或寄生电容之类的因素最小化，并且可以利用负载的降低来降低与负载驱动成比例的电磁辐射的影响。此外，也可以利用被驱动目标的容量的降低来减少消耗能量。因此，可以显著地改善电磁干扰(EMI)或电磁兼容性(EMC)特性。

图9以流程图的形式示出了步骤S805中的用于从构成图像传感器的像素区域的一部分的捕获框中以高帧速率跟踪眼睛跳视的处理过程。

首先，设置从图像传感器的整个像素区域中以高帧速率读取特定地址的捕获框的地址和大小(步骤S901)。

然后，在像素区域中重复执行重置存储单元(步骤S902)、累积光电转换信号(步骤S903)以及放大和读取像素信号(步骤S904)的各个处理步骤。

接下来，从像素区域中读取的像素信号被发送到层叠在像素区域的下层上的信号电路区域(步骤S905)。在这种情况下，仅发送像素信号的所需色调信号。此外，将会基本明白，像素区域的捕获框的像素信号经由图3所示的接口布线而直接输出到信号电路区域，以使其噪声降低。

下面将描述信号电路区域的处理。

首先，提取用于分析局部眼睛部分和计算捕获框内的局部眼睛部分的位置所必需的信息，诸如眼睛的轮廓和参考光的反射中心(步骤S906)。

接下来，通过使用存储器区域的局部比较计算，以低数据速率分析眼睛的运动转变(步骤S907)。这里，假设存储器区域层叠在信号电路区域上(例如，参见图5)或假设存储器区域与信号电路区域布置在同一层中。在步骤S907中，提取关于特殊眼睛运动(诸如跳视、漂移、微跳视和震颤)的数据。

然后，跟踪眼睛的时间序列连续旋转，即眼睛的跳视(步骤S908)。

这里，获取在步骤S809中获得的头部运动估计信息，以确定是否需要使在步骤S901中设置的捕获框的坐标移位(步骤S909)。

当没有必要使捕获框的坐标移位时(步骤S909中的“否”)，处理在不校正捕获框的坐标的情况下直接返回到步骤S901，以重复执行上述的相同处理。此外，当有必要使捕获框的坐标移位时(步骤S909中的“是”)，在将最佳坐标指定作为捕获框的移动目的地(步骤S910)之后，处理返回到步骤S901，以重复执行上述的相同处理。

将补充描述步骤S809的处理。通过分析眼睛的加速动作，可以预测旋转头部或上身以补偿眼睛的必要性。此外，当发生这种旋转时，眼睛旋转以抵消相对于头部的相对旋转角度。因此，有必要考虑到该事实来分析视线。此外，当试图在意识水平低的状态下看某一目标时，假设眼睛应当在心理上确认目标。因此，为了使例如头部或上身在觉醒水平低的状态下急切地移动，眼睛作为其特性格外遵循该动作。因此，结合对眼睛视线的分析来分析头部或上身的时间行为的特性，为驾驶员提供了用于确定意识水平的线索。通过互补地使用眼睛的运动范围和加速特性，更精确地确定驾驶员的状态成为可能。

将补充描述步骤S810的处理。在车辆行驶期间，通过多个复杂缠绕因素来确定驾驶员对周围环境的视线关注。也就是说，仅利用作为行驶期间前方场景的简单物理光学场景的光能的视觉信息无法分析注视转变。

然而，注视转变分析大致由当在满足驾驶目的的行驶设定路线上行驶时基于视觉、听觉和智力关注选择性地注视和解释捕获从行驶前方进入的光能的视觉图像的步骤构成。在接收到引发因素之后，作为响应于视线移动的触发的反馈，引起第一视线运动(通过跳视或头部的运动)。仅利用从与行驶无关的目标或不需要关注的目标接收光刺激，不一定进行第一视线移动。

作为光能捕获的信息被感受细胞作为信号接收，并且信号被接管到双极细胞并经由与思考相关联的神经节细胞而传输到视觉区域的大脑。驾驶员在初始阶段接收到的信息通常是在周围视野中传播的模糊信息。然后，在目标的具有大的时间光强度差的高显著方向上移动视线，由此可以在面对近似目标的状态下在狭窄的中央窝或者副中央窝处捕获目标。最重要的是，由于在中央窝或者副中央窝处获得的目标的详细图像或者在获取详细图像之前调整眼睛的焦点的延迟，以下阶段中的感知和识别根据情况也被延迟。

当由于眼睛的疲劳或任何身体状况波动因素而暂时降低调节眼睛焦点的能力时，眼睛的注视期间的停止时间变长。具体而言，除非在新视觉信息顺序进入周围视野的状态下突然出现具有高优先级的信息，否则停止时间变长。此外，当即使眼睛的焦点未被聚焦也根据经验知识弄明白视觉识别目标的内容(或完成其解释)时，用于注视的眼睛的停止时间变长。在这种情况下，视线不是固定的，但是对顺序输入具有次高优先级的目标的跳视开始。例如，诸如白线之类的道路边界线是用于规定行驶条件的重要信息，但是没有必要将视线固定到道路边界线以查看相同的信息。习惯于驾驶的驾驶员在正常行驶期间不会注视严格的白线位置。

另一方面，在由于眼睛的疲劳、视力的降低等而使驾驶员的聚焦能力降低并且当注视期间的眼睛停止时段随着眼睛的焦点功能的降低而增加时即使采用任何更长时间也不会调节聚焦的情况下，驾驶员宁可根据情况把握紧急度在早期移动视线以寻找邻近地点，并利用周围的模糊图像增加确认度。从注视停止到微跳视等的转变频率、转变范围等是驾驶员特有的经验特性。也就是说，针对每个经认证的驾驶员分别分析驾驶员的以适于目标操作的注视或跳视的综合眼睛运动的行为，由此准确地掌握驾驶员特有的状态。

根据运动特性，称为注视性眼动的眼睛运动被分类为微跳视、漂移和震颤的相应状态，在微跳视中眼睛相对大且快速地移动，在漂移中眼睛大且慢地移动，而在震颤中眼睛小且高频地移动。状态根据环境条件(晴朗天气和良好的能见度、雨天、夜间、暴风雪、耀眼的迎面而来的车辆、……)、生理和物理视觉状态(诸如眼睛精确聚焦的状态以及由于疲劳等而花时间使眼睛聚焦的情况)以及驾驶员特有的意识状态(与神经信号传输直接关联的反映大脑中的意识状态的元素，例如按照主要视觉区域、视觉关联区域和高阶关联区域的顺序执行的元素解释和记忆参考)而变化。此外，在高阶关联区域中，优先搜索与目标行程有关的重要元素而不是在没有视线移动的条件的情况下参考目标的存储，以辨别驾驶转向的目的。因此，与对视线的移动的分析并行地，向驾驶员发出根据行程的视线移动目的地目标的列表。

这些高阶因素根据情况彼此复杂地相关，以导致驾驶员的视线的移动，并且它们的相互影响或权重取决于驾驶员特有的经验特性。因此，对于驾驶员特有的意识状态的辨别，优选地以传统方式在某种程度上累积和学习这些特性，并且将其用作用于辨别当相同的车辆行驶或者在类似环境下行驶时驾驶员的状态的指标。当从统计学角度观察驾驶员的视线特性时，驾驶员的意识状态具有与驾驶环境相对应的某些倾向。例如，假设在这种状态下制动设备的响应特性被加速以促使驾驶员在疲劳趋于增加时休息或改善制动开始特性。然而，难以根据基于根据统计趋势设置的阈值的判定来辨别驾驶员特有的实际详细意识水平。因此，该判定不适合于确定驾驶转向是否应当从自动驾驶被接管到手动驾驶。为了更准确地掌握驾驶员特有的状态，有必要基于驾驶员特有的特性进行确定。此外，辨别条件也根据驾驶环境或情况而变化。也就是说，用来确定驾驶员的意识状态的变量值是多维的，并且相关变量条件无法一定被表示为独立的正交坐标变量。复杂且不同的相关参数(诸如油门踏板操作、制动操作、转向操作、就座姿势、视觉确认范围、每个路面状态依赖性、天气依赖性、自车载荷情况依赖性、行驶道路状态、应用依赖性以及呼吸状态)之间的联系随着驾驶员的习惯等而改变。这里，近年来已经积极应用的具有诸如深度学习之类的人工智能的学习方法是一种有效辨别具有丰富个人特性的驾驶员的个人状态的方法，因为学习设备本身重复地基于多维度信息对相关维度进行自选加权来识别它。此外，该方法可以是适于主动随时改变驾驶员或环境变化的学习方法。

然后，作为驾驶员的状态确认序列，确认例如最终判断的反馈/主动反应是有效的。

这里，作为与驾驶员的状态相对应的反馈主动反应的示例，例如当假设驾驶员的判断能力降低时，假设通过反应响应按钮操作和特定手势操作的组合来实现平视显示器上的需要可变和智能判断反应的制动踏板的软操作。作为示例，在平视显示器上显示虚拟道路标志，并且在视觉上识别该道路标志上的数值反应等。

关于驾驶员对周围行驶环境的视线关注，视线方向上的关注水平由于驾驶员个人的疲劳、精神状态、经验等而主动改变。然而，其广泛的分布显示出随时间的适度变化，并且只要驾驶员具有基本相同的行驶环境、身体状况和精神状态就预计类似的分布特性。该关注水平分布曲线被分类为多个阶段的水平，并且中心视力的水平被分类以在时间序列视线移动目的地特性的相关性方面将当前处于行驶状态的驾驶员的周围关注情况与驾驶员特有的显著图进行比较，掌握驾驶员的关注水平的状态由此成为可能。

当驾驶员被初级困倦压倒时，存在快速变化点。但是，也可以在步骤S807等中看到标志。因此，例如，当从部分或全自动驾驶转换到手动驾驶时，步骤S810中的注视转变分析对于确定驾驶员的觉醒恢复程度是有效的。

最重要的是，当驾驶员基于其智能判断而继续驾驶时，将信号传输到思考神经回路来判断情况是必不可少的。对与神经元信号的传输直接联系的反映大脑中的意识状态的元素(诸如按照主要视觉区域、视觉区域关联和高阶关联区域的顺序执行的元素解释或记忆参考)的分析主要影响对驾驶员将其眼睛转向的目标的情况的解释。通常，在中心视野中把握目标。因此，驾驶员的觉醒状态主要由注视期间的动态行为反映。传统上，已经制造了一些响应于驾驶员的特征性微小运动来分析驾驶员状态的产品。然而，尚未提出驾驶员用来无意识地累积分析其长期行为的不可穿戴设备。另一方面，根据本说明书中公开的技术，可以捕获在自由式状态下广泛移动的驾驶员的眼睛的高速和微小行为，并且通过机器学习将眼睛的微小行为和驾驶情况或环境相关性把握为驾驶员特有的特性，使得可以将眼睛的行为和特性相互比较。因此，即使在随时改变的驾驶环境下，准确地掌握驾驶员的觉醒状态也成为可能。

总之，在步骤S810中，详细分析驾驶员特有的特性(诸如注视停止时段、微跳视的发生量以及搜索范围分析)以及根据驾驶员特有的累积学习特性和驾驶员的顺序最近视线分析来估计驾驶员的状态成为可能。

除了视觉区域相对于中心视野的关注水平分布之外，周围的视线运动被充分地重复以减少感知损失，以有意识地或无意识地补偿仅眼睛的关注水平分布的变窄。当周围视野的关注水平随着年龄或疲劳而降低时，积极地移动视线以减少例如右转和左转时的行人卷入事故是有效的。根据注视停止时段与在移动视线以跟随显著图中的高度显著目标之前眼睛在周围视野的方向上执行跳视的频率之间的相关性，可以判断跳视是否补偿了周围视野的关注水平的降低。

此外，驾驶员转向应当关注的目标并固定其视线，以理解实际细节并在所谓的停止时段中推进大脑中的感觉区的判断(例如，行人的阴影在周围视野中被捕获，眼睛在跳视中旋转并转动，并且眼睛在注视的过程中被聚焦，以根据观察到的行人的面部、姿势等来详细判断行人是否进入或离开自身车辆的路径)。当经由视觉区域在一定程度上获得情况的肯定证据时，驾驶员转变为搜寻其他关注目标的扫视动作以模糊地识别周围视野中的视线。当存在任何应当优先确认的目标时，驾驶员在显著图中的高度显著方向上适当地移动视线以推进对情况的确认。应当顺序确认的这种目标分布恰好是在本实施例中在驾驶员的注视转变分析中使用的显著图。

也就是说，在本实施例中使用驾驶员的视线方向上的地图，其示出了驾驶员可能以高概率看到的目标。在步骤S820中，使用如下地图是有效的：在该地图中，在纯驾驶员的视线图像的通用显著图中对在驾驶操作中重要的自身车辆的路径上的障碍物的发生概率进行加权。稍后将描述步骤S820的细节。

驾驶员的视线移动(即，关于在完成情况判断之后驾驶员是否将视线移动到下一个目标的判断)受到从驾驶员的视线看到的外部世界的显著性的影响。

驾驶员有必要同时且并行地确定行驶车辆的路径方向和包括其周围路面的目标。在以组合方式出现的各种环境场景中，驾驶员根据重要程度以及认知和理解程度适当地且顺序地忽略车辆的路径方向及其周围事物以继续行驶操作。驾驶员根据诸如环境条件和自身状态(生理和物理视觉状态，驾驶员特有的意识状态)之类的行驶状况执行特殊眼睛运动，诸如跳视、微跳视、漂移和震颤。

在注视停止时段和微跳视时段中，伴随有识别目标的目标依赖性。因此，通过寻找与在显著图上具有高显著性的目标的分类的相关性，更准确地确定驾驶员的状态(觉醒水平)成为可能。在这种情况下，识别距离或外部环境也成为波动因素。例如，驾驶员在其未计划使用出口时只是斜视高速公路出口标志。然而，对于右转/左转禁止标志或时区限制道路标志，需要时间，因为要求用户完成对时区的认知和解释。此外，驾驶员当其在交叉路口处的优先道路上时不一定执行认知和解释以确认右侧和左侧。否则，驾驶员在一定范围内确认右侧和左侧。此外，当看到远处交通信号的绿色箭头等时，与其看到简单红色信号的情况相比，驾驶员可能注视更长时间。然而，任何具有非常好的视力的驾驶员都不一定注视，并且两种情况之间的差异并不显著。

将补充描述步骤S811的处理。通过根据环境条件(诸如市区、高速公路、夜间、雨天以及暴风雪)对视线转向的关注目标进行加权来生成显著图。此外，当环境条件中途改变时，更新加权特性。在市区，特别是当任何车辆在繁忙的交通中从左右两侧闯入时、当关注交织的摩托车时、或者在学校区域中行驶时，驾驶员移动视线以广泛确认左右两侧。在假定行人由于市区中的普通专用过街人行横道而未跑出的环境中，驾驶员很有可能将视线转向短距离或中距离的前方、交通信号等。此外，当驾驶员计划在道路未分支到专用街道道路或没有车辆进入的路线上行驶时，驾驶员将视线主要转向中间距离侧。此外，当在视野由于坏天气而不佳的环境中行驶时或当在雨天中行驶时，驾驶员很可能将注意力集中在前方。因此，驾驶员不太可能将视线移动到周围，但很可能用视线搜寻中距离范围。然而，即使在相同的环境中，驾驶员也可能基于例如事件或同一驾驶员在过去的事故经历而更敏感地响应特定情况和频繁对关注目标进行注视。此外，即使在相同的雨天中，诸如出租车驾驶员之类的职业驾驶员也执行操作以间歇地确认路肩行人的行为，特别是在其空闲时间。因此，即使在相同的环境条件下，驾驶员的特性行为也取决于驾驶员的需要而不同。对于多个驾驶行程中的每一个，累积并学习驾驶员特有的特性。通过使用所学习的特性和查找表等进行比较，驾驶员当前状态的转变成为可能。

将补充描述在步骤S812中执行的个人认证。驾驶员的视线行为特性在个体之间差异很大。因此，为了在步骤S810中执行驾驶员的注视转变分析，有必要将驾驶员指定为固体目标并考虑个人响应特性。个人认证是用于指定固体目标的理想系统。然而，不一定通过获取驾驶员的面部、眼睛或虹膜的活体信息来执行活体认证，并且可以通过特定个人代码、指纹认证、语音认证、静脉认证等来获取活体信息。因此，个人认证不限于特定的认证方法。

将补充描述在步骤S813中执行的用于获取驾驶员的状态的方法。在提交本申请时，已经提出了许多适用于确定驾驶员状态的传感器或信息分析方法。可以使用例如操作方式、操作频率、驾驶员对制动踏板或油门踏板的按压程度、方向盘的操作稳定性、接触式或非接触式心率分析、基于心率的心理状态分析、酒精摄入量分析仪、基于体味分析的疲劳分析、脑电波分析、心电图、体温或体温分布、驾驶期间的姿势分析、呼吸分析、针对声波或音频和触觉振动的主动响应反应等来获取驾驶员的状态。通过将上述方法中的两个或更多个组合在一起以对驾驶员的状态分析值进行插值，以高精度识别驾驶员的状态也成为可能。

将补充描述在步骤S814中获取的环境条件。当在白天在维护的车辆专用车道上行驶时，驾驶员能够以相对放松的状态行驶(操作转向)。另一方面，驾驶员非常关注取决于环境因素(诸如在路灯昏暗的夜间以及在诸如人和动物之类的意外障碍物可能在前方视野方向以外的方向进入的环境中或在干扰视野的雨天、雾和雪中行驶，顶着背光行驶，在由于其结霜的表面而有风险的道路上、在桥上、在隧道中、在侧风强烈的行驶环境中、在安装有关于野生动物进行警告的道路标志的道路上以及在不熟悉的道路上行驶，以及在经常发生事故的地点行驶)的周围环境。因此，考虑到上述环境因素(诸如周围环境的确认频率和用于确认的视线的移动范围)，可以更精确地分析驾驶员的动态。

将补充描述在步骤S816中执行的处理。在步骤S816中，获取通过利用诸如毫米波雷达和LIDAR之类的传感器以及诸如立体相机和单镜头相机之类的车载相机进行各种周围环境感测可以获取的信息，并且将诸如检测到的障碍物及其位置等的目标的标签以集成方式转换为方向、距离和(相对距离、相对速度以及相对加速度)，以执行地图生成处理。然后，在步骤S819中，在驾驶员的视点中转换信息的坐标，以动态地生成为驾驶员指示每个检测到的障碍物的方向或速度的数据。

将补充描述在步骤S817中执行的用于移除行驶路径上的障碍物的处理。根据投射有行驶方向上的路面的鸟瞰数据，移除存在于车辆预定移动的路线上并且当车辆继续向前移动时很可能阻碍自身车辆的行驶的目标。也就是说，作为驾驶员经常移动视线或频繁注视的目标，在车辆前方检测到的障碍物当中的假设驾驶员更加关注的目标被移除。

将补充描述在步骤S818中执行的用于显示伪目标的处理。如果当判断驾驶员是否基于眼睛的跳视来识别状态时行驶道路及其周围环境过于单调，则可以监视驾驶员的视线与实际环境之间的相关性的频率被降低，这导致难以在适当的时刻以高精度检查驾驶员的反应。因此，显示由虚拟图像组成的伪目标以检查驾驶员是否可以以适当响应特性准确地响应多个伪目标。例如，显示伪目标，以便被驾驶员使用诸如平视显示器之类的非接触式视觉输入设备看到。为了辨别驾驶员的意识状态，可以显示伪目标，其不仅表征方向而且表征判断响应反馈，诸如例如包括意识感知激活确认的数值和颜色。驾驶员的响应模式基本上是通过分析视线的跳视等的行为而假设的情况示例。然而，只要可以分析与驾驶员的认知判断相关联的动作(诸如口头响应、对口头响应的语音分析、对手势响应的分析以及按钮操作)，就不一定分析眼睛的运动。然而，使用视线的优点在于，可以在驾驶员无意识地、无缝地和自然地表现的状态下辨别意识状态。当然，可以组合使用其他方法以进一步精确地掌握驾驶员的意识状态。

将补充描述在步骤S820中执行的根据行驶状况来生成显著图的处理。驾驶员在行驶期间对周围环境的观察主要根据行驶状况而改变。例如，在由于在空的高速公路上基本上确保了车辆之间的距离而不需要驾驶员非常关注前方的情况下、在驾驶员在夜间的市区中未预计行人何时跑出的情况下、在诸如环境和学校区域之类的其中路面由于雪或霜等而滑的情况下，驾驶员被迫在根据经验、习惯等基于视觉运动的独特特性确认周围区域的同时驾驶。与车辆的行驶情况或驾驶员的状态相对应的显著图显示驾驶员特有的特性，存储驾驶员的行驶历史的信息，并且通过学习而被构造。此外，显著图示出根据环境、身体状况等而改变的特性。因此，显著图根据环境情况对驾驶员的行驶历史进行分类和存储。对于每个类似的行驶环境，驾驶员参考显著图并以时间序列的方式分析视线相对于该图的动态响应特性，以计算并类推驾驶员的关注水平。

在步骤S821中执行的检测目标外处理根据图像处理设备700的目的或使用情况而不同。例如，当在对驾驶员恢复到觉醒状态的能力的时间序列管理中使用该处理以在全自动驾驶状态下动态监视车辆的驾驶员的觉醒状态时，如果恢复到觉醒状态的能力被确定为不足则假设转换到安全减速行驶、撤离和停止或者停止序列。此外，当监视驾驶员的状态转变不是如在监视用户的视线(像例如CMS)时一样直接与关键判断相关联时，可以适当地呈现警报声或警报。此外，当随着自动驾驶的普及，驾驶员在自由式状态下在车辆内广泛移动而不是以固定姿势坐在驾驶员座椅上时，认为仅利用一个相机系统无法捕获驾驶员。因此，还假设如下使用模式，其中在车辆中安装多个相机系统并且在相邻相机系统之间移交驾驶员的跟踪。

图10A和图10B总结了与驾驶员的行为同时执行的驾驶员的视线分析、关注状态(觉醒水平)的掌握、显著图的生成以及各种传感器的输入(驾驶员的状态参数)的相应处理。

当车辆直接向前方行驶并且观察驾驶员的情况时，在驾驶员的周围视野中出现高度显著的事项(步骤S1001)。然后，驾驶员利用来自周围视野的刺激来检测与驾驶员重要相关的方向(步骤S1002)并开始眼睛的跳视(步骤S1003)。

这里，当眼睛的跳视的摆动旋转的视线旋转角度不足并且因此驾驶员不能捕获目标时，驾驶员随后使头部和上身旋转(步骤S1004)。注意，驾驶员不仅仅依赖于视觉信息来认知周围环境，而是使用其他感觉(诸如听觉、振动、气味，以及从紧急车辆等发出的闪光灯的闪烁)作为判断因素。另外，当识别来自周围视野外部的后侧的撞击声、碰撞、碰撞声、瞬间闪光灯闪烁等时，可能存在如下情况：驾驶员首先改变其头部或身体姿势，然后眼睛跟随头部或身体的姿势。因此，眼睛的跳视不一定用作第一次转动的触发器。

然后，当旋转头部或上身时，驾驶员校正并旋转眼睛以将视线保持在目标方向上(步骤S1005)。也就是说，驾驶员暂时使眼睛相对于头部大幅旋转以消除相对于头部的过度旋转。在头戴式视线检测设备的情况下，需要抵消校正处理来分析相对于头部的相对眼睛运动。然而，在对处于自由式状态的驾驶员的检测中，基于固定到车辆的坐标空间来测量眼睛运动。因此，仅需要根据情况在检测中适当地校正眼睛。

当如上所述完成目标的捕获时，驾驶员开始利用注视来观察细节并且同时获得聚焦以进行中心视野处的细节观察(步骤S1006)。

当按照上述顺序在注视操作和细节的观察中实际观察目标时，物理视线方向和大脑中的认知空间不一定彼此匹配(步骤S1007)。

具体而言，在物理方向上，眼睛在注视期间执行诸如所谓的微跳视、漂移或震颤的可变行为。

通常，当驾驶员不打算如在阅读书籍中详细解释一个事项时，眼睛在注视期间在短时间段内停止。眼睛不需要以组合的方式重复产生微跳视、漂移和震颤，而是转变为用于搜索下一个目标的大跳视(步骤S1009)，并且开始将视线移动到下一个目标(步骤S1010)。

当驾驶员的眼睛开始跳视时(步骤S1003)，作为驾驶员的视线分析处理来跟踪眼睛的跳视(步骤S1011)。然后，基于对眼睛跳视的跟踪结果，作为用于掌握驾驶员的关注状态的处理来估计视线所移动到的目标(步骤S1021)。

此外，当驾驶员校正并旋转眼睛时(步骤S1005)，作为驾驶员的视线分析处理，根据眼睛的跳视和对头部或上身的旋转的分析来转换驾驶员的真实空间中的视线方向(步骤S1012)。然后，比较显著图与眼睛的主要运动跳视的目标视线方向的分析结果之间的相关性(步骤S1013)。驾驶员的物理视线方向和大脑中的认知空间不一定彼此完全匹配(步骤S1007)。然而，由于人的大脑中的感知状态是不可直接测量的，因此驾驶员的视线分析处理实际上转移到下一步骤中的观察(步骤S1014)。

然后，作为掌握驾驶员的关注状态的处理，通过测量到最近的最大显著值的距离等来确定在显著图上布置的目标与视线移动目标目的地之间的匹配度(步骤S1022)，并计算最近特定时段(以分钟为单位)的累积匹配度(步骤S1023)。这里，学习与驾驶员行驶期间的环境相对应的关注水平视线方向依赖图的个人特性(步骤S1024)。注意，已经报道了一种症状，其中驾驶员即使在觉醒状态下也突然变得困倦并且由于近年来称为睡眠呼吸暂停综合征的疾病而突然变得不省人事。因此，观察在对时间顺序转变的观察中意识状态最终减少的过程也是重要的。期望根据驾驶员的特性来执行特定时段中的上述周期性观察的频率或间隔。

在注视期间，驾驶员的眼睛执行诸如微跳视、漂移和震颤之类的特殊运动(步骤S1008)。然而，作为分析驾驶员的视线的处理，分析在眼睛的主要运动跳视之后的微跳视、漂移、震颤等的动态变化特性、范围、方向(步骤S1015)。

此外，作为掌握驾驶员的关注状态的处理，分析与对注视目标的观察相关的特性，并且对假设驾驶员更加关注的目标进行分类(步骤S1025)。这里，分析并学习与特定目标相对应的微跳视、漂移和震颤的驾驶员特性作为个人特性(步骤S1026)。

作为显著图生成处理，从安装在车辆中的各个传感器收集在连续行驶期间车辆的所有方向上的阻碍信息项并且将其彼此集成以在前段生成驾驶员的视点方向上的地图(步骤S1031)。

然后，从诸如毫米波雷达和LIDAR之类的各个传感器输入车辆的所有方向上的连续阻碍信息项(障碍物的方向和相对距离)(步骤S1041)。作为显著图生成处理，生成诸如行人、交通信号、道路标志、道路上的落物、前方行驶车辆和前方中断车辆之类的障碍物的视觉刺激显著性的方向图(步骤S1032)。然后，当车辆行驶时，该显著图总是被更新为新的显著图(步骤S1033)。

此外，在显著图的生成期间，对根据行驶状况或状态通过图像分析机械地获得的显著图进行分布加权。此外，当环境条件(白天、夜间、雨天、在高速公路上行驶、耗尽状态)中途改变时(步骤S1042)，更新根据环境条件的驾驶员特有的加权特性(步骤S1034)。

此外，在显著图生成处理中，在驾驶员的视点方向上的平视显示器等上适当地显示伪虚拟障碍物(即，伪目标)的图像，以便更有效地监视驾驶员的觉醒程度，并且看见以确定关于伪目标的视线响应特性(步骤S1035)。这是因为：如果行驶道路及其周围环境过于单调，则可以监视驾驶员的视线与实际环境之间的相关性的频率降低，这导致难以在适当的时刻以高精度检查驾驶员的反应。为了识别驾驶员的状态，上面主要描述了对驾驶员视线的分析。然而，可以结合使用驾驶员的思考判断响应结果来进行判定。例如，用于检测关于作为驾驶员的语音响应的车辆内的音频引导的思考和判断结果的方法、用于将视线移动到沿着音频分析在平视显示器上显示的特定模式的方法以及经由驾驶员的思考序列(诸如对模拟莫尔斯码的特定模式的按钮按压操作反应)获得检测结果的主动且无缝的方法是用于辨别驾驶员的觉醒状态的有效且稳健的方法。

此外，在显著图生成处理中，基于驾驶员的视线搜索特性来累积学习视线停止趋势和注视特性，并根据行驶环境和驾驶员的状态对其进行分类，以更新加权特性(步骤S1036)。

此外，在显著图生成处理中，根据认知造成驾驶阻碍因素等的情况的结果来学习和更新直到实际制动操作和转向避免操作的延迟特性(步骤S1037)。这里，驾驶阻碍因素的情况认知实际上是对注视的存在或不存在或视线相对于显著图上的可能高概率成为障碍物的目标的停止的认知。

当在周围环境认知序列中认知到感觉区中的危险状态或响应的必要性时，驾驶员采取针对危险的避免或响应动作(步骤S1016)。可以通过诸如制动踏板和油门踏板之类的踏板、方向盘和开关的操作和对发出的声音和手势的检测以及其他传感器来检测这种动作(步骤S1043)。

工业应用性

以上参考具体实施例详细描述了本说明书中公开的技术。然而，显而易见的是，本领域技术人员可以在不脱离本说明书中公开的技术的精神的情况下校正或替换这些实施例。

本说明书中公开的技术可以应用于各种车辆(诸如汽车(包括汽油动力车辆和柴油动力车辆)、电动汽车、混合动力电动汽车、摩托车、自行车和个人移动装置)，并且也可以应用于除了在道路上行驶的车辆之外的可移动体，以便基于对驾驶员的眼睛跳视的跟踪来获取驾驶员的觉醒程度。当然，本说明书中公开的技术的用途不限于可移动体的驾驶员，而是可以类似地使用该技术来获取执行各种操作的人的觉醒程度。

简而言之，以示例性模式描述了本说明书中公开的技术，并且不应限制性地解释本说明书中描述的内容。为了确定本说明书中公开的技术的精神，应该参考权利要求的范围。

注意，本说明书中公开的技术也可以采用以下配置。

(1)一种图像处理设备，包括：

第一图像获取单元，其以第一帧速率获取车辆的驾驶员的图像；

区域确定单元，其确定该图像中的包括驾驶员的眼睛的区域；以及

第二图像获取单元，其以高于第一帧速率的第二帧速率获取该区域的图像。

(1-1)根据(1)所述的图像处理设备，其中

第一图像获取单元获取利用安装在车辆中的相机从包括驾驶员的头部眼椭圆的宽范围中拾取的图像。

(2)根据(1)所述的图像处理设备，还包括：

处理单元，其处理以第二帧速率获取的所述区域的图像，以识别或辨别驾驶员的意识水平。

(3)根据(2)所述的图像处理设备，还包括：

控制单元，其根据由处理单元识别或辨别的驾驶员的意识水平来控制车辆的驾驶模式的切换。

(4)根据(3)所述的图像处理设备，其中

当驾驶员的意识水平为规定水平或更低时，控制单元限制或禁止车辆从自动驾驶切换为手动驾驶。

(5)根据(2)所述的图像处理设备，还包括：

警报单元，其当驾驶员的意识水平为规定水平或更低时发出警报。

(6)根据(1)所述的图像处理设备，其中

区域确定单元根据驾驶员的头部或上身的旋转或移动来校正区域的位置。

(7)根据(2)所述的图像处理设备，其中

处理单元根据基于区域中的图像对驾驶员的眼睛运动的跟踪结果来识别或辨别驾驶员的意识水平。

(8)根据(2)所述的图像处理设备，其中

处理单元跟踪驾驶员的眼睛的跳视、漂移、微跳视和震颤中的至少一个动作。

(9)根据(7)或(8)所述的图像处理设备，其中

处理单元基于驾驶员的眼睛运动与显著图之间的比较结果来识别或辨别驾驶员的意识水平。

(10)根据(9)所述的图像处理设备，还包括：

显著图生成单元，其根据驾驶员的状态或车辆的行驶状况来生成显著图，其中，

处理单元使用由显著图生成单元生成的显著图来识别或辨别驾驶员的意识水平。

(11)根据(10)所述的图像处理设备，其中

显著图生成单元基于在车辆周围检测到的障碍物的信息来生成显著图。

(12)根据(11)所述的图像处理设备，还包括：

显示单元，其在平视显示器上模拟显示虚拟障碍物，其中

显著图生成单元通过进一步添加由显示单元显示的虚拟障碍物的信息来生成显著图。

(13)根据(7)所述的图像处理设备，还包括：

学习单元，其学习驾驶员的眼睛运动的个人特性。

(14)根据(13)所述的图像处理设备，其中

处理单元通过应用个人特性来识别或辨别驾驶员的意识水平。

(15)根据(7)所述的图像处理设备，其中

处理单元确定驾驶员的主视眼，并且基于所述区域中包括的至少主视眼的图像来识别或辨别驾驶员的意识水平。

(16)一种图像处理方法，其包括：

以第一帧速率获取车辆的驾驶员的图像的第一图像获取步骤；

确定该图像中的包括驾驶员的眼睛的区域的区域确定步骤；以及

以高于第一帧速率的第二帧速率获取该区域的图像的第二图像获取步骤。

(17)一种可移动体，包括：

图像拾取单元，其拾取驾驶员的图像；

第一图像获取单元，其以第一帧速率获取驾驶员的拾取图像；

区域确定单元，其确定图像中的包括驾驶员的眼睛的区域；

第二图像获取单元，其以高于第一帧速率的第二帧速率获取该区域的图像；

处理单元，其处理以第二帧速率获取的该区域的图像，以识别或辨别驾驶员的意识水平；以及

控制单元，其根据由处理单元识别或辨别的驾驶员的意识水平来控制驾驶模式的切换。

(18)根据(17)所述的可移动体，其中

图像拾取单元通过将包括第一半导体基板、第二半导体基板和第三半导体基板的三个半导体基板层叠在一起而构成，

第一半导体基板具有像素，

第二半导体基板具有存储图像的存储单元，并且

第三半导体基板具有第一图像获取单元、第二图像获取单元、区域确定单元、处理单元和控制单元中的至少一个。

附图标记列表

100 车载相机

201 图像拾取元件

202 图像识别处理IC

203 接口布线

400 层叠图像传感器

410 像素区域

420 信号处理电路区域

421 相机信号处理单元

422 面部位置跟踪单元

423 眼睛区域检测单元

424 高速读取单元

500 安装有存储器的层叠图像传感器

510 像素区域

520 信号处理电路区域

530 存储器区域

521 相机信号处理单元

522 面部位置跟踪单元

523 面部图像写入单元

524 选择性高速读取单元

700 图像处理设备

701 状态检测单元

702 区域选择指定单元

703 眼睛跳视分析处理单元

704 单眼动作分析单元

705 方向估计单元

706 障碍物信息获取单元

707 伪目标投影单元

708 显著图生成单元

709 觉醒程度确定单元

701 整个区域

712 选择性高速读取区域

Claims (17)

1.一种图像处理设备，包括：

第一图像获取单元，所述第一图像获取单元以第一帧速率获取车辆的驾驶员的第一图像；

面部位置跟踪单元，所述面部位置跟踪单元在所述第一图像中跟踪所述驾驶员的面部区域的移动；

区域确定单元，所述区域确定单元确定所述第一图像的所跟踪的面部区域中的包括所述驾驶员的眼睛的眼睛区域；

分析单元，所述分析单元分析由区域确定单元确定的眼睛区域；

方向估计单元，所述方向估计单元基于分析单元的结果估计驾驶员的视线；

显著图生成单元，所述显著图生成单元根据驾驶员的状态或车辆的行驶状况生成显著图；

觉醒程度确定单元，所述觉醒程度确定单元基于由方向估计单元估计的驾驶员的视线方向与由显著图生成单元生成的显著图之间的相关性来识别或辨别驾驶员的意识水平。

2.根据权利要求1所述的图像处理设备，还包括：

第二图像获取单元，所述第二图像获取单元以高于第一帧速率的第二帧速率获取所述眼睛区域的第二图像，并且

其中所述分析单元分析以第二帧速率获取的眼睛区域的第二图像。

3.根据权利要求1所述的图像处理设备，其中所述分析单元跟踪所述驾驶员的眼睛的跳视、漂移、微跳视和震颤中的至少一个动作。

4.根据权利要求1所述的图像处理设备，其中所述分析单元确定所述驾驶员的主视眼并分析所述主视眼的眼睛区域。

5.根据权利要求1所述的图像处理设备，其中所述觉醒程度确定单元确定驾驶员多频繁、多快和多精确地观察在车辆行驶期间在车辆前方的真实空间中发生的每个事件，并且基于检测时刻和驾驶员特有的认知习惯来评估动作特性的变化的存在或不存在或者反应的减速程度。

6.根据权利要求5所述的图像处理设备，还包括：

伪目标投影单元，所述伪目标投影单元在驾驶员的视点方向上的平视显示器上投射并显示伪目标，并且

所述觉醒程度确定单元监视驾驶员是否正确地响应于该伪目标。

7.根据权利要求1所述的图像处理设备，其中

所述显著图生成单元基于在所述车辆周围检测到的障碍物的信息来生成所述显著图。

8.根据权利要求7所述的图像处理设备，还包括：

显示单元，所述显示单元在平视显示器上模拟显示虚拟障碍物，其中

所述显著图生成单元通过进一步添加由所述显示单元显示的虚拟障碍物的信息来生成所述显著图。

9.根据权利要求1所述的图像处理设备，还包括：

学习单元，所述学习单元学习所述驾驶员的眼睛运动的个人特性。

10.一种图像处理方法，包括：

以第一帧速率获取车辆的驾驶员的第一图像；

在所述第一图像中跟踪所述驾驶员的面部区域的移动；

确定所述第一图像的所跟踪的面部区域中的包括所述驾驶员的眼睛的眼睛区域；

分析所确定的眼睛区域；

基于分析的结果估计驾驶员的视线；

根据驾驶员的状态或车辆的行驶状况生成显著图；

基于所估计的驾驶员的视线方向与所生成的显著图之间的相关性来识别或辨别驾驶员的意识水平。

11.根据权利要求10所述的图像处理方法，还包括：

以高于第一帧速率的第二帧速率获取所述眼睛区域的第二图像，并且

分析以第二帧速率获取的眼睛区域的第二图像。

12.根据权利要求10所述的图像处理方法，还包括：

跟踪所述驾驶员的眼睛的跳视、漂移、微跳视和震颤中的至少一个动作。

13.根据权利要求10所述的图像处理方法，还包括：

确定所述驾驶员的主视眼并分析所述主视眼的眼睛区域。

14.根据权利要求10所述的图像处理方法，还包括：

确定驾驶员多频繁、多快和多精确地观察在车辆行驶期间在车辆前方的真实空间中发生的每个事件，并且基于检测时刻和驾驶员特有的认知习惯来评估动作特性的变化的存在或不存在或者反应的减速程度。

15.根据权利要求14所述的图像处理方法，还包括：

在驾驶员的视点方向上的平视显示器上投射并显示伪目标，并且

监视驾驶员是否正确地响应于该伪目标。

16.根据权利要求10所述的图像处理方法，还包括：

基于在所述车辆周围检测到的障碍物的信息来生成所述显著图。

17.根据权利要求16所述的图像处理方法，还包括：

在平视显示器上模拟显示虚拟障碍物，以及

通过进一步添加由所述显示单元显示的虚拟障碍物的信息来生成所述显著图。

Images