CN104169993B

CN104169993B - 驾驶辅助装置及驾驶辅助方法

Info

Publication number: CN104169993B
Application number: CN201380013976.6A
Authority: CN
Inventors: 稻田纯也; 盐谷武司
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-03-14
Filing date: 2013-03-08
Publication date: 2016-05-25
Anticipated expiration: 2033-03-08
Also published as: US20150010207A1; KR20140126401A; JP2013218671A; CN104169993A; WO2013136740A1; DE112013001472T5; KR101562877B1; JP5630518B2; US9317759B2

Abstract

驾驶辅助装置具有：人脸图像摄影单元(S10、S810)，取得车辆的驾驶员的人脸图像；视线方向检测单元(S30、S820)，检测所述驾驶员的视线方向；注视区域设定单元(S90、S860、S890、S920、S950、S980、S1010、S1040)，设定所述驾驶员正在注视的注视区域；显示单元(7)；视线动作判定单元(S40、S830)，判定所述驾驶员移动视线的动作是否与预先设定的显示开始指示动作一致；以及显示开始单元(S50、S110、S840、S1070、S1090、S1110、S1130、S1150、S1170、S1190、S1200)，在所述驾驶员移动视线的动作与所述显示开始指示动作一致的情况下，使所述显示单元开始根据所述注视区域而预先设定的内容的显示信息的显示。

Description

驾驶辅助装置及驾驶辅助方法

对相关申请的交叉引用

本发明以在2012年3月14日提出申请的第2012－57561号和在2013年3月1日提出申请的第2013－41039号日本专利申请为基础，并在此引用了这些专利申请中记载的内容。

技术领域

本发明涉及显示用于辅助车辆的驾驶员的图像的驾驶辅助装置及驾驶辅助方法。

背景技术

过去公知有这样的驾驶辅助装置，该驾驶辅助装置检测车辆的驾驶员的视线，根据检测出的视线的方向拍摄驾驶员的视线朝向的注视对象，将该摄影图像放大显示在被设于驾驶员前方的显示画面上，由此辅助驾驶员(例如，参照专利文献1)。

但是，在上述专利文献1所记载的驾驶辅助装置中存在如下问题，即在驾驶员注视车辆前方的风景而不希望注视对象的放大显示的情况下，注视对象也被无用地放大显示。

现有技术文献

专利文献

专利文献1：日本特开2009－43003号公报

发明内容

本发明的目的在于，提供一种显示用于辅助车辆的驾驶员的图像的驾驶辅助装置及驾驶辅助方法。在驾驶辅助装置及驾驶辅助方法中，能够在驾驶员期望的时候适当进行驾驶员注视的注视对象的显示。

在本发明的第一方式中，驾驶辅助装置具有：人脸图像摄影单元，连续拍摄车辆的驾驶员的人脸并取得人脸图像；视线方向检测单元，使用由所述人脸图像摄影单元取得的人脸图像，检测所述驾驶员的视线方向；注视区域设定单元，根据由所述视线方向检测单元检测出的视线方向，设定所述驾驶员正在注视的注视区域；显示单元，具有被配置在所述驾驶员能够视觉识别的位置的显示画面；视线动作判定单元，根据所述视线方向检测单元的检测结果，判定所述驾驶员移动视线的动作、与预先设定的用于指示所述显示单元的显示的开始的显示开始指示动作是否一致；以及显示开始单元，在所述视线动作判定单元判定为所述驾驶员移动视线的动作与所述显示开始指示动作一致的情况下，使所述显示单元开始显示根据由所述注视区域设定单元设定的所述注视区域而预先设定的内容的显示信息。

在这样构成的驾驶辅助装置中，通过使驾驶员以与显示开始指示动作一致的方式进行移动视线的动作，根据驾驶员正在注视的注视区域而预先设定的内容的显示信息被显示在显示画面上，该显示画面被配置在驾驶员能够视觉识别的位置。即，为了在显示画面上显示与注视区域对应的内容的显示信息，驾驶员不仅要注视某个区域，而且需要在注视后以与预先设定的显示开始指示动作一致的方式移动视线。因此，能够在驾驶员期望的时候适当进行与注视区域对应的内容的显示信息的显示，在只是单纯地注视某个区域的情况下，注视区域不会被显示在显示画面上。

在本发明的第二方式中，驾驶辅助方法包括以下步骤：连续拍摄车辆的驾驶员的人脸并取得人脸图像；使用所述人脸图像检测所述驾驶员的视线方向；根据所述视线方向设定所述驾驶员正在注视的注视区域；根据检测所述视线方向时的检测结果，判定所述驾驶员移动视线的动作、与预先设定的用于指示显示的开始的显示开始指示动作是否一致；在所述驾驶员移动视线的动作与所述显示开始指示动作一致的情况下，使根据所述注视区域而预先设定的内容的显示信息显示在显示画面上，该显示画面被配置在所述驾驶员能够视觉识别的位置。

在上述的驾驶辅助方法中，通过使驾驶员以与显示开始指示动作一致的方式进行移动视线的动作，根据驾驶员正在注视的注视区域而预先设定的内容的显示信息被显示在显示画面上，该显示画面被配置在驾驶员能够视觉识别的位置。即，为了在显示画面上显示与注视区域对应的内容的显示信息，驾驶员不仅要注视某个区域，而且需要在注视后以与预先设定的显示开始指示动作一致的方式移动视线。因此，能够在驾驶员期望的时候适当进行与注视区域对应的内容的显示信息的显示，在只是单纯地注视某个区域的情况下，注视区域不会被显示在显示画面上。

附图说明

有关本发明的上述及其他目的、特征和优点，参照附图并根据以下的详细说明将更加明确。其附图如下：

图1是表示驾驶辅助装置的概略结构的框图，

图2是表示挡风玻璃内的显示画面区域的配置的图，

图3是表示第1实施方式的显示处理的流程图，

图4是表示前景图像数据内的注视区域的图，

图5是表示第2实施方式的显示处理的流程图，

图6是表示第2实施方式的显示调整处理的流程图，

图7是表示第3实施方式的显示处理的流程图，

图8是表示第3实施方式的显示调整处理的流程图，

图9是表示第4实施方式的显示调整处理的流程图，

图10是表示显示画面区域内的显示图像的滚动的图，

图11是表示第5实施方式的显示处理的前半部分的流程图，

图12是表示第5实施方式的显示处理的后半部分的流程图，

图13是表示驾驶辅助装置的概略结构的框图，

图14是表示从车厢内远眺车辆前方时的状况的图，

图15A是表示第6实施方式的显示处理的前半部分的流程图，

图15B是表示第6实施方式的显示处理的前半部分的流程图，

图16是表示第6实施方式的显示处理的后半部分的流程图，

图17A是表示第7实施方式的显示处理的前半部分的流程图，

图17B是表示第7实施方式的显示处理的前半部分的流程图。

具体实施方式

(第1实施方式)

下面，根据附图说明第1实施方式。

驾驶辅助装置1被搭载于车辆中，如图1所示具有IR-LED2、摄像机3和5、图像采集板4和6、头顶显示器装置(以下称为HUD装置)7、以及控制部8。

IR-LED2朝向坐在车辆的驾驶员坐席上的人(以下称为驾驶员)的人脸照射近红外光。摄像机3是近红外线摄像机，连续拍摄驾驶员的人脸。另外，以下将通过摄像机3进行拍摄而取得的图像数据称为人脸图像数据。此外，图像采集板4临时储存由摄像机3取得的人脸图像数据。

摄像机5连续拍摄驾驶员越过挡风玻璃能够视觉识别的本车辆前方的风景(以下也称为前景)。另外，以下将通过摄像机5进行拍摄而取得的图像数据称为前景图像数据。图像采集板6临时储存由摄像机5取得的前景图像数据。

HUD装置7从挡风玻璃的下方朝向挡风玻璃照射用于显示图像的显示光。由此，驾驶员能够将该被投影的虚像叠加在车辆前方的实际风景上进行视觉识别。另外，HUD装置7在被设于挡风玻璃的下侧的矩形状的显示画面区域DR中显示图像(参照图2)。

控制部8根据来自图像采集板4、6的输入执行各种处理，并使用由摄像机3、5拍摄到的图像控制HUD装置7。另外，控制部8被输入了来自车速传感器9的检测信号，车速传感器9检测搭载有驾驶辅助装置1的车辆的行驶速度。

在这样构成的驾驶辅助装置1中，控制部8执行用于在被设于挡风玻璃上的显示画面区域DR中显示图像的显示处理。该显示处理是在驾驶辅助装置1的动作过程中反复执行的处理。

在执行该显示处理时，按照图3所示，首先在S10，控制部8从图像采集板4取得由摄像机3拍摄并被存储在图像采集板4中的人脸图像数据之中的、未由控制部8取得的人脸图像数据。然后在S20，从图像采集板6取得由摄像机5拍摄并被存储在图像采集板6中的前景图像数据之中的、未由控制部8取得的前景图像数据。

然后在S30，使用从图像采集板4取得的人脸图像数据，检测驾驶员的人脸朝向方向和视线方向。具体地讲，首先使用人脸形状模型进行从图像采集板4取得的人脸图像数据的匹配，由此检测驾驶员的人脸朝向方向。人脸形状模型是使用基本形状和n个(n为自然数)形状矢量进行计算来表述人的人脸形状的方法，基本形状利用三角形状的多个网格来表述正面人脸，形状矢量表示自基本形状起的人脸朝向方向(例如，参照“TakahiroIshikawa,SimonBaker,IainMatthews,andTakeoKanade,‘PassiveDriverGazeTrackingwithActiveAppearanceModels’,Proceedingsofthe11^thWordCongressonIntelligentTransportationSystems,October,2004.”)。另外，通过使用人脸形状模型的上述匹配，从人脸图像数据中提取驾驶员的眼睛，对所提取的眼睛进行图像识别处理(例如图案匹配)，由此检测驾驶员的视线方向。

然后在S40，根据在S30的检测结果，判定驾驶员的视线是否朝向显示画面区域DR。在此，在驾驶员的视线朝向显示画面区域DR的情况下(S40：是)，在S50，设定显示指示标志F1并进入S110。另一方面，在驾驶员的视线未朝向显示画面区域DR的情况下(S40：否)，在S60清除显示指示标志F1。

另外，在S70，根据在S30的检测结果判定驾驶员的视线是否朝向车辆外部。在此，在驾驶员的视线未朝向车辆外部的情况下(S70：否)，在S80清除注视标志F2并进入S110。

另一方面，在驾驶员的视线朝向车辆外部的情况下(S70：是)，在S90，根据在S30的检测结果，在前景图像数据内设定驾驶员正在注视的注视区域GR。具体地讲，如图4所示，根据驾驶员的视线方向，在前景图像数据内决定驾驶员注视的注视点GP，将以该注视点GP为中心的预先设定的矩形状的区域设为注视区域GR。然后，如图3所示，在S100，设定注视标志F2并进入S110。

然后，在进入S110后，判定是否设定了显示指示标志F1和注视标志F2。在此，在没有设定显示指示标志F1和注视标志F2的情况下(S110：否)，暂时结束显示处理。另一方面，在设定了显示指示标志F1和注视标志F2的情况下(S110：是)，在S120，根据通过S30的处理而提取的眼睛的形状，判定驾驶员是否眨眼了。

在此，在驾驶员眨眼了的情况下(S120：是)，在S130，在HUD装置7以动态图像显示注视区域GR内的前景图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的动态图像显示时间(例如5秒钟)，并暂时结束显示处理。另一方面，在驾驶员没有眨眼的情况下(S120：否)，在S140，在HUD装置7以静态图像显示驾驶员的视线朝向显示画面区域DR的时刻的注视区域GR内的前景图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的静态图像显示时间(例如5秒钟)，并暂时结束显示处理。

在这样构成的驾驶辅助装置1中，首先连续拍摄车辆的驾驶员的人脸来取得人脸图像数据(S10)，并且连续拍摄车辆的前方的风景来取得前景图像数据(S20)，然后使用所取得的人脸图像数据检测驾驶员的视线方向(S30)，并且根据检测出的视线方向设定驾驶员正在注视的注视区域GR(S90)。并且，HUD装置7将所取得的前景图像数据之中的注视区域GR内的图像数据显示在显示画面区域DR中，该显示画面区域DR被配置在驾驶员能够视觉识别的位置。

并且，根据视线方向的检测结果，判定驾驶员是否进行了将视线朝向显示画面区域DR的动作(S40)，在判定为驾驶员进行了将视线朝向显示画面区域DR的动作的情况下(S40：是)，使注视区域GR内的图像数据的显示开始(S50、S110、S130、S140)。

在这样构成的驾驶辅助装置1中，通过使驾驶员进行将视线朝向显示画面区域DR的动作，车辆的前方的风景中驾驶员注视的周边的注视区域GR的部分被显示在显示画面区域DR中，该显示画面区域DR被配置在驾驶员能够视觉识别的位置。即，为了在显示画面区域DR中显示注视区域GR，驾驶员不仅要注视车辆前方的某个区域，而且需要在注视后进行将视线朝向显示画面区域DR的动作。因此，能够在驾驶员期望的时候适当进行注视区域GR的显示，在只是单纯地注视车辆前方的风景的情况下，注视区域GR不会被显示在显示画面区域DR中。

并且，使用所取得的人脸图像数据判定驾驶员是否眨眼了(S120)，在驾驶员眨眼了的情况下(S120：是)，进行注视区域GR内的图像数据的动态图像显示(S130)。另一方面，在驾驶员没有眨眼的情况下(S120：否)，进行注视区域GR内的图像数据的静态图像显示(S140)。因此，在车辆的驾驶过程中不需操作按钮和开关等操作部件，即可容易进行动态图像显示和静态图像显示的切换。

在以上说明的实施方式中，S10的处理相当于人脸图像摄影单元和人脸图像摄影步骤，S30的处理相当于视线方向检测单元和视线方向检测步骤，S20的处理相当于风景图像摄影单元和风景图像摄影步骤，S90的处理相当于注视区域设定单元和注视区域设定步骤，HUD装置7相当于显示单元，S40的处理相当于视线动作判定单元和视线动作判定步骤，S50、S110的处理相当于显示开始单元和显示开始步骤，S120的处理相当于眨眼判定单元。

(第2实施方式)

下面，根据附图说明第2实施方式。另外，在第2实施方式中仅说明与第1实施方式不同的部分。

第2实施方式的驾驶辅助装置1除了变更了显示处理和追加了显示调整处理以外，其它与第1实施方式相同。

并且，第2实施方式的显示处理如图5所示省略了S120～S140的处理，而追加了S210～S240的处理，除此以外与第1实施方式相同。

即，在S110，在设定了显示指示标志F1和注视标志F2的情况下(S110：是)，在S210，检测位于本车辆前方的移动物体。具体地讲，通过在使用了前景图像数据的图像处理中求出光流，从前景图像数据内提取相对于本车辆而独立移动的区域，将所提取的区域检测为移动物体。

然后在S220，根据在S210的检测结果，判定移动物体是否存在于注视区域GR内。在此，在移动物体存在于注视区域GR内的情况下(S220：是)，在S230，在HUD装置7中以动态图像显示通过后述的显示调整处理而设定的显示区域内的前景图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的动态图像显示时间(例如5秒钟)，由此以动态图像显示移动物体，并暂时结束显示处理。

另一方面，在移动物体不存在于注视区域GR内的情况下(S220：否)，在S240，在HUD装置7中以静态图像显示驾驶员的视线朝向显示画面区域DR的时刻的注视区域GR内的前景图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的静态图像显示时间(例如5秒钟)，并暂时结束显示处理。

另外，显示调整处理是在驾驶辅助装置1的动作过程中由控制部8反复执行的处理。

在执行该显示调整处理时，控制部8按照图6所示，首先在S260，根据在S210的检测结果，判定移动物体是否存在于注视区域GR内。在此，在移动物体不存在于注视区域GR内的情况下(S260：否)，暂时结束显示调整处理。另一方面，在移动物体存在于注视区域GR内的情况下(S260：是)，在S270，以使检测出的移动物体位于显示画面区域DR的中心的方式设定显示区域，并暂时结束显示调整处理。

在这样构成的驾驶辅助装置1中，使用所取得的前景图像数据判定移动物体是否存在于注视区域GR内(S220)，在判定为移动物体存在于注视区域GR内的情况下(S220：是)，进行显示画面区域DR内的图像数据的动态图像显示(S230)。即，在移动物体存在于注视区域GR内的情况下，驾驶员不进行指示，而是自动以适合于移动物体的显示的方式(即动态图像显示)进行显示。因此，驾驶员通过观察显示画面区域DR，能够容易且迅速进行存在于车辆前方的移动物体的确认。

另外，在判定为移动物体存在于注视区域GR内的情况下(S260：是)，以使移动物体位于显示画面区域DR的中心的方式设定显示区域(S270)。由此，能够在适合于移动物体的显示的位置(即显示画面区域DR的中心)进行移动物体的显示，而不会由于移动物体移动到注视区域GR的外侧而导致移动物体不能显示在显示画面区域DR内。因此，驾驶员通过观察显示画面区域DR，能够容易且迅速进行存在于车辆前方的移动物体的确认。

在以上说明的实施方式中，S220、S260的处理相当于移动物体判定单元，S270的处理相当于第一显示区域设定单元。

(第3实施方式)

下面，根据附图说明第3实施方式。另外，在第3实施方式中仅说明与第1实施方式不同的部分。

第3实施方式的驾驶辅助装置1除了变更了显示处理和追加了显示调整处理以外，其它与第1实施方式相同。

并且，第3实施方式的显示处理如图7所示省略了S120～S140的处理，而追加了S310～S340的处理，除此以外与第1实施方式相同。

即，在S110，在没有设定显示指示标志F1和注视标志F2的情况下(S110：否)，暂时结束显示处理。另一方面，在设定了显示指示标志F1和注视标志F2的情况下(S110：是)，在S310，例如使用显著性图(saliencymap)(例如，参照“J.Harel,C.Koch,andP.Perona.‘Graph-BasedVisualSaliency’,NIPS2006”)，检测注视区域GR内的显著区域。另外，在本实施方式中，将在前景图像数据内相比其它区域亮度大不相同的区域定义为“显著区域”。例如，在道路标识存在于车辆行驶中的前景中的情况下，道路标识相当于显著区域。

然后在S320，根据在S310的检测结果，判定显著区域是否存在于注视区域GR内。在此，在显著区域存在于注视区域GR内的情况下(S320：是)，在S330，在HUD装置7中以动态图像显示通过后述的显示调整处理而设定的显示区域内的前景图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的动态图像显示时间(例如5秒钟)，由此以动态图像显示显著区域，并暂时结束显示处理。

另一方面，在显著区域不存在于注视区域GR内的情况下(S320：否)，在S340，在HUD装置7中以静态图像显示驾驶员的视线朝向显示画面区域DR的时刻的注视区域GR内的前景图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的静态图像显示时间(例如5秒钟)，并暂时结束显示处理。

在执行该显示调整处理时，按照图8所示，首先在S360，控制部8根据在S310的检测结果，判定显著区域是否存在于注视区域GR内。在此，在显著区域不存在于注视区域GR内的情况下(S360：否)，暂时结束显示调整处理。另一方面，在显著区域存在于注视区域GR内的情况下(S360：是)，在S370，以使检测出的显著区域位于显示画面区域DR的中心的方式设定显示区域，并暂时结束显示调整处理。

在这样构成的驾驶辅助装置1中，使用所取得的前景图像数据判定显著区域是否存在于注视区域GR内(S360)，在判定为显著区域存在于注视区域GR内的情况下(S360：是)，以使显著区域位于显示画面区域DR的中心的方式设定显示区域(S370)。

因此，例如当在车辆行驶中驾驶员通过周边视野视觉识别了前景内的显著区域(道路标识、看板或步行者等)的情况下，显著区域也被显示在显示画面区域DR的中心。因此，即使是在通过周边视野的视觉识别而能够确认到显著区域的存在本身、但不能准确确认其内容和状况的情况下，驾驶员也能够通过观察显示画面区域DR，容易且迅速进行存在于车辆前方的显著区域的确认。

另外，例如尽管在车辆行驶中驾驶员通过中心视野视觉识别了前景内的显著区域，但是由于视线方向的检测精度较差，即使是驾驶员实际注视的点和驾驶辅助装置1决定的注视点GP不同的情况下，显著区域也被显示在显示画面区域DR的中心。因此，即使是显著区域存在于偏离注视点GP的位置的情况下，也能够在适合于显示显著区域的位置(即显示画面区域DR的中心)进行显著区域的显示。因此，驾驶员通过观察显示画面区域DR，能够容易且迅速进行存在于车辆前方的显著区域的确认。

在以上说明的实施方式中，S360的处理相当于显著区域判定单元，S370的处理相当于第二显示区域设定单元。

(第4实施方式)

下面，根据附图说明第4实施方式。另外，在第4实施方式中仅说明与第1实施方式不同的部分。

第4实施方式的驾驶辅助装置1除追加了显示调整处理以外，其它与第1实施方式相同。

该显示调整处理是在驾驶辅助装置1的动作过程中由控制部8反复执行的处理。

在执行该显示调整处理时，控制部8按照图9所示，首先在S410，判定HUD装置7是否正在显示画面区域DR中显示静态图像。在此，在没有显示静态图像的情况下(S410：否)，暂时结束显示调整处理。

另一方面，当正在显示静态图像的情况下(S410：是)，在S420，根据在S30的检测结果，判定驾驶员的视线是否持续朝向显示画面区域DR的端部达预先设定的显示调整判定时间(在本实施方式中例如为2秒钟)。在此，在没有持续朝向显示画面区域DR的端部达显示调整判定时间的情况下(S420：否)，暂时结束显示调整处理。

另一方面，在持续朝向显示画面区域DR的端部达显示调整判定时间的情况下(S420：是)，在S430，如图10所示，以使显示画面区域DR的端部的驾驶员的注视点GP位于显示画面区域DR的中心的方式(参照箭头AL1)，设定前景图像数据内的显示区域，并暂时结束显示调整处理。由此，在显示画面区域DR中显示的静态图像进行滚动，以便使在显示画面区域DR的端部中驾驶员正在注视的部位成为显示画面区域DR的中心DC。

在这样构成的驾驶辅助装置1中，根据检测出的视线方向判定驾驶员是否正在注视显示画面区域DR的端部(S420)，在判定为正在注视显示画面区域DR的端部的情况下(S420：是)，以使在显示画面区域DR的端部中驾驶员正在注视的注视点GP位于显示画面区域DR的中心的方式设定显示区域(S430)。

因此，通过注视显示画面区域DR的端部，不需操作按钮和开关等操作部件，即可容易在前景图像数据内变更被显示于显示画面区域DR中的区域(显示区域)。

在以上说明的实施方式中，S420的处理相当于注视判定单元，S430的处理相当于第三显示区域设定单元。

(第5实施方式)

下面，根据附图说明第5实施方式。另外，在第5实施方式中仅说明与第1实施方式不同的部分。

第5实施方式的驾驶辅助装置1除变更了显示处理以外，其它与第1实施方式相同。并且，第5实施方式的显示处理如图11和图12所示省略了S110～S140的处理，并追加了S510～S520和S600～S720的处理，除此以外与第1实施方式相同。

即，在S90的处理结束时，在S510，使图像取得计数器C1增加(加1)。另外，图像取得计数器C1的值在驾驶辅助装置1的动作开始时被初始化并设定为0。并且，在S520，根据S70的判定结果，对于在驾驶员的视线朝向车辆外部的时刻拍摄到的前景图像数据，提取在S90设定的注视区域GR内的图像，将该提取的图像(以下称为注视区域图像)的数据与图像取得计数器C1的值(以下称为图像取得计数器值)相对应地进行保存，并进入S100。

另外，在S50、S80、S100的处理结束时，进入S600，判定是否设定了显示指示标志F1、而且图像取得计数器值是否大于1。在此，在显示指示标志F1被清除、或者图像取得计数器值为1以下的情况下(S600：否)，暂时结束显示处理。另一方面，在设定了显示指示标志F1、而且图像取得计数器值大于1的情况下(S600：是)，在S610，根据车速传感器9的检测结果，判定搭载了驾驶辅助装置1的车辆(以下称为本车辆)是否停止。在此，在本车辆未停止的情况下(S601：否)，在S620，将显示计数器C2的值(以下也称为显示计数器值)设定为图像取得计数器值。另外，在S630，将通过S520的处理而保存的注视区域图像中、对应于与显示计数器值一致的图像取得计数器值的注视区域图像的数据以静态图像显示在HUD装置7，并暂时结束显示处理。通过S620和S630的处理，所保存的注视区域图像中最新的注视区域图像被显示在显示画面区域DR中。

另一方面，在本车辆停止的情况下(S610：是)，在S640，根据在S30的检测结果，判定驾驶员的人脸朝向方向与视线方向的角度差是否在预先设定的显示判定角度(在本实施方式中例如为10°)以下。在此，在人脸朝向方向与视线方向的角度差为显示判定角度以下的情况下(S640：是)，进入S630。由此，对应于与显示计数器值一致的图像取得计数器值的注视区域图像被显示在显示画面区域DR中。

另外，在S640，在人脸朝向方向与视线方向的角度差大于显示判定角度的情况下(S640：否)，在S660，判定人脸朝向方向是否相比视线方向而朝向左侧。在此，在人脸朝向方向相比视线方向而朝向左侧的情况下(S660：是)，在S670，判定显示计数器值是否大于1。

在此，在显示计数器值大于1的情况下(S670：是)，在S680，使显示计数器C2减少(减1)，进入S700。另一方面，在显示计数器值是1的情况下(S670：否)，在S690，将显示计数器C2的值(显示计数器值)设定为图像取得计数器值，进入S700。

并且，在进入S700后，在HUD装置7以静态图像显示对应于与显示计数器值一致的图像取得计数器值的注视区域图像的数据，并暂时结束显示处理。

另外，在S660，在人脸朝向方向相比视线方向而朝向右侧的情况下(S660：否)，在S710，判定显示计数器值是否等于图像取得计数器值。在此，在显示计数器值等于图像取得计数器值的情况下(S710：是)，进入S730。另一方面，在显示计数器值不等于图像取得计数器值的情况下(S710：否)，在S720，使显示计数器C2增加(加1)，进入S730。并且，在进入S730后，在HUD装置7以静态图像显示对应于与显示计数器值一致的图像取得计数器值的注视区域图像的数据，并暂时结束显示处理。

下面，说明在这样构成的驾驶辅助装置1中将所保存的注视区域图像显示在显示画面区域DR中时的动作。

首先，当在驾驶员将视线朝向显示画面区域DR时车辆在行驶中的情况下(S600：是，S610：否)，所保存的注视区域图像中最新的注视区域图像被显示在显示画面区域DR中(S620，S630)。然后，当在车辆停止中驾驶员将视线朝向显示画面区域DR时(S600：是，S610：是)，首先所保存的注视区域图像中最新的注视区域图像被显示在显示画面区域DR中(S630)。并且，在驾驶员将视线朝向显示画面区域DR并同时将人脸朝向左侧时(S640：否，S660：是)，在当前显示中的注视区域图像前一个所取得的注视区域图像被显示在显示画面区域DR中(S680，S700)。并且，在驾驶员将视线朝向显示画面区域DR并同时将人脸朝向右侧时(S640：否，S660：否)，在当前显示中的注视区域图像后一个所取得的注视区域图像被显示在显示画面区域DR中(S720，S730)。

并且，当在显示了最早的注视区域图像时(显示计数器值＝1时)驾驶员将视线朝向显示画面区域DR并同时将人脸朝向左侧时(S640：否，S660：是)，所保存的注视区域图像中最新的注视区域图像被显示在显示画面区域DR中(S690，S700)。然后，当在显示了最新的注视区域图像时驾驶员将视线朝向显示画面区域DR并同时将人脸朝向右侧时(S640：否，S660：否)，维持显示最新的注视区域图像的状态(S710：是)。

在这样构成的驾驶辅助装置1中，从所取得的前景图像数据中提取注视区域GR内的图像，将所提取的注视区域图像数据按照时间序列进行保存(S510，S520)，将所保存的注视区域图像数据显示在显示画面区域DR中(S630，S700，S730)。并且，使用所取得的人脸图像数据检测驾驶员的人脸朝向方向(S30)，根据检测出的人脸朝向方向指示要显示的注视区域图像数据(S660～S690，S710～S720)。

由此，不仅能够将所注视的前景在进行注视的时刻显示于显示画面区域DR中进行确认，而且也能够预先拍摄多张注视区域图像并在以后一并进行确认。例如，即使是在由于正在驾驶中而不能在进行注视的时刻充分确认注视区域图像的情况下，也能够在将车停止后通过再次显示注视区域图像来充分确认注视区域图像。

另外，能够容易根据人脸朝向方向变更被显示在显示画面区域DR中的注视区域图像，而不需操作按钮和开关等操作部件。

在以上说明的实施方式中，S510、S520的处理相当于图像保存单元，S630、S700、S730的处理相当于保存图像显示单元，S30的处理相当于人脸朝向方向检测单元，S660～S690、S710～S720的处理相当于显示指示单元。

(第6实施方式)

下面，根据附图说明第6实施方式。

如图13所示，驾驶辅助装置101被搭载于车辆中，通过车内LAN102与导航ECU103、空调ECU104以及仪表ECU105连接。

导航ECU103构成为根据通过GPS(GlobalPositioningSystem)天线(未图示)接收到的GPS信号等，检测车辆的当前位置。并且，导航ECU103构成为执行用于将车辆的当前位置显示在导航装置的显示画面131(参照图14)中的控制、以及用于引导从当前位置到目的地的路径的控制等，该导航装置被配置在仪表盘部130(参照图14)。

另外，导航ECU103构成为根据来自音响操作开关组132(参照图14)的信号执行车载音响(未图示)的控制，音响操作开关组132设置在仪表盘部130，由驾驶员进行操作。另外，音响操作开关组132由在从CD、TV和收音机中切换要工作的设备时所操作的切换开关、当在切换上述要工作的设备后切换选择哪个频道或曲目时所操作的切换开关、以及在调整音量时所操作的音量设定开关等构成。

空调ECU104构成为根据来自空调操作开关组133(参照图14)的信号和来自车内外温度传感器(未图示)的检测信号，使车载空调(未图示)工作来控制车厢内的空气调和，空调操作开关组133设置在仪表盘部130，由驾驶员进行操作，车内外温度传感器检测车辆的车厢内部和外部的温度。另外，空调操作开关组133由在切换空调的工作/不工作时所操作的接通/断开开关、在调整设定温度时所操作的温度设定开关、在调整风量时所操作的风量设定开关、以及在调整吹出口位置时所操作的吹出口位置设定开关等构成。

仪表ECU105控制仪表部140(参照图14)，仪表部140设置在驾驶席的前方，用于显示车辆的各种状态。另外，仪表部140显示车速、自动变速机(未图示)的换挡范围、引擎旋转速度、汽油余量、自动/经济/控制(ACC)的状况、以及车道保持辅助系统(LKA)的状况等。

驾驶辅助装置101具有IR-LED2、摄像机3、图像采集板4、HUD装置7、右侧摄像机111、左侧摄像机112、后方摄像机113、图像采集板114和115和116、车内LAN通信部117、以及控制部118。

关于IR-LED2、摄像机3、图像采集板4、HUD装置7，与第1实施方式相同，因而省略说明。

右侧摄像机111设置在车辆的右端部(在本实施方式中指车辆右侧的侧后视镜151(参照图14))，通过连续拍摄车辆的右侧的状况来取得图像数据。

左侧摄像机112设置在车辆的左端部(在本实施方式中指车辆左侧的侧后视镜152(参照图14))，通过连续拍摄车辆的左侧的状况来取得图像数据。

后方摄像机113设置在车辆的后端部(在本实施方式中指后保险杠)，通过连续拍摄车辆的后方的状况来取得图像数据。

图像采集板114、115、116分别临时储存由摄像机111、112、113取得的图像数据。

车内LAN通信部117通过车内LAN102与连接于车内LAN102的各种设备(导航ECU103等)进行通信。

控制部118以包括CPU、ROM、RAM、I/O以及连接这些构成要素的总线等的公知的微处理器为中心而构成，根据ROM所存储的程序执行各种处理。

在这样构成的驾驶辅助装置101中，控制部118执行用于在设于挡风玻璃上的显示画面区域DR中显示图像的显示处理。该显示处理是在驾驶辅助装置101的动作过程中反复执行的处理。

在执行该显示处理时，控制部118按照图15A、图15B和图16所示，首先在S810，与S10相同地，从图像采集板4取得由摄像机3拍摄并被存储在图像采集板4中的人脸图像数据之中、未由控制部118取得的人脸图像数据。

然后在S820，与S30相同地，使用从图像采集板4取得的人脸图像数据，检测驾驶员的人脸朝向方向和视线方向。

然后在S830，根据在S820的检测结果，判定驾驶员的视线是否朝向显示画面区域DR。在此，在驾驶员的视线朝向显示画面区域DR的情况下(S830：是)，在S840，设定显示指示标志F1并进入S1070。另一方面，在驾驶员的视线未朝向显示画面区域DR的情况下(S830：否)，在S850清除显示指示标志F1。

然后在S860，根据在S820的检测结果，判定驾驶员的视线是否朝向导航装置的显示画面131。在此，在视线朝向导航装置的显示画面131的情况下(S860：是)，在S870设定导航注视标志F11，然后在S880，将其它的注视标志F12、F13、F14、F15、F16、F17清除，并进入S1070。另外，关于其它的注视标志，如后面所述是指仪表注视标志F12、音响注视标志F13、空调注视标志F14、右侧注视标志F15、左侧注视标志F16以及后方注视标志F17。

另一方面，在视线未朝向导航装置的显示画面131的情况下(S860：否)，在S890，根据在S820的检测结果判定驾驶员的视线是否朝向仪表部140。在此，在视线朝向仪表部140的情况下(S890：是)，在S900设定仪表注视标志F12，然后在S910，将仪表注视标志F12以外的注视标志清除，并进入S1070。

另一方面，在视线未朝向仪表部140的情况下(S890：否)，在S920，根据在S820的检测结果判定驾驶员的视线是否朝向音响操作开关组132。在此，在视线朝向音响操作开关组132的情况下(S920：是)，在S930设定音响注视标志F13，然后在S940，将音响注视标志F13以外的注视标志清除，并进入S1070。

另一方面，在视线未朝向音响操作开关组132的情况下(S920：否)，在S950，根据在S820的检测结果判定驾驶员的视线是否朝向空调操作开关组133。在此，在视线朝向空调操作开关组133的情况下(S950：是)，在S960设定空调注视标志F14，然后在S970，将空调注视标志F14以外的注视标志清除，并进入S1070。

另一方面，在视线未朝向空调操作开关组133的情况下(S950：否)，在S980，根据在S820的检测结果判定驾驶员的视线是否朝向车辆右侧的侧后视镜151。在此，在视线朝向右侧的侧后视镜151的情况下(S980：是)，在S990设定右侧注视标志F15，然后在S1000，将右侧注视标志F15以外的注视标志清除，并进入S1070。

另一方面，在视线未朝向右侧的侧后视镜151的情况下(S980：否)，在S1010，根据在S820的检测结果判定驾驶员的视线是否朝向车辆左侧的侧后视镜152。在此，在视线朝向左侧的侧后视镜152的情况下(S1010：是)，在S1020设定左侧注视标志F16，然后在S1030，将左侧注视标志F16以外的注视标志清除，并进入S1070。

另一方面，在视线未朝向左侧的侧后视镜152的情况下(S1010：否)，在S1040，根据在S820的检测结果判定驾驶员的视线是否朝向后景后视镜153(参照图14)。在此，在视线朝向后景后视镜153的情况下(S1040：是)，在S1050设定后方注视标志F17，然后在S1060，将后方注视标志F17以外的注视标志清除，并进入S1070。

并且，在进入S1070后，判定是否已设定显示指示标志F1、而且设定了注视标志F12、F13、F14、F15、F16、F17中的任意一个注视标志。在此，在没有设定显示指示标志F1和注视标志中至少任意一个注视标志的情况下(S1070：否)，暂时结束显示处理。另一方面，在已设定显示指示标志F1、并且设定了注视标志中的任意一个注视标志的情况下(S1070：是)，在S1080，判定是否设定了导航注视标志F11。

在此，在设定了导航注视标志F11的情况下(S1080：是)，在S1090执行导航画面显示处理，在导航画面显示处理结束后进入S1210。在导航画面显示处理中，具体地讲，从导航ECU103通过车内LAN102取得表示在导航装置的显示画面131上显示的图像的图像数据，并在HUD装置7显示所取得的图像数据，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

另一方面，在没有设定导航注视标志F11的情况下(S1080：否)，在S1100，判定是否设定了仪表注视标志F12。在此，在设定了仪表注视标志F12的情况下(S1100：是)，在S1110执行仪表部显示处理，在仪表部显示处理结束后进入S1210。在仪表部显示处理中，具体地讲，首先根据在S820的检测结果，在仪表部140中确定驾驶员的视线朝向的区域。并且，在仪表部显示处理中，从仪表ECU105通过车内LAN102取得在所确定的区域中显示的信息，并在HUD装置7显示所取得的信息，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

例如，在驾驶员的视线朝向在仪表部140中显示车速的区域的情况下，在仪表部显示处理中，从仪表ECU105取得表示车速的车速信息，并在HUD装置7显示表示所取得的车速信息的图像。

另一方面，在没有设定仪表注视标志F12的情况下(S1100：否)，在S1120，判定是否设定了音响注视标志F13。在此，在设定了音响注视标志F13的情况下(S1120：是)，在S1130执行音响操作开关显示处理，在音响操作开关显示处理结束后进入S1210。在音响操作开关显示处理中，具体地讲，首先根据在S820的检测结果，在音响操作开关组132中确定驾驶员的视线所朝向的开关。并且，在音响操作开关显示处理中，从导航ECU103通过车内LAN102取得根据所确定的开关的操作而设定的表示当前状况的设定状况信息，并在HUD装置7显示所取得的信息，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

例如，在驾驶员的视线朝向音量设定开关的情况下，在音响操作开关显示处理中，从仪表ECU105取得表示当前的音量的音量信息，并在HUD装置7显示表示所取得的音量信息的图像。

另外，在利用HUD装置7显示了通过音响操作开关显示处理而确定的开关的设定状况信息的情况下，导航ECU103根据在方向盘ST(参照图14)设置的转向开关161、162(参照图14)的操作，变更所确定的开关的设定状况。例如，在驾驶员的视线朝向音量设定开关的情况下，表示音量的图像被显示在显示画面区域DR中。并且，在驾驶员操作转向开关161时，从音响输出的音量变大，并且音量变大的图像被显示在显示画面区域DR中，相反在驾驶员操作转向开关162时，从音响输出的音量变小，并且音量逐渐变小的图像被显示在显示画面区域DR中。

另一方面，在没有设定音响注视标志F13的情况下(S1120：否)，在S1140，判定是否设定了空调注视标志F14。在此，在设定了空调注视标志F14的情况下(S1140：是)，在S1150执行空调操作开关显示处理，在空调操作开关显示处理结束后进入S1210。在空调操作开关显示处理中，具体地讲，首先根据在S820的检测结果，在空调操作开关组133中确定驾驶员的视线所朝向的开关。并且，在空调操作开关显示处理中，从空调ECU104通过车内LAN102取得根据所确定的开关的操作而设定的表示当前状况的设定状况信息，并在HUD装置7显示所取得的信息，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

例如，在驾驶员的视线朝向接通/断开开关的情况下，在空调操作开关显示处理中，从空调ECU104取得表示空调在工作中还是停止中的接通/断开信息，并在HUD装置7显示表示所取得的接通/断开信息的图像。

另外，在利用HUD装置7显示了通过空调操作开关显示处理而确定的开关的设定状况信息的情况下，空调ECU104根据在方向盘ST设置的转向开关161、162的操作，变更所确定的开关的设定状况。例如，在驾驶员的视线朝向接通/断开开关的情况下，表示接通/断开信息的图像被显示在显示画面区域DR中。并且，在驾驶员操作转向开关161时，空调的工作/不工作被切换，并且在显示画面区域DR中显示有表示空调在工作中还是停止中的图像。

另一方面，在没有设定空调注视标志F14的情况下(S1140：否)，在S1160，判定是否设定了右侧注视标志F15。在此，在设定了右侧注视标志F15的情况下(S1160：是)，在S1170执行右侧后视镜显示处理，在右侧后视镜显示处理结束后进入S1210。在右侧后视镜显示处理中，具体地讲，首先从图像采集板114取得由右侧摄像机111拍摄并被存储在图像采集板114中的图像数据。并且，在右侧侧后视镜显示处理中，将从图像采集板114取得的图像数据显示在HUD装置7中，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

另一方面，在没有设定右侧注视标志F15的情况下(S1160：否)，在S1180，判定是否设定了左侧注视标志F16。在此，在设定了左侧注视标志F16的情况下(S1180：是)，在S1190执行左侧后视镜显示处理，在左侧后视镜显示处理结束后进入S1210。在左侧后视镜显示处理中，具体地讲，首先从图像采集板115取得由左侧摄像机112拍摄并被存储在图像采集板115中的图像数据。并且，在左侧后视镜显示处理中，将从图像采集板115取得的图像数据显示在HUD装置7中，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

另一方面，在没有设定左侧注视标志F16的情况下(S1180：否)，在S1200执行后景后视镜显示处理，在后景后视镜显示处理结束后进入S1210。在后景后视镜显示处理中，具体地讲，首先从图像采集板116取得由后方摄像机113拍摄并被存储在图像采集板116中的图像数据。并且，在后景后视镜显示处理中，将从图像采集板116取得的图像数据显示在HUD装置7中，一直到从驾驶员的视线朝向显示画面区域DR的时刻起经过了预先设定的图像显示时间(例如3秒钟)。

另外，在进入S1210后，将显示指示标志F1清除，再在S1220将所有的注视标志F11、F12、F13、F14、F15、F16、F17清除，并暂时结束显示处理。

在这样构成的驾驶辅助装置101中，首先连续拍摄车辆的驾驶员的人脸，并取得人脸图像数据(S810)，然后使用所取得的人脸图像数据检测驾驶员的视线方向(S820)，并且根据检测出的视线方向判定驾驶员在注视导航装置的显示画面131、仪表部140、音响操作开关组132、空调操作开关组133、车辆右侧的侧后视镜151、车辆左侧的侧后视镜152、以及后景后视镜153中的哪一个(S860、S890、S920、S950、S980、S1010、S1040)。

并且，根据视线方向的检测结果判定驾驶员是否进行了将视线朝向显示画面区域DR的动作(S830)，在判定为驾驶员进行了将视线朝向显示画面区域DR的动作的情况下(S830：是)，在具有显示画面区域DR的HUD装置7开始显示根据驾驶员注视的区域而预先设定的内容的显示信息，该显示画面区域DR被配置在驾驶员能够视觉识别的位置(S840、S1070、S1090、S1110、S1130、S1150、S1170、S1190、S1200)。

在这样构成的驾驶辅助装置101中，通过使驾驶员进行将视线朝向显示画面区域DR的动作，根据驾驶员注视的注视区域而预先设定的内容的显示信息被显示在显示画面区域DR中，该显示画面区域DR被配置在驾驶员能够视觉识别的位置。即，为了在显示画面区域DR中显示根据驾驶员注视的注视区域而预先设定的内容的显示信息，驾驶员不仅要注视车辆的某个区域，而且在注视后需要进行将视线朝向显示画面区域DR的动作。因此，能够在驾驶员期望的时候适当进行与注视区域对应的内容的显示信息的显示，在只是单纯地注视某个区域的情况下，注视区域不会被显示在显示画面区域DR中。

另外，在导航装置的显示画面131包含在注视区域内的情况下(S1080：是)，将在导航装置的显示画面131中显示的图像显示于HUD装置7(S1090)。因此，能够在驾驶员期望的时候适当进行在显示画面131中显示的图像向显示画面区域DR的显示，在驾驶员只是单纯地注视显示画面131的情况下，在显示画面131中显示的图像不会被显示于显示画面区域DR中。

另外，在利用仪表部140显示的车辆状态信息(例如车速)包含在注视区域内的情况下(S1100：是)，将包含在注视区域内的车辆状态信息显示于HUD装置7(S1100)。因此，能够在驾驶员期望的时候适当进行将利用仪表部140显示的车辆状态信息显示在显示画面区域DR中，在驾驶员只是单纯地注视仪表部140的情况下，利用仪表部140显示的车辆状态信息不会被显示于显示画面区域DR中。

另外，在变更被搭载于车辆的车载音响和车载空调的动作状态时操作的音响操作开关组132和空调操作开关组133，被配置在驾驶员能够视觉识别的仪表盘部130，在音响操作开关组132以及空调操作开关组133的开关包含在注视区域内的情况下(S1120：是，S1140：是)，将表示能够利用包含在注视区域内的开关进行变更的当前的动作状态的信息显示于HUD装置7(S1130、S1150)。因此，能够在驾驶员期望的时候适当进行将表示能够利用开关组132、133的开关进行变更的当前的动作状态的信息显示在显示画面区域DR中，在驾驶员只是单纯地注视音响操作开关组132或者空调操作开关组133的情况下，表示能够利用音响操作开关组132或者空调操作开关组133的开关进行变更的动作状态的信息不会被显示于显示画面区域DR中。

另外，摄像机111、112、113连续拍摄在用于确认车辆的后方的反射镜151、152、153中映入的风景，并取得车辆的后方的风景图像。并且，在后视镜151、152、153包含在注视区域内的情况下(S1160：是，S1180：是，S1180：否)，将由摄像机111、112、113取得的风景图像显示于HUD装置7(S1170、S1190、S1200)。因此，能够在驾驶员期望的时候适当进行将由摄像机111、112、113取得的风景图像显示在显示画面区域DR中，在驾驶员只是单纯地注视后视镜151、152、153的情况下，由摄像机111、112、113取得的风景图像不会被显示于显示画面区域DR中。

在以上说明的实施方式中，S810的处理相当于人脸图像摄影单元及人脸图像摄影步骤，S820的处理相当于视线方向检测单元及视线方向检测步骤，S860、S890、S920、S950、S980、S1010、S1040的处理相当于注视区域设定单元及注视区域设定步骤，S830的处理相当于视线动作判定单元及视线动作判定步骤，S840、S1070、S1090、S1110、S1130、S1150、S1170、S1190、S1200的处理相当于显示开始单元及显示开始步骤。

另外，显示画面131相当于车厢内显示画面，仪表部140相当于车辆状态显示单元，音响操作开关组132以及空调操作开关组133相当于操作部，后视镜151、152、153相当于车载用反射镜，摄像机111、112、113相当于后方风景图像摄影单元。

(第7实施方式)

下面，根据附图说明第7实施方式。另外，在第7实施方式中仅说明与第6实施方式不同的部分。

第7实施方式的驾驶辅助装置101除变更了显示处理以外，其它与第6实施方式相同。

并且，第7实施方式的显示处理如图17A和图17B所示追加了S835的处理，除此以外与第6实施方式相同。

即，在S830，在驾驶员的视线朝向显示画面区域DR的情况下(S830：是)，在S835，根据通过S820的处理而提取的眼睛的形状，判定驾驶员是否眨眼了。

在此，在驾驶员眨眼了的情况下(S835：是)，进入S840。另一方面，在驾驶员没有眨眼的情况下(S835：否)，进入S1070。

在这样构成的驾驶辅助装置101中，使用所取得的人脸图像数据判定驾驶员是否眨眼了(S835)。并且，驾驶辅助装置101在判定为驾驶员进行了将视线朝向显示画面区域DR的动作(S830：是)，而且判定为驾驶员眨眼了的情况下(S835：是)，使HUD装置7开始显示信息的显示。

在这样构成的驾驶辅助装置101中，为了在显示画面区域DR中显示注视区域GR，驾驶员不仅要注视车辆的前方的某个区域，而且在注视后除了进行将视线朝向显示画面区域DR的动作外，还需要进行眨眼。即，尽管驾驶员不期望注视区域GR的显示，但是当在注视后驾驶员进行了将视线朝向显示画面区域DR的动作的情况下，由于驾驶员不进行眨眼，因而驾驶辅助装置101不进行显示信息的显示。因此，驾驶辅助装置101能够更恰当地判定驾驶员是否期望注视区域GR的显示。

在以上说明的实施方式中，S835的处理相当于眨眼判定单元。

例如，在上述实施方式中示出了使用HUD装置7在挡风玻璃显示图像，然而也可以是，例如在车厢内的驾驶员前方配置如液晶显示装置那样具有显示画面的装置，在该显示画面中显示注视区域图像。

另外，在上述第2、第3实施方式中示出了将移动物体和显著区域显示在显示画面区域DR的中心，然而也可以是，利用四边形等将被显示在显示画面区域DR内的移动物体和显著区域包围起来进行高亮显示，由此使容易识别移动物体和显著区域的存在。

另外，在上述第5实施方式中示出了在驾驶员注视时保存注视区域图像数据，然而也可以如上述第1实施方式那样，通过使驾驶员进行将视线朝向显示画面区域DR的动作，仅将车辆的前方的风景中驾驶员注视的周边的注视区域GR的部分被显示在显示画面区域DR中时的注视区域图像数据保存，该显示画面区域DR被配置在驾驶员能够视觉识别的位置。并且，也可以是，在驾驶员注视并按下取得按钮时保存注视区域图像数据。

另外，在上述第5实施方式中示出了根据车速传感器9的检测结果判定本车辆是否停止，然而也可以是，例如在换挡位置是驻车(P)时或者施加了侧刹车时，判定为本车辆已停止。

另外，在上述第6实施方式中示出了将在导航装置的显示画面131显示的图像显示在HUD装置7中。然而也可以是，当在车厢内设置有智能电话的情况下，在驾驶员注视智能电话的显示画面时，将在智能电话的显示画面上显示的图像显示在HUD装置7中。在这种情况下，例如也可以构成为能够在导航装置和智能电话之间进行无线通信，驾驶辅助装置101从导航ECU103通过车内LAN102取得表示在智能电话的显示画面上显示的图像的图像数据。

另外，在上述第6实施方式中示出了摄像机111、112被设置在侧后视镜151、152，但摄像机111、112也可以设置在车辆的后部。

另外，在上述第6实施方式中示出了后方摄像机113被设置在后保险杠，但后方摄像机113也可以设置在后景后视镜153的附近。

另外，在上述第6实施方式中示出了将由摄像机111、112、113拍摄到的图像显示在HUD装置7中，然而也可以是，通过对由右侧摄像机111、左侧摄像机112及后方摄像机113拍摄到的图像进行加工，将以坐在驾驶席上的驾驶员的视点观察右侧的侧后视镜151、左侧的侧后视镜152及后景后视镜153得到的图像，显示在显示画面区域DR中。

另外，在上述第6实施方式中示出了使用HUD装置7显示图像，但不限于此，只要是能够在驾驶员的前方显示图像的装置(例如液晶显示器)即可。

另外，在上述第6实施方式中示出了将由摄像机111、112、113取得的图像数据分别存储在图像采集板114、115、116中，但也可以将由摄像机111、112、113取得的图像数据存储在一个图像采集板中。

关于本发明，根据实施例进行了说明，但不能理解为本发明限定于该实施例和构造。本发明包含各种变形例和均等范围内的变形。另外，各种组合或方式、以及在这些组合或方式中仅包含一个要素、或包含一个以上的要素或者少于一个要素的其它组合或方式，也都纳入在本发明的范畴和思想范围内。

Claims

1.一种驾驶辅助装置，其特征在于，该驾驶辅助装置具有：

人脸图像摄影单元(S10、S810)，连续拍摄车辆的驾驶员的人脸并取得人脸图像；

视线方向检测单元(S30、S820)，使用由所述人脸图像摄影单元取得的人脸图像，检测所述驾驶员的视线方向；

注视区域设定单元(S90、S860、S890、S920、S950、S980、S1010、S1040)，根据由所述视线方向检测单元检测出的视线方向，设定所述驾驶员正在注视的注视区域；

显示单元(7)，具有被配置在所述驾驶员能够视觉识别的位置的显示画面；

视线动作判定单元(S40、S830)，根据所述视线方向检测单元的检测结果，判定所述驾驶员移动视线的动作、与预先设定的用于指示所述显示单元开始显示的显示开始指示动作是否一致；

显示开始单元(S50、S110、S840、S1070、S1090、S1110、S1130、S1150、S1170、S1190、S1200)，在所述视线动作判定单元判定为所述驾驶员移动视线的动作与所述显示开始指示动作一致的情况下，使所述显示单元开始显示根据由所述注视区域设定单元设定的所述注视区域而预先设定的内容的显示信息；

风景图像摄影单元(S20)，该风景图像摄影单元连续拍摄所述车辆的前方的风景，并取得风景图像；

图像保存单元(S510、S520)，从由所述风景图像摄影单元取得的所述风景图像中提取由所述注视区域设定单元设定的所述注视区域内的图像，并按照时间序列保存所提取的图像；

保存图像显示单元(S630、S700、S730)，显示由所述图像保存单元保存的图像；

人脸朝向方向检测单元(S30)，使用由所述人脸图像摄影单元取得的人脸图像，检测所述驾驶员的人脸朝向方向；以及

显示指示单元(S660～S690、S710～S720)，根据由所述人脸朝向方向检测单元检测出的人脸朝向的方向，指示由所述保存图像显示单元显示的图像，

其中，

所述显示单元将由所述风景图像摄影单元取得的所述风景图像中、预先设定的显示区域内的图像显示在所述显示画面中，所述显示开始单元将由所述注视区域设定单元设定的所述注视区域设定为所述显示区域，并将由所述风景图像摄影单元取得的所述风景图像中的所述显示区域内的图像设定为所述显示信息。

2.根据权利要求1所述的驾驶辅助装置，所述驾驶辅助装置还具有眨眼判定单元(S120)，该眨眼判定单元使用由所述人脸图像摄影单元取得的人脸图像，判定所述驾驶员是否眨眼了，

在由所述眨眼判定单元判定为所述驾驶员眨眼了的情况下，所述显示单元进行所述显示区域内的图像的动态图像显示，在由所述眨眼判定单元判定为所述驾驶员没眨眼的情况下，所述显示单元进行所述显示区域内的图像的静态图像显示。

3.根据权利要求1所述的驾驶辅助装置，所述驾驶辅助装置具有移动物体判定单元(S220、S260)，该移动物体判定单元使用由所述风景图像摄影单元取得的所述风景图像，判定移动物体是否存在于由所述注视区域设定单元设定的所述注视区域内，

在所述移动物体判定单元判定为所述移动物体存在于所述注视区域内的情况下，所述显示单元进行所述显示区域内的图像的动态图像显示。

4.根据权利要求3所述的驾驶辅助装置，所述驾驶辅助装置具有第一显示区域设定单元(S270)，在所述移动物体判定单元判定为所述移动物体存在于所述注视区域内的情况下，该第一显示区域设定单元以使所述移动物体位于所述显示画面的中心的方式设定所述显示区域。

5.根据权利要求1所述的驾驶辅助装置，所述驾驶辅助装置具有：

显著区域判定单元(S360)，使用由所述风景图像摄影单元取得的所述风景图像，判定显著区域是否存在于由所述注视区域设定单元设定的所述注视区域内；以及

第二显示区域设定单元(S370)，在所述显著区域判定单元判定为所述显著区域存在于所述注视区域内的情况下，以使所述显著区域位于所述显示画面的中心的方式设定所述显示区域。

6.根据权利要求1～5中任意一项所述的驾驶辅助装置，所述驾驶辅助装置具有：

注视判定单元(S420)，根据由所述视线方向检测单元检测出的视线方向，判定所述驾驶员是否正在注视所述显示画面的周缘部；以及

第三显示区域设定单元(S430)，在所述注视判定单元判定为所述驾驶员正在注视所述显示画面的周缘部的情况下，以使所述显示画面的周缘部中所述驾驶员正在注视的点位于所述显示画面的中心的方式设定所述显示区域。