CN109866683A - 车辆用驾驶支援装置 - Google Patents

车辆用驾驶支援装置 Download PDF

Info

Publication number
CN109866683A
CN109866683A CN201811341131.0A CN201811341131A CN109866683A CN 109866683 A CN109866683 A CN 109866683A CN 201811341131 A CN201811341131 A CN 201811341131A CN 109866683 A CN109866683 A CN 109866683A
Authority
CN
China
Prior art keywords
driver
sight
driving
driving assist
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811341131.0A
Other languages
English (en)
Inventor
唐木悟
斋藤荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109866683A publication Critical patent/CN109866683A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种车辆用驾驶支援装置，其实现一种能够自驾驶后马上高品质地检测驾驶员的视线的技术。在开始驾驶前，根据视线被诱导至规定位置的驾驶员的拍摄图像检测驾驶员特有的视线信息，并将检测到的驾驶员特有的视线信息作为校正值而使用，从而校正在驾驶过程中检测的所述驾驶员的视线信息。

Description

车辆用驾驶支援装置
技术领域
本发明是涉及一种车辆用驾驶支援装置及车辆用驾驶支援装置程序。
背景技术
以往，已知有检测驾驶员的状态，并警告打瞌睡、不专注驾驶等的驾驶支援装置(例如，参照专利文献1)。专利文献1所记载的驾驶支援装置中，积累驾驶员在驾驶中的数据，并利用统计的方法检测驾驶员的状态，从而对驾驶员警告打瞌睡、不专注驾驶等。此外，也已知有从驾驶员的脸的朝向推测驾驶员的视线的技术(例如，参照专利文献2)。
现有技术文献
专利文献
专利文献1:
日本特开平10-244892号公报(1988年9月14日公开)
专利文献2:
日本特开2017-151694号公报(2017年8月31日公开)
发明内容
本发明所要解决的技术问题
然而，如上所述的现有技术中存在有如下问题:不能够自驾驶后马上高品质地检测驾驶员的视线。
本发明的一个方面的目的在于，实现一种自驾驶后马上高品质地检测驾驶员的视线的技术。
解决问题的方案
为了解决上述课问题，根据本发明的一个方式的车辆用驾驶支援装置的构成如下，包括:
拍摄部，其拍摄车辆的驾驶员；视线检测部，其根据所述拍摄部拍摄到的图像检测所述驾驶员的视线信息；视线诱导部，其在所述驾驶员开始驾驶前，将所述驾驶员的视线诱导至规定位置，所述视线检测部中，根据视线被所述视线检测部诱导至所述规定位置的所述驾驶员的拍摄图像，检测所述驾驶员特有的视线信息，并将检测到的所述驾驶员特有的视线信息作为校正值而使用，从而校正在驾驶过程中检测的所述驾驶员的视线信息。
发明效果
根据本发明的一个方式，能够自驾驶后马上高品质地检测驾驶员的视线。
附图说明
图1是示出第一实施方式涉及的车辆用驾驶支援装置100的简要构成的框图。
图2是示出第一实施方式涉及的车辆用驾驶支援装置100的各部分的配置构成的示意图。
图3的(a)～(e)是示出由摄像部10拍摄到的相同驾驶员的摄像图像的例子的图。
图4的(a)及图4的(b)是示出由摄像部10拍摄到的不同驾驶员的摄像图像的例子的图。
图5是示出第二实施方式涉及的车辆用驾驶支援装置200的各部分的配置构成的示意图。
图6是示出第三实施方式涉及的车辆用驾驶支援装置300的各部分的配置构成的示意图。
图7是示出第四实施方式涉及的车辆用驾驶支援装置400的简要构成的框图。
图8是示出第四实施方式涉及的车辆用驾驶支援装置400的各部分的配置构成的示意图。
具体实施例
[第一实施方式]
下面，详细地说明本发明的第一实施方式。图1是示出第一实施方式所涉及的车辆用驾驶支援装置100的简要构成的框图。车辆用驾驶支援装置100是为了监视驾驶员是否正打瞌睡驾驶、不专注驾驶等的危险驾驶，检测车辆的驾驶员的视线的装置。
(车辆用驾驶支援装置100的构成)
如图1所示，车辆用驾驶支援装置100包含控制部30、拍摄部10、光源20、显示部70。车辆用驾驶支援装置100的各部分具体的如后述地适当地被配设于车辆的内部。
控制部30是具备整体地控制车辆用驾驶支援装置100的各部分功能的运算装置。控制部30例如一个以上的处理器(例如CPU等)通过存储于一个以上的存储器(例如RAM、ROM等)的程序，从而控制车辆用驾驶支援装置100的各构成单元。
拍摄部10为例如CMOS、CCD等的图像传感器和透镜所组合成的组件。此外，拍摄部10也可以搭载用于分离光源20的照射光、与环境光的波长的带通滤波器。并且，拍摄部10的图像传感器使用可拍摄光源20照射的光的波长的图像传感器。
光源20是在拍摄部10上用于拍摄车辆的驾驶员的光源，对于车辆的驾驶员而言，照射不会对驾驶造成妨碍地的800～1000nm的近红外波长的光。
显示部70是根据后述的显示控制部34的控制可以对图像进行显示器显示的显示设备。
(控制部30的构成)
控制部30包含拍摄控制部31、视线诱导部32、视线检测部33、显示控制部34。
拍摄控制部31控制光源20的发光、和拍摄部10的拍摄。拍摄控制部31控制光源20的发光，将来自光源20的光朝向并照射至拍摄对象、即车辆的驾驶员，尤其是驾驶员的眼球。拍摄控制部31拍摄被来自光源20的光照射的驾驶员，尤其是驾驶员的眼球。
在所述驾驶员开始驾驶车辆前，视线诱导部32将所述驾驶员的视线诱导至规定位置。视线诱导部32例如，生成根据显示控制部34的功能在显示部70中显示的、用于将驾驶员的视线诱导至规定位置的诱导信息。视线诱导部32例如，生成用于将驾驶员的视线依次诱导至仪表盘部90、后视镜部40、右视镜部50、左视镜部60、仪表盘部90(参照图2)的诱导信息。
视线检测部33根据拍摄部10拍摄到的图像检测驾驶员的视线信息。此外，视线检测部33具体如后述，根据由视线诱导部32视线被诱导至规定位置的驾驶员在开始驾驶前的拍摄图像，检测驾驶员特有的视线信息。视线检测部33将根据开始驾驶前的驾驶员的拍摄图像检测到的驾驶员特有的视线信息设为驾驶员的视线的初始值。视线检测部33将此驾驶员的视线的初始值设为校正值而使用，从而校正在行驶过程中检测的驾驶员的视线信息。
视线检测部33例如，存储根据通过视线诱导部32视线被诱导的位于各规定位置的驾驶员的拍摄图像检测到的视线的、位于诱导位置之间的视线的移动量。然后，视线检测部33基于在各诱导位置之间的视线的移动量，计算驾驶员的视野(例如180度)内的视线移动校正值。
视线检测部33例如，也可以根据在视线被诱导至后视镜部40和左右视镜部50、60时的驾驶员的视线的移动量，通过推算其间的视线移动量从而计算校正值。然后，视线检测部33基于包含其推算的值即视线移动校正值，实行(关联)视线移动的判断，将校正值适当用于行驶过程中的视线移动量，从而提高判断品质。
显示控制部34将视线诱导部32产生的用于将驾驶员的视线诱导至规定位置的诱导信息输出至显示部70，从而进行控制显示器显示。
(车辆中的各部分的配置构成)
图2是示意性示出车辆8中的车辆用驾驶支援装置100的各部分的配置构成的图。如图2所示，车辆8具备显示时速、油压、电池电压、及其它警报的部分的仪表盘部90、和方向盘装置80。此外，车辆8具备包含后视镜部40、右视镜部50、左视镜部60及仪表盘部90的驾驶辅助装置。
仪表盘部90配设于比驾驶员的脸靠下方向的位置。后视镜部40配设于比驾驶员的脸靠上方向的位置。右视镜部50配设于比驾驶员的脸靠右方向的位置。左视镜部60配设于比驾驶员的脸靠左方向的位置。
拍摄部10优选设置在与操作方向盘装置80的驾驶员的脸对置的位置。拍摄部10例如，可以配置在仪表盘部90内。在拍摄部10配置在仪表盘部90内的构成中，拍摄部10从比驾驶员的脸靠下方向的位置拍摄驾驶员。
光源20设置在拍摄部10的附近，并朝向拍摄部10的拍摄对象地照射光。
控制部30配置在例如仪表盘部90的附近的仪表板内部。
显示部70设置于例如中控台。
(计算校正值的处理)
在驾驶员开始驾驶车辆8之前，车辆用驾驶支援装置100首先计算用于校正在行驶过程中检测的驾驶员的视线信息的校正值。图3的(a)～(e)是示出在计算校正值时，由摄像部10拍摄到的同一驾驶员的摄像图像的例子的图。图4的(a)、(b)是示出不同驾驶员的拍摄图像的例子的图。
控制部30根据视线诱导部32的功能，在驾驶员开始驾驶前，将驾驶员的视线依次诱导至规定的多个位置的同时，以向各位置送出规定时间(例如1秒至10秒之间的任意时间)视线的方式进行指示。视线诱导部32例如，首先将驾驶员的视线诱导至仪表盘部90。此外，在此时，拍摄控制部31通过光源20向驾驶员的眼球照射近红外光，并通过拍摄部10拍摄驾驶员。图3的(a)是示出视线被诱导至仪表盘部90的驾驶员的摄像图像的例子的图。
视线诱导部32其次将驾驶员的视线诱导至后视镜部40，再其次将驾驶员的视线诱导至右视镜部50，接着将驾驶员的视线诱导至左视镜部60，最後将驾驶员的视线诱导至仪表盘部90，从而驾驶员的视线应巡一周地诱导。此外，视线诱导部32也可以在完成向全部诱导位置的驾驶员的视线的诱导后，将视线诱导动作完成了的主旨通过显示在显示部70的信息来通知驾驶员。
拍摄控制部31在视线诱导部32的各诱导位置，通过光源20向驾驶员的眼球照射近红外光，并通过拍摄部10拍摄驾驶员。
图3的(b)是示出视线被诱导至后视镜部40的驾驶员的摄像图像的例子的图。图3的(c)是示出视线被诱导至右视镜部50的驾驶员的摄像图像的例子的图。图3的(d)是示出视线被诱导至左视镜部60的驾驶员的摄像图像的例子的图。然后，图3的(e)是示出在最后，视线被再次诱导至仪表盘部90的驾驶员的摄像图像的例子的图。
视线检测部33根据视线被诱导至各诱导位置的驾驶员的拍摄图像检测包含驾驶员的左右眼球的方向、眼球的移动的视线信息。仪表盘部90、后视镜部40、右视镜部50、左视镜部60的位置是已知的。因此，视线检测部33参照他们的位置、和左右眼球的方向及动作中的至少一个，来检测驾驶员的视线信息。
向仪表盘部90、后视镜部40、右视镜部50、及左视镜部60送出视线，并确认各部分的一系列的动作作为驾驶员在开始驾驶前进行的普通的检查工作没有感觉不协调。由此，将用于检测开始驾驶前的驾驶员的视线信息的上述一系列处理，作为提醒在汽车行驶前的检查的内容向驾驶员提示，由此将驾驶员的视线诱导至这些规定位置，并通过将检查时的眼球的移动作为视线信息来检测，由此不存在成为驾驶员的负担的情况，能够进行驾驶员的视线的初始值即校正值的检测。
并且，视线诱导部32诱导驾驶员的视线的位置也可以包含显示部70及方向盘装置80。此外，视线诱导部32将驾驶员的视线诱导至多个位置时的诱导顺序也可以按任意顺序构成。并且，视线诱导部32诱导驾驶员的视线的位置也可以用任意的标记(例如星星标记等)易于理解地显示。
视线检测部33将根据在各诱导位置拍摄到的图像检测到的视线信息即驾驶员特有的眼球的移动(眼球的移动量)注册为校正值。并且，视线检测部33也可以在每次开始驾驶前，进行上述一系列处理来计算驾驶员特有的校正值。此外，也可以构成为:视线检测部33将校正值与驾驶员相关联地存储，并根据拍摄部10拍摄到的驾驶员的拍摄图像确定驾驶员，若为已有的驾驶员，则不重新计算校正值，在第二次之后的驾驶开始时，使用眼球的移动完成的校正值。
图4的(a)、(b)是示出视线被诱导至后视镜部40的不同驾驶员的摄像图像的例子的图。图4的(a)示出某一驾驶员的视线信息，图4的(b)示出另一驾驶员的视线信息。如此，将实现送出到各驾驶辅助装置时的视线的移动量根据驾驶员的座椅高度、头移动的方式等因每个驾驶员而异。因此，通过将驾驶员特有的视线信息用作校正值，由此可以高品质地检测驾驶员的视线信息。
此外，即使同一驾驶员，也因座椅的设定位置、坐姿等，存在将视线向各驾驶辅助装置送出时的视线的移动量每次驾驶都不同的情况。由此，控制部30设为在开始驾驶前每一次都计算校正值的构成，由此可以更高品质地检测驾驶员的视线。
此外，视线诱导部32也可以在汽车行驶前，通过向驾驶员提示提醒座椅的前后、高度位置的调整的内容的诱导信息，将驾驶员的视线诱导至仪表盘部90、后视镜部40、右视镜部50及左视镜部60等的规定位置。然后，视线检测部33也可以构成为，将驾驶员在调整座席时的眼球的移动作为视线信息而检测并作为驾驶员的视线的初始值即校正值。
视线诱导部32也可以在汽车行驶前，通过向驾驶员提示提醒后视镜部40、左右视镜部50、60的位置的调整的内容的诱导信息，将驾驶员的视线诱导至规定位置。然后，视线检测部33也可以构成为，将驾驶员在调整后视镜部40、左右视镜部50、60时的眼球的移动作为视线信息而检测并作为驾驶员的视线的初始值即校正值。
此外，控制部30也可以构成为，针对多名驾驶员的各人存储各驾驶员的视线的初始值即校正值的同时，各驾驶员在行驶过程中根据视线检测部33的功能积累检测到的视线信息。控制部30也可以参照积累到的驾驶员的视线信息来分析各驾驶员的视线的习惯等，并基于分析结果，进行安全驾驶的建议等的信息提供。此外，因为针对多名驾驶员的各人地累积视线信息，所以在车辆8的拥有者将车辆8借出给家人、朋友时、或交换驾驶时，其它驾驶员是怎样驾驶的可以通过回顾视线信息而知晓。
此外，也可以通过车辆用驾驶支援装置100与导航系统的协作，确定需要进行地图上的易疏忽的位置、视线不好的位置、事故多发的位置等的安全辅助的位置，若靠近其位置则检测驾驶员的视线信息，进行适当的安全驾驶的建议等的信息提供。
如此，在车辆用驾驶支援装置100中，根据由视线诱导部32视线被诱导至规定位置的的驾驶员在开始驾驶前的拍摄图像，检测驾驶员特有的视线信息，检测到的驾驶员特有的视线信息设为驾驶员的视线的初始值。然后，视线检测部33将此驾驶员的视线的初始值设为校正值而使用，从而校正在行驶过程中检测的驾驶员的视线信息。由此，可以正确地获得驾驶员特有的初始值。此外，驾驶员特有的初始值作为校正值而使用，通过校正在行驶过程中检测的驾驶员的视线信息，减轻行驶过程中的视线的计算量的同时，自开始驾驶后立即能够高品质地检测驾驶员的视线信息。由此，能够自驾驶后立即向驾驶员提供高品质的驾驶员信息。
此外，因为可以高品质地检测驾驶员的视线信息，所以通过解析在发生了例如交通事故时的驾驶员的视线信息，能够进行驾驶员是否不专注驾驶等的事故解析。此外，因为可以高品质地检测驾驶员的视线信息，所以可以进行例如正打瞌睡驾驶等的驾驶员的驾驶状况的解析，并能够进行安全驾驶的建议等的信息提供。
例如，可以进行驾驶员的驾驶状况的解析，如在高速道路上的行驶过程中，由视线检测部33检测到驾驶员的视线自正面偏移的情况是因疲劳导致驾驶员的姿势变化等。此外，例如，可以进行驾驶员的驾驶状况的解析，如在行驶过程中，由视线检测部33检测到驾驶员的视线不固定的情况是驾驶员感到不耐烦。然后，基于驾驶员的驾驶状况的解析结果，流出不专注的警告、提醒休息的告示等，可以极细致地实行安全驾驶的辅助。
[第二实施方式]
下面说明本发明的第二实施方式。此外，为了便于说明，对与在上述实施方式中说明的元件具有相同功能的元件，标注相同的附图标记，不重复其说明。此外，第二实施方式所涉及的车辆用驾驶支援装置200的简要构成与图1中示出的车辆用驾驶支援装置100相同，并省略其说明。
图5是示出车辆8中的、车辆用驾驶支援装置200的各部分的配置构成的示意图。
如图5所示，车辆用驾驶支援装置200与第一实施方式的车辆用驾驶支援装置100的不同之处在于，拍摄部以包含多个拍摄单元10、210、220、230而构成。
车辆用驾驶支援装置200在配置在与驾驶员相对的位置的拍摄单元10基础上，例如，还具备有配置在显示部70的上部的拍摄单元210、配置在右视镜部50的上部(柱部)的拍摄单元220、配置在左视镜部60的上部(柱部)的拍摄单元230、配置在后视镜部40的拍摄单元240。
如此，与用拍摄部10拍摄驾驶员相比，可以从各种角度拍摄驾驶员。并且，多个拍摄单元10、210、220、230、240只要分别设置在能够拍摄驾驶员的位置即可，其设置位置、或设置数不限定于位置及数量。
拍摄控制部31以多个拍摄单元10、210、220、230、240彼此同步地进行拍摄动作的方式控制。
视线检测部33中，多个拍摄单元10、210、220、230、240的每一个能够使用在同一时刻拍摄到的、源自其他角度的拍摄图像，检测驾驶员特有的视线信息。由此，可以更高精度地追求校正值，可以高品质地检测驾驶员的视线信息。
[第三实施方式]
下面说明本发明的第三实施方式。此外，为了便于说明，对与在上述实施方式中说明的元件具有相同功能的元件，标注相同的附图标记，不重复其说明。此外，第三实施方式所涉及的车辆用驾驶支援装置300的简要构成与图1中示出的车辆用驾驶支援装置100相同，并省略其说明。
图6是示出实施方式8中的、车辆用驾驶支援装置300的各部分的配置构成的示意图。
如图6所示，车辆用驾驶支援装置300与第一实施方式的车辆用驾驶支援装置100的不同之处在于，以包含语音输出部即右扬声器部310及左扬声器部320而构成。
视线诱导部32以利用显示在显示部70的诱导信息将驾驶员的视线诱导至规定位置，及利用从左右扬声器部310、320输出的语音导播将驾驶员的视线诱导至规定位置中的至少一个诱导方法，将驾驶员的视线诱导至规定位置。利用显示在显示部70的诱导信息将驾驶员的视线诱导至规定位置的方法中，驾驶员是在将视线送出至规定位置后，为了确认接下来送出视线的位置，需要确认显示部70的显示。另一方面，利用从左右扬声器部310、320输出的语音导播将驾驶员的视线诱导至规定位置的方法中，驾驶员不确认显示部70的显示，依据语音导播可以将视线送出至规定位置。通过采用利用从左右扬声器部310、320输出的语音导播将驾驶员的视线诱导至规定位置的方法，可以缩短将驾驶员的视线诱导至多个位置的巡一周的动作所花费的时间。由此，在驾驶员开始驾驶，可以用更短的时间计算用于校正视线信息的校正值。
并且，虽省略图示，但也可以在拍摄部10、后视镜部、左右视镜部50、60及仪表盘部90等的各视线诱导位置的附近设置指示灯。然后，视线诱导部32也可以通过使这些指示灯依次亮灯，从而诱导驾驶员的视线。如此，通过在显示在显示部70的诱导信息及从左右扬声器部310、320输出的语音导播中的至少一个中，结合使用指示灯的亮灯，可以更确切地将驾驶员的视线诱导至规定位置。
[第四实施方式]
下面说明本发明的第四实施方式。此外，为了便于说明，对与在上述实施方式中说明的元件具有相同功能的元件，标注相同的附图标记，不重复其说明。
图7是示出车辆用驾驶支援装置400的简要构成的框图。图8是示出车辆8中的、车辆用驾驶支援装置400的各部分的配置构成的示意图。
如图7及图8所示，车辆用驾驶支援装置400与第一实施方式的车辆用驾驶支援装置100的不同之处在于，以控制部430包含后视镜控制部435的同时，包含后视镜部410、左视镜摄像部440而构成。
控制部430根据后视镜控制部435的功能，控制后视镜部410的后述的左视镜视线检测时的动作部411、转向灯动作时的动作部412的动作。
左视镜拍摄部440与拍摄部10相同，为例如CMOS、CCD等的图像传感器和透镜所组合成的组件。左视镜拍摄部440依据拍摄控制部31的控制，拍摄与映在左视镜部60镜像相同的图像。
并且，方向盘装置80相对于车辆8的前进方向配置在左侧配置的车辆中，期望设置在右视镜部50的附近，以替代左视镜拍摄部440。
后视镜部410包含有左视镜视线检测时的动作部411、转向灯动作时的动作部412。左视镜视线检测时的动作部411及转向灯动作时的动作部412是内置于后视镜部410的、例如液晶显示器等的显示装置。左视镜视线检测时的动作部411及转向灯动作时的动作部412构成为，依据后视镜控制部435的控制，能够显示图像。
(车辆用驾驶支援装置400的动作)
车辆用驾驶支援装置400与第一实施方式中说明的车辆用驾驶支援装置100相同地，在驾驶员开始驾驶前，执行将驾驶员特有的视线信息作为校正值而检测的一系列的动作。在驾驶员进行的车辆8的行驶过程中使用在开始驾驶前计算到的校正值，高品质地检测行驶过程中的驾驶员的视线信息。
控制部430依据视线检测部33的功能，当在驾驶车辆8的过程中的驾驶员向左视镜部60送出所定时间(例如，1秒至3秒)视线时，依据拍摄控制部31的功能，获得左视镜拍摄部440的拍摄图像。控制部430依据后视镜控制部435的功能，将左视镜拍摄部440的拍摄图像显示在后视镜部410的一部分即左视镜视线检测时的动作部411。后视镜控制部435将左视镜视线检测时的动作部411上的左视镜拍摄部440的拍摄图像的显示动作保持所定时间(例如1秒至10秒)。
如此，可以通过左视镜拍摄部440拍摄与左视镜部60的镜像相同的图像，并将拍摄图像显示在后视镜部410中的至少一部分。由此，可以通过拍摄图像确认利用左视镜拍摄部440显示在后视镜部410的对于驾驶员而言难以确认的、离驾驶员远的左横方向及左横后方的信息，提高驾驶的安全性。
此外，在驾驶员为了向左车道变道而将转向灯动作的情况下，控制部430将左视镜拍摄部440的拍摄图像显示在后视镜部410的一部分即转向灯动作时的动作部412。如图8所示，转向灯动作时的动作部412具有比左视镜视线检测时的动作部411宽广的显示区域。
根据此构成，向左车道变道时，可以通过左视镜拍摄部440的拍摄图像确认利用左视镜拍摄部440显示在转向灯动作时的动作部412的对于驾驶员而言难以确认的、离驾驶员远的左横方向及左横后方的信息。由此，驾驶员可以容易地确认变道侧的信息，能够进行更安全的变道及转弯。
并且，转向灯动作时的动作部412的左视镜拍摄部440的拍摄图像的显示也可以通过视线检测部33，在检测到驾驶员向左视镜部60送出所定时间(例如，1秒至3秒)视线之后进行。由此，能够确认驾驶员是在规规矩矩地确认了左视镜部60之后，进行向左车道的变道，并能适当地进行安全驾驶的辅助。
(软件的实现例)
车辆用驾驶支援装置100的控制模块(尤其是拍摄控制部31、视线诱导部32、视线检测部33、及显示控制部34)可以通过由集成电路(IC芯片)等形成的逻辑电路(硬件)来实现，也可以通过软件来实现。
在后者的情况下，车辆用驾驶支援装置100具备有执行实现各功能的软件即程序的命令的计算机。该计算机具备例如至少一个处理器(控制装置)的同时，还具备有存储了上述程序的电脑可读取的至少一个存储介质。然后，在上述计算机中，上述处理器从上述记录介质读取上述程序并执行上述程序来实现本发明的目的。作为上述处理器，可以使用例如CPU(Central Processing Unit)。作为上述记录介质，“非暂时性有形介质”例如可以使用除了ROM(Read Only Memory)等以外、还可以使用磁带、磁盘、卡、半导体存储器、可编程逻辑电路等的。此外，也可以进一步具备扩展上述程序的RAM(Random Access Memory)等。此外，上述程序也可以经由能够发送该程序的任意传输介质(通信网络，广播波等)提供给计算机。并且，本发明的一个方式也可以以该程序通过电子传输来具体化、并嵌入在载波中的数据信号的形态来实现。
(总结)
本发明的第一方式涉及的车辆用驾驶支援装置(100)的构成如下，包括:拍摄部(10)，其拍摄车辆(8)的驾驶员；视线检测部(33)，其根据所述拍摄部(10)拍摄到的图像检测所述驾驶员的视线信息；视线诱导部(32)，其在所述驾驶员开始驾驶前，将所述驾驶员的视线诱导至规定位置，所述视线检测部(33)中，根据由所述视线诱导部(32)视线被诱导至所述规定位置的所述驾驶员的拍摄图像，检测所述驾驶员特有的视线信息，并将检测到的所述驾驶员特有的视线信息作为校正值而使用，从而校正在驾驶过程中检测的所述驾驶员的视线信息。
根据上述构成，因为在开始驾驶前计算校正值，并使用计算到的校正值来校正在行驶过程中检测的驾驶员的视线信息，所以能够自驾驶后马上高品质地检测驾驶员的视线。
本发明的第二个方式涉及的车辆用驾驶支援装置(100)在上述第一个方式中，上述视线诱导部(32)也可以构成为，将上述驾驶员的视线诱导至包含车辆(8)中的后视镜部(40)、左右视镜部(50、60)、显示部(70)及仪表盘部(90)的驾驶辅助装置。
根据上述构成，因为将驾驶员的视线分别诱导至驾驶员在行驶过程中用目视确认的驾驶辅助装置来计算校正值，所以可以精度良好地计算驾驶员特有的校正值。由此，能够自驾驶后马上高品质地检测驾驶员的视线。
本发明的第三个方式涉及的车辆用驾驶支援装置(100)在上述第一或第二个方式中，也可以构成为，具备朝向上述驾驶员的眼球照射近红外光的光源(20)，上述拍摄部(10)具备可以拍摄近红外波长的图像传感器。
根据上述构成，不会成为驾驶员的驾驶障碍地将光源(20)的光朝向驾驶员的眼球而照射，可以拍摄眼球的图像，能够正确地检测眼球的移动、移动量。
本发明的第四个方式涉及的车辆用驾驶支援装置(200)在上述第一至第三个方式的任一个中，上述拍摄部(10)也可以构成为，具备分别配置在能够拍摄上述驾驶员的位置的多个拍摄单元(10、210、220、230、240)。
根据上述构成，使用源自其它角度的拍摄图像，可以检测驾驶员特有的视线信息。由此，可以更高精度地追求校正值，可以自行驶后立即高品质地检测驾驶员的视线信息。
本发明的第五个方式涉及的车辆用驾驶支援装置(200)在上述第四个方式中，上述多个拍摄单元(10、210、220、230、240)也可以构成为，彼此同步地动作。
根据上述构成，因为使用在同一时刻下拍摄到的、源自其它角度的拍摄图像，而能够检测驾驶员特有的视线信息，所以能够自驾驶后马上高品质地检测驾驶员的视线。
本发明的第六个方式涉及的车辆用驾驶支援装置在上述第二至第五个方式中的任一个中，上述视线诱导部也可以构成为，根据显示在上述显示部的诱导信息，将上述驾驶员的视线诱导至规定位置。
根据上述构成，对于驾驶员而言可以简单地，将驾驶员的视线诱导至规定位置。
本发明的第七个方式涉及的车辆用驾驶支援装置在上述第一至第六个方式的任一个中，上述视线诱导部也可以构成为，上述视线诱导部利用经由语音输出部输出的语音导播，将上述驾驶员的视线诱导至规定位置。
根据上述构成，对于驾驶员而言可以简单地，将驾驶员的视线诱导至规定位置。此外，在诱导多个位置的驾驶员的视线时，可以缩短诱导时间，并能实现缩短开始驾驶前的校正值的计算动作的时间。
本发明的第八个方式涉及的车辆用驾驶支援装置(100)在上述第一至第七个方式的任一个中，也可以构成为，上述视线诱导部(32)通过提示提醒汽车运行前的检查及座椅的调整中的至少一项的内容，将上述驾驶员的视线诱导至规定位置，上述视线检测部将上述驾驶员做的上述检查及座椅的调整中的至少一个时的眼球的移动作为上述视线信息来检测，并将检测到的上述视线信息作为上述校正值来使用。
根据上述构成，可以更高精度地追求校正值，能够自驾驶后马上高品质地检测驾驶员的视线。
本发明的各方式的车辆用驾驶支援装置也可以由计算机实现，在这种情况下，通过使计算机作为上述车辆用驾驶支援装置所具备的各部分(软件单元)动作从而使上述车辆用驾驶支援装置在计算机上实现的车辆用驾驶支援装置的控制程序以及可读取储存了该程序的计算机的记录介质也包含于本发明的范围之内。
本发明不限于上述各实施方式，能在权利要求所示的范围中进行各种变更，将在不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含于本发明的技术范围。而且，能够通过组合各实施方式分别公开的技术方法来形成新的技术特征。
附图标记说明
8 车辆
10、210、220、230、240 摄像单元
10 摄像部
20 光源
30、430 控制部
70 显示装置
31 摄像控制部
33 视线检测部
32 视线诱导部
40、410 后视镜部
50 右视镜部
60 左视镜部
90 仪表盘部
100、200、300、400 车辆用驾驶支援装置
310 右扬声器部(语音输出部)
320 左扬声器部(语音输出部)

Claims (8)

1.一种车辆用驾驶支援装置，其特征在于，包括:
拍摄部，其拍摄车辆的驾驶员；
视线检测部，其根据所述拍摄部拍摄到的图像检测所述驾驶员的视线信息；
视线诱导部，其在所述驾驶员开始驾驶前，将所述驾驶员的视线诱导至规定位置，
所述视线检测部根据视线被所述视线检测部诱导至所述规定位置的所述驾驶员的拍摄图像，检测所述驾驶员特有的视线信息，并将检测到的所述驾驶员特有的视线信息作为校正值而使用，从而校正在驾驶过程中检测的所述驾驶员的视线信息。
2.根据权利要求1所述的车辆用驾驶支援装置，其特征在于，
所述视线诱导部将所述驾驶员的视线诱导至包含车辆中的后视镜、左右视镜部、显示部及仪表盘部的驾驶辅助装置。
3.根据权利要求1所述的车辆用驾驶支援装置，其特征在于，
包括朝向所述驾驶员的眼球照射近红外线的光源，
所述拍摄部具备图像传感器，其可以拍摄近红外线波长。
4.根据权利要求1所述的车辆用驾驶支援装置，其特征在于，
所述拍摄部具备多个拍摄单元，其分别配置在能拍摄所述驾驶员的位置。
5.根据权利要求4所述的车辆用驾驶支援装置，其特征在于，
上述多个拍摄单元彼此同步动作。
6.根据权利要求2所述的车辆用驾驶支援装置，其特征在于，
所述视线诱导部根据所述显示部中显示的诱导信息，将所述驾驶员的视线诱导至规定位置。
7.根据权利要求1所述的车辆用驾驶支援装置，其特征在于
所述视线诱导部利用经由语音输出部输出的语音导播，将所述驾驶员的视线诱导至规定位置。
8.根据权利要求1所述的车辆用驾驶支援装置，其特征在于，
所述视线诱导部通过提示提醒汽车运行前的检查及座椅的调整中的至少一项的内容，将所述驾驶员的视线诱导至规定位置，
所述视线检测部将所述驾驶员做的所述检查及座椅的调整中的至少一个时的眼球的移动作为所述视线信息来检测，并将检测到的所述视线信息作为所述校正值来使用。
CN201811341131.0A 2017-11-20 2018-11-12 车辆用驾驶支援装置 Pending CN109866683A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-222665 2017-11-20
JP2017222665A JP2019095892A (ja) 2017-11-20 2017-11-20 車両用運転支援装置、および車両用運転支援プログラム

Publications (1)

Publication Number Publication Date
CN109866683A true CN109866683A (zh) 2019-06-11

Family

ID=66533061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811341131.0A Pending CN109866683A (zh) 2017-11-20 2018-11-12 车辆用驾驶支援装置

Country Status (3)

Country Link
US (1) US20190156133A1 (zh)
JP (1) JP2019095892A (zh)
CN (1) CN109866683A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190367038A1 (en) * 2018-06-04 2019-12-05 Sharp Kabushiki Kaisha Driver monitoring device
JP7521220B2 (ja) * 2020-03-27 2024-07-24 日本電気株式会社 画像処理装置、視線推定装置、視線推定システム、画像処理方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120111A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
CN105235595A (zh) * 2015-10-30 2016-01-13 浪潮集团有限公司 一种辅助驾驶方法、行车记录仪、显示装置和系统
US20160110621A1 (en) * 2014-10-15 2016-04-21 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
CN106575478A (zh) * 2014-08-08 2017-04-19 株式会社电装 驾驶员监视装置
US20170105619A1 (en) * 2014-06-09 2017-04-20 National University Corporation Shizuoka University Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
CN107072524A (zh) * 2014-11-19 2017-08-18 夏普株式会社 眼球运动检测装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US6668221B2 (en) * 2002-05-23 2003-12-23 Delphi Technologies, Inc. User discrimination control of vehicle infotainment system
US7835834B2 (en) * 2005-05-16 2010-11-16 Delphi Technologies, Inc. Method of mitigating driver distraction
US8214105B2 (en) * 2009-08-21 2012-07-03 Metra Electronics Corporation Methods and systems for automatic detection of steering wheel control signals
BR112012012635A2 (pt) * 2009-12-18 2016-07-12 Honda Motor Co Ltd sistema e método para fornecer alerta de aviso de acidente em veículo
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8731736B2 (en) * 2011-02-22 2014-05-20 Honda Motor Co., Ltd. System and method for reducing driving skill atrophy
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
US9050980B2 (en) * 2013-02-25 2015-06-09 Honda Motor Co., Ltd. Real time risk assessment for advanced driver assist system
US9342986B2 (en) * 2013-02-25 2016-05-17 Honda Motor Co., Ltd. Vehicle state prediction in real time risk assessments
US20140257659A1 (en) * 2013-03-11 2014-09-11 Honda Motor Co., Ltd. Real time risk assessments using risk functions
US9285587B2 (en) * 2013-03-15 2016-03-15 Inrix, Inc. Window-oriented displays for travel user interfaces
US9434389B2 (en) * 2013-11-18 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Actions prediction for hypothetical driving conditions
US9244650B2 (en) * 2014-01-15 2016-01-26 Microsoft Technology Licensing, Llc Post-drive summary with tutorial
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
US9440658B2 (en) * 2014-05-05 2016-09-13 GM Global Technology Operations LLC System and method for controlling an automobile using eye gaze data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120111A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
US20170105619A1 (en) * 2014-06-09 2017-04-20 National University Corporation Shizuoka University Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
CN106575478A (zh) * 2014-08-08 2017-04-19 株式会社电装 驾驶员监视装置
US20160110621A1 (en) * 2014-10-15 2016-04-21 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
CN107072524A (zh) * 2014-11-19 2017-08-18 夏普株式会社 眼球运动检测装置
CN105235595A (zh) * 2015-10-30 2016-01-13 浪潮集团有限公司 一种辅助驾驶方法、行车记录仪、显示装置和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法

Also Published As

Publication number Publication date
US20190156133A1 (en) 2019-05-23
JP2019095892A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
US20210009149A1 (en) Distractedness sensing system
CN106575478B (zh) 驾驶员监视装置
US10346698B2 (en) Vehicle display system and method of controlling vehicle display system
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP4882766B2 (ja) 覚醒度算出装置
CN111754729A (zh) 疲劳驾驶提示装置及提示方法
US9956962B2 (en) Method and device for determining a reaction time of a vehicle driver
CN109791739A (zh) 晕车估计装置、晕车防止装置和晕车估计方法
CN109866683A (zh) 车辆用驾驶支援装置
CN106663377A (zh) 驾驶员的驾驶不能状态检测装置
US11084424B2 (en) Video image output apparatus, video image output method, and medium
CN106687026A (zh) 驾驶员健康以及疲劳监控系统和方法
CN104780834A (zh) 生物体信息计测装置及使用该装置的输入装置
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
US20220066551A1 (en) Apparatus and method for obtaining facial information
JP2009248812A (ja) 運転支援装置
CN117002387A (zh) 一种车载流媒体后视镜的显示方法及装置
CN115246405A (zh) 一种驾驶员分心行为的检测方法及系统
US11772563B2 (en) In-vehicle multi-monitoring device for vehicle
US12015876B2 (en) In-vehicle monitoring device for vehicle
CN116572846A (zh) 一种车载电子后视镜的显示方法、系统及存储介质
JP7571674B2 (ja) 乗員の顔検出装置及び顔検出プログラム
JP2008191778A (ja) 情報表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190611