CN101951828B - 驾驶员成像装置以及驾驶员成像方法 - Google Patents
驾驶员成像装置以及驾驶员成像方法 Download PDFInfo
- Publication number
- CN101951828B CN101951828B CN2009801005245A CN200980100524A CN101951828B CN 101951828 B CN101951828 B CN 101951828B CN 2009801005245 A CN2009801005245 A CN 2009801005245A CN 200980100524 A CN200980100524 A CN 200980100524A CN 101951828 B CN101951828 B CN 101951828B
- Authority
- CN
- China
- Prior art keywords
- image
- driver
- face
- light exposure
- aperture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims description 43
- 206010034960 Photophobia Diseases 0.000 claims description 23
- 208000013469 light sensitivity Diseases 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 210000000744 eyelid Anatomy 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000630329 Scomberesox saurus saurus Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Pathology (AREA)
- Developmental Disabilities (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
成像器件(1)拍摄车辆的驾驶员的脸部的图像。第一图像处理器件利用由成像器件(1)拍摄到的第一图像，对第一图像中的驾驶员的脸部的广域部分执行图像处理。第二图像处理器件利用由成像器件(1)以比第一图像的曝光量高的曝光量拍摄到的第二图像，对第二图像中的驾驶员的脸部的一部分执行图像处理。
Description
技术领域
本发明涉及用于从前方拍摄车辆中的驾驶员的图像的驾驶员成像装置以及驾驶员成像方法。
背景技术
拍摄正驾驶车辆的驾驶员的图像并利用拍摄到的图像来监控驾驶员的状态的系统正在开发中。例如，在车辆的转向盘附近布置用于从前方拍摄驾驶员的图像的摄像机，并利用由摄像机拍摄到的图像来分析驾驶员的状态。
例如，公开号为2004-192345的日本专利申请描述了一种驾驶员状态检测装置，该装置利用驾驶员的图像来判定驾驶员的眼睛睁开的程度(下文中也称作“眼开度”)和驾驶员正凝视的方向(即，下文中也称作“凝视方向”)。在所述公开中所描述的驾驶员状态检测装置从图像中检测驾驶员的眼睛的坐标值。之后，驾驶员状态检测装置判定驾驶员凝视的方向或驾驶员的眼睛睁开的程度以判定驾驶员是否是漫不经心的或正在打盹。
然而，当从前方拍摄车辆中的驾驶员的图像时，来自车辆外部的光可能在驾驶员的眼睛周围产生阴影，使得该区域在图像中看起来暗因此缺乏对比度，即，导致了暗(即，曝光不足)的图像。在这种情况下，不能够检测驾驶员的眼睛睁开的程度和眼睛的位置，因此难以判定驾驶员的眼睛睁开的程度或驾驶员凝视的方向。
为了防止这种情况，可增加拍摄驾驶员的图像时的曝光的量(在本说明书中简称作“曝光量”)(例如，增加电子快门时间)以便增加阴影部分上的光的量，以防止所述部分曝光不足。然而，当利用位于阴影中的驾驶员的眼睛附近的区域作为基准来确定曝光量时，能够获得眼睛附近的区域亮的图像，但是诸如驾驶员的脸部的轮廓的其它亮部的对比度损失(即，曝光过度)。因此，不能利用所述亮部来执行图像处理。
发明内容
因此，本发明提供了驾驶员成像装置以及驾驶员成像方法，其能够拍摄适于判定驾驶员的状态的图像，并判定驾驶员的状态。
本发明的第一方案涉及一种驾驶员成像装置，其包括：成像器件，其用于拍摄车辆的驾驶员的脸部的图像；第一图像处理器件，其利用由所述成像器件拍摄到的第一图像，对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理；以及第二图像处理器件，其利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的曝光量高的曝光量拍摄到的第二图像，对所述第二图像中的所述驾驶员的脸部的一部分执行图像处理。
根据该方案，利用以不同曝光量拍摄到的多个图像中的每一图像中能够获得适当的对比度的部分，能够进行图像处理，因此能够精确地判定驾驶员的状态。例如，通过利用第一图像(即，以相对低的曝光量拍摄到的图像)对看起来亮的驾驶员的脸部的广域部分执行图像处理，并利用第二图像(即，以相对高的曝光量拍摄到的图像)对看起来暗的驾驶员的脸部的一部分执行图像处理，能够精确地判定驾驶员的状态。
在上述方案中，通过对所述第二图像中的所述驾驶员的眼睛周围的部分执行图像处理，所述第二图像处理器件可以检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的方向中的至少一个。
根据该结构，通过利用第二图像对看起来暗的驾驶员的脸部的一部分(诸如眼睛周围的区域)执行图像处理来检测眼开度和凝视方向。
在上述结构中，通过对所述第二图像中的所述驾驶员的口部、眉部和皱纹执行图像处理，所述第二图像处理器件可以检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的方向中的至少一个。
在上述结构中，通过对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理，所述第一图像处理器件可以检测i)以所述车辆的正面作为基准的所述驾驶员的脸部朝向的方向和ii)所述驾驶员的眼睛的位置中的至少一个。
根据该结构，通过利用第一图像对看起来亮的驾驶员的脸部的广域部分(诸如轮廓、鼻孔等)执行图像处理，来判定驾驶员的脸部朝向的方向和驾驶员的眼睛的位置。因此，利用以相对低的曝光量对看起来亮的部分所拍摄的图像，能够基于驾驶员的脸部的广域部分的状态来作出判定(诸如基于驾驶员的脸部朝向的方向作出驾驶员是否正漫不经心的判定)。因此，能够基于所述部分的状态来精确地判定驾驶员的状态。
在上述结构中，通过对所述第一图像中的所述驾驶员的脸部的所述广域部分执行图像处理，所述第一图像处理器件可以检测所述驾驶员的眼睛在所述第一图像中的区域，而且，通过在由所述第一图像处理器件检测到的所述区域中对所述第二图像执行图像处理，所述第二图像处理器件可以检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的方向中的至少一个。
根据该结构，利用能够获得驾驶员的脸部的广域部分(轮廓、鼻孔等)的对比度的第一图像，能够检测眼睛在图像中的区域。因此，能够精确地确定所述区域。而且，利用能够获得驾驶员的脸部的一部分(诸如眼睛周围的区域)的对比度的第二图像，通过执行搜索所述区域的图像处理，能够检测驾驶员的眼睛睁开的程度和驾驶员正凝视的方向。因此，能够减小图像处理中的搜索范围并能够精确地判定驾驶员的眼睛的状态。
上述驾驶员成像装置还可以包括用于控制快门时间的快门控制器件，所述快门时间为所述成像器件在拍摄图像时接收光的时间段。所述快门控制器件可以通过使拍摄所述第二图像时的快门时间比拍摄所述第一图像时的快门时间相对长来控制所述成像器件拍摄图像时的曝光量。
根据该结构，通过调节成像器件的快门时间(例如，诸如CCD的电子快门时间)，能够容易地获得以不同的曝光量拍摄到的第一图像和第二图像。
在上述结构中，所述快门控制器件可以包括快门时间校正器件，所述快门时间校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的快门时间，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的快门时间。
根据该结构，通过根据驾驶员的脸部的广域部分的亮度来校正拍摄第一图像的快门时间，并根据驾驶员的脸部的一部分的亮度来校正获得第二图像的快门时间，能够对于将进行图像处理的部分适当地调节拍摄到的对象物的亮度。因此，利用可适当获得将进行图像处理的该部分的对比度的图像来进行处理总是可行的。
上述驾驶员成像装置还可以包括光圈控制器件，所述光圈控制器件用于控制允许光进入所述成像器件的光圈的开口度。所述光圈控制器件可以通过使拍摄所述第二图像时的所述光圈的开口度比拍摄所述第一图像时的所述光圈的开口度相对大来控制所述成像器件拍摄图像时的曝光量。
在上述结构中，光圈控制器件可以包括光圈开口度校正器件，所述光圈开口度校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的所述光圈的开口度，并根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的所述光圈的开口度。
上述驾驶员成像装置还可以包括感光度控制器件，所述感光度控制器件用于控制所述成像器件的感光度。所述感光度控制器件可以通过使拍摄所述第二图像时的感光度高于拍摄所述第一图像时的感光度来控制所述成像器件拍摄图像时的曝光量。
在上述结构中，所述感光度控制器件可以包括感光度校正器件，所述感光度校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的感光度，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的感光度。
上述驾驶员成像装置还可以包括曝光量控制器件，所述曝光量控制器件用于控制所述成像器件拍摄所述图像时的曝光量。所述曝光量控制器件可以使所述成像器件以拍摄所述第一图像时的曝光量拍摄图像的正时与所述成像器件以拍摄所述第二图像时的曝光量拍摄图像的正时周期性地交替。
根据该结构，通过周期性地交替拍摄第一图像和第二图像，能够获得在相近的正时拍摄到的第一图像和第二图像，因此能够判定出已经拍摄到的处于大体相同的位置和状态的驾驶员的状态。
在上述结构中，所述第一图像处理器件的第一图像处理可以在与所述第二图像处理器件的第二图像处理不同的正时执行。
上述驾驶员成像装置还可以包括存储器件，所述存储器件用于存储所述第一图像和所述第二图像。所述第一图像处理器件和所述第二图像处理器件各自利用连续拍摄到并存储在所述存储器件中的所述第一图像和所述第二图像的组合来执行图像处理。
在上述结构中，所述驾驶员的眼睛的位置可以通过检测所述驾驶员的鼻部的位置来确定。
本发明的第二方案涉及一种驾驶员成像装置，其包括：成像器件，其用于拍摄车辆的驾驶员的脸部的图像；脸部方向判定器件，其利用由所述成像器件拍摄到的第一图像，以所述车辆的正面作为基准，判定在所述第一图像中所述驾驶员的脸部朝向的方向；以及眼睛信息检测器件，其i)利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的曝光量高的曝光量拍摄到的第二图像，判定在所述第二图像中所述驾驶员的眼睛睁开的程度，或者ii)利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的曝光量高的曝光量拍摄到的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方向。
根据该方案，能够利用在以不同的曝光量拍摄到的多个图像中的每一个中能够获得适当的对比度的部分来进行图像处理，因此能够精确地判定驾驶员的脸部朝向的方向和驾驶员的眼睛睁开的程度。
本发明的第三方案涉及一种驾驶员成像方法，其包括：利用拍摄到驾驶员的脸部的第一图像，对所述第一图像中的车辆的所述驾驶员的脸部的广域部分执行图像处理；以及利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，对所述第二图像中的所述驾驶员的脸部的一部分执行图像处理。
本发明的第四方案涉及一种驾驶员成像方法，其包括：利用拍摄到驾驶员的脸部的第一图像，以车辆的正面作为基准，判定在所述第一图像中所述车辆的所述驾驶员的脸部朝向的方向；以及利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，判定在所述第二图像中所述驾驶员的眼睛睁开的程度；或者利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方向。
而且，本发明的驾驶员成像方法也能够产生与通过上述驾驶员成像装置所产生的效果相同的效果。
附图说明
本发明上述的和进一步的目的、特征和优点通过下面结合附图对示范性实施例的描述将变得清晰，其中相同的附图标记用于表示相同的元件，其中：
图1为包括根据本发明的示范性实施例的驾驶员成像装置的驾驶员支持系统的功能结构的示例的方框图；
图2为示意地示出了当从驾驶席侧观察时安装在车辆中的驾驶员监视摄像机的示例的侧视图；
图3为示意地示出了当从转向盘侧观察时安装在车辆中的驾驶员监视摄像机的示例的前视图；
图4为由驾驶员监视摄像机以相对低的曝光量拍摄到的驾驶员的第一图像的示例的视图；
图5为由驾驶员监视摄像机以相对高的曝光量拍摄到的驾驶员的第二图像的示例的视图；
图6为存储在驾驶员监视ECU的存储器中的主要数据的示例；以及
图7为图示了由驾驶员监视ECU执行的程序的示例的流程图。
具体实施方式
现在将结合图1描述根据本发明的示范性实施例的一种驾驶员成像装置。顺便提及，在该示范性实施例中，在车辆中设置了包括驾驶员成像装置的驾驶员支持系统。作为示例，驾驶员支持系统拍摄驾驶车辆的驾驶员的脸部的图像，基于该图像来判定驾驶员的状态(例如，驾驶员正面对的方向、眼开度以及凝视方向等)，并根据判定结果来控制车辆。而且，驾驶员支持系统还识别车辆周围的其它车辆和障碍物，判定碰撞的危险性，并根据判定结果来控制车辆。顺便提及，图1为包括驾驶员成像装置的驾驶员支持系统的功能结构的示例的方框图。
结合图1，驾驶员支持系统包括驾驶员监视摄像机1、驾驶员监视ECU(电子控制单元)2、驾驶员支持系统ECU 3、毫米波雷达4、仪表5、制动控制ECU 6、警告蜂鸣器61和制动执行器62。驾驶员监视ECU 2、驾驶员支持系统ECU 3和毫米波雷达4经由CAN(控制局域网)10等全都连接在一起。而且，驾驶员支持系统ECU 3、仪表5和制动控制ECU 6经由CAN 20等全都连接在一起。
驾驶员监视摄像机1包括CCD(电荷耦合器件)11和LED(发光二极管)12，CCD 11和LED 12中的每一个利用来自驾驶员监视ECU 2的电力而运行。例如，LED 12从驾驶员前方朝驾驶员发射近红外光。在这种情况下，CCD 11为在近红外区域中高感光的成像设备，并典型地为近红外CCD摄像机。这样，通过利用在近红外区域中高感光的CCD11，即使当在夜间或隧道等中行驶的情况下车内暗时，也能够以良好的感光度拍摄到由LED 12照亮的驾驶员的图像。顺便提及，CCD 11安装在其能够从前方拍摄驾驶员的脸部的图像的位置上。CCD 11以预定的周期拍摄驾驶员的脸部及其周围区域的图像并将拍摄到的图像输出到驾驶员监视ECU 2。更具体地，CCD 11根据来自于驾驶员监视ECU 2的指示以预定的周期以不同的曝光量交替地拍摄两个图像(即，第一图像P1和第二图像P2)，并将拍摄到的两个图像输出到驾驶员监视ECU 2。顺便提及，稍后将详细描述驾驶员监视摄像机1安装的位置。
驾驶员监视ECU 2为一处理单元，其包括其内部的诸如为微型计算机的多个信息处理设备、存储用于处理的各种类型的信息的存储器、用于向驾驶员监视摄像机1供电的供电电路以及接口电路等。例如，驾驶员监视ECU 2利用由驾驶员监视摄像机1拍摄到的图像来检测驾驶员正面对的方向、驾驶员的眼睛睁开的程度以及凝视方向。驾驶员监视ECU 2将检测结果输出到驾驶员支持系统ECU 3。而且，驾驶员监视ECU 2利用以预定的周期交替地拍摄到的两个图像来调节由CCD 11拍摄到的图像的曝光量。
毫米波雷达4向车辆前方、车辆后方或者车辆斜前方等发射毫米波并接收从对象物反射的电波。之后，毫米波雷达4测量车辆周围的障碍物或其它车辆的位置以及车辆与其它车辆或障碍物之间的相对速度，并将结果输出到驾驶员支持系统ECU 3。
驾驶员支持系统ECU 3基于与驾驶员正面对的方向、驾驶员的眼睛睁开的程度和驾驶员正凝视的方向等相关的信息以及从毫米波雷达4输出的关于车辆周围的车辆或障碍物的识别结果，适当地调节车辆中的乘员保护装置的特性，运行碰撞避免/缓解系统并向驾驶员发布适当的警告。图1中的仪表5和制动控制ECU 6为由驾驶员支持系统ECU 3控制的设备的示例。
仪表5设置在车辆中的驾驶席附近并位于正驾驶车辆的驾驶员可以看得见的位置上。例如，仪表5设置在驾驶员前方的仪表板上并根据来自驾驶员支持系统ECU 3的命令向驾驶员显示警告。例如，如果判定出驾驶员没有向前看、正闭着他/她的眼睛或者是漫不经心的从而存在车辆与其它对象物碰撞的危险性，则驾驶员支持系统ECU 3即刻照亮仪表5上的显示器以促使驾驶员采取行动以避免碰撞(即，发布早期警告)。典型地，仪表5由组合显示器等形成，在组合显示器中，几个主要指示仪表、指示灯、警告灯以及显示各种信息的多个信息显示器等组合在一个面板中。顺便提及，仪表5还可以由诸如仰视显示器的其它显示设备形成，在仰视显示器中，半反镜(反射玻璃)设置在驾驶席前方的前窗玻璃一部分上并且信息等的虚像以荧光显示在半反镜上。
制动控制ECU 6控制设置在车辆中的警告蜂鸣器61和制动执行器62的操作。例如，如果驾驶员支持系统ECU 3判定驾驶员没有向前看、正闭着他或她的眼睛或者是漫不经心的从而存在车辆与其它对象物碰撞的危险性，则制动控制ECU 6即刻启动警告蜂鸣器61从而促使驾驶员采取行动以避免碰撞(即，发布早期警告)。因此，驾驶员能够即刻采取行动以例如通过注意而避免碰撞。而且，制动控制ECU 6根据驾驶员踏下制动踏板的力来控制制动执行器62的操作，以帮助增加制动压力(即，执行警告制动)。结果，制动执行器62的液压响应提高，因此能够减小车辆的速度。
接下来，将结合图2和图3描述驾驶员监视摄像机3。顺便提及，图2为示意地示出了当从驾驶席侧观察时安装在车辆中的驾驶员监视摄像机1的示例的侧视图。图3为示意地示出了当从转向盘91侧观察时安装在车辆中的驾驶员监视摄像机1的示例的前视图。
在图2和图3中，驾驶员监视摄像机1安装在转向管柱92上。驾驶员监视摄像机1的CCD 11调节成像方向，从而能够通过转向盘91中的开口(诸如在轮缘911的内侧上不存在轮辐912等的开口)从驾驶员前方拍摄正操作转向盘91的驾驶员的脸部的图像。顺便提及，在图2中，虚线示出了表示CCD 11的视野的监视区的一部分(摄像机的视角的一部分)。调节CCD 11的成像方向，使得驾驶员的头部位于监视区内。在这种情况下，LED 12设置在如上所述的驾驶员监视摄像机1中。LED 12在与成像方向相同的方向上从驾驶员前方朝驾驶员发射近红外光。顺便提及，LED 12至少在比驾驶员监视摄像机1的视角宽的区域上发射该近红外光。如上所述，驾驶员监视摄像机1安装在转向管柱92上，因此其能够从驾驶员前方的近距离拍摄驾驶员的图像，从而能够精确地拍摄车辆中的驾驶员的脸部的图像。
接下来，将结合图4和图5描述由驾驶员监视摄像机1拍摄到的第一图像P1和第二图像P2。顺便提及，图4为由驾驶员监视摄像机1以相对低的曝光量(即，以相对小的曝光量)拍摄到的驾驶员的第一图像的实例的视图，并且图5为由驾驶员监视摄像机1以相对高的曝光量(即，以相对大的曝光量)拍摄到的驾驶员的第二图像的示例的视图。
在图4中，当驾驶员监视摄像机1拍摄驾驶员的图像时，通常以与驾驶员的整个脸部的亮度相对应的曝光量来拍摄图像(此时获得的图像视为第一图像P1)。因此，在第一图像P1中，来自车辆外部的光例如可能在驾驶员的眼睛周围产生阴影，使得由图4中的阴影区域所示的图像中的该区域看起来暗因此缺乏对比度(由于曝光不足)。特别是，当在脸部上存在多条直线和曲线时，这些直线和曲线在图像中产生通常表现为暗部的阴影。但是，在第一图像P1中，能够获得驾驶员的整个脸部的亮部的对比度，因此该第一图像P1适于检测诸如驾驶员脸部的轮廓和鼻孔的位置等的广域部分。
在图5中，当驾驶员监视摄像机1以相对高的曝光量拍摄驾驶员的图像时(诸如当电子快门时间长时)，上述暗部变亮(此时获得的图像视为第一图像P2)。因此，在第二图像P2中，能够获得在典型的曝光量的情况下会看起来暗的部分的对比度，因此该第二图像P2适于对于诸如驾驶员的眼睛的脸部的一部分进行图像处理。然而，第二图像P2可能缺乏驾驶员的整个脸部的亮部的对比度(由于过度曝光)(如图5中的虚线所示)。
根据该示范性实施例的驾驶员成像装置利用具有相对低的曝光量的图像即第一图像P1对驾驶员的脸部的广域部分(诸如脸部的轮廓和鼻孔的位置)执行图像处理。驾驶员成像装置还利用具有相对高的曝光量的图像即第二图像P2对驾驶员的脸部的一部分(诸如眼睛)执行图像处理。
接下来，将结合图6和图7描述驾驶员图像处理中使用的主要数据和驾驶员监视ECU 2的操作的示例。顺便提及，图6为存储在驾驶员监视ECU 2的存储器中的主要数据的示例，且图7为图示了由驾驶员监视ECU 2执行的程序的示例的流程图。而且，图7所示的流程图中的步骤通过执行预定程序的驾驶员监视ECU 2而执行。例如，用于执行这些步骤的程序被预先存储在设置在驾驶员监视ECU 2中的存储区域(诸如存储器、硬盘和光盘等)中，并且当驾驶员监视ECU 2的电源接通时由驾驶员监视ECU 2来执行。
在图6中，第一图像数据Da、第二图像数据Db、第一电子快门数据Dc、第二电子快门数据Dd、脸部方向检测数据De、眼睛位置数据Df以及眼开度/凝视检测数据Dg等被存储在驾驶员监视ECU 2的存储器中。
第一图像数据Da为指示由驾驶员监视摄像机1以相对低的曝光量拍摄到的图像即第一图像P1的存储数据，并被以预定的处理周期更新。第二图像数据Db为指示由驾驶员监视摄像机1以相对高的曝光量拍摄到的图像即第二图像P2的存储数据，并被以预定的处理周期更新。顺便提及，如稍后将描述的，拍摄将被存储为第一图像数据Da的第一图像P1的正时和拍摄将被存储为第二图像数据Db的第二图像P2的正时之间的时差为极其短的时间间隔(即，驾驶员监视摄像机1的成像周期之间的间隔，诸如1/30秒或1/60秒)。
第一电子快门数据Dc为指示当驾驶员监视摄像机1拍摄第一图像P1时的电子快门时间(即，聚光时间)的存储数据。第二电子快门数据Dd为指示当驾驶员监视摄像机1拍摄第二图像P2时的电子快门时间的存储数据。
脸部方向检测数据De为指示脸部角度α的存储数据，该脸部角度α指示驾驶员的脸部相对于前方向左或向右转动的角度。眼睛位置数据Df为指示对于第一图像P1设定的左眼搜索范围和右眼搜索范围的位置和大小的存储数据。眼开度/凝视检测数据Dg为指示驾驶员的眼睛睁开的程度以及驾驶员正凝视的方向的存储数据。
接下来，将结合图7描述由驾驶员监视ECU 2执行的预定程序。首先，驾驶员监视ECU 2在步骤S51中执行初始化，之后进行到下一个步骤。更具体地，在步骤S51中，驾驶员监视ECU 2初始化存储在存储器中的参数和图像数据等。例如，驾驶员监视ECU 2将拍摄第一图像P1时的电子快门时间和拍摄第二图像P2时的电子快门时间设定为预定默认时间，并利用这些时间来存储第一图像P1作为第一电子快门数据Dc并存储第二图像P2作为第二电子快门数据Dd。
接下来，在步骤S52中，驾驶员监视ECU 2从驾驶员监视摄像机1获得第一图像P1并更新第一图像数据Da，在这之后进行到下一个步骤。例如，驾驶员监视ECU 2参考第一电子快门数据Dc而获得用于第一图像P1的电子快门时间，并控制驾驶员监视摄像机1的操作以利用所述电子快门时间来拍摄图像。之后，驾驶员监视ECU 2从驾驶员监视摄像机1获得指示以用于第一图像P1的电子快门时间拍摄到的第一图像P1的数据并更新第一图像数据Da。
接下来，在步骤S53中，驾驶员监视ECU 2从驾驶员监视摄像机1获得第二图像P2并更新第二图像数据Da，在这之后进行到下一个步骤。例如，驾驶员监视ECU 2参考第二电子快门数据Dd而获得用于第二图像P2的电子快门时间，并控制驾驶员监视摄像机1的操作以利用所述电子快门时间来拍摄图像。之后，驾驶员监视ECU 2从驾驶员监视摄像机1获得指示以用于第二图像P2的电子快门时间拍摄到的第二图像P2的数据并更新第二图像数据Db。
此处，优选地，步骤S52和步骤S53之间的处理间隔尽可能地短。例如，当驾驶员监视摄像机1的成像周期为每秒30帧或60帧时，步骤S52和步骤S53之间的处理间隔可以为1/30秒或1/60秒，以与成像周期相匹配。因此，能够使得拍摄将被存储为第一图像数据Da的第一图像P1的正时和拍摄将被存储为第二图像数据的Dd的第二图像P2的正时之差极其短。
接下来，在步骤S54中，驾驶员监视ECU 2利用第一图像P1来执行脸部方向检测处理，以检测驾驶员的脸部相对于前方向左或向右转动到什么程度，在这之后进行到下一个步骤。下文中，将描述在步骤S54中执行的该脸部方向检测处理的示例。
例如，驾驶员监视ECU 2基于在上述步骤S52中获得的第一图像P1来计算指示驾驶员的脸部相对于车辆前方向左或向右转动到什么程度的脸部角度α。在这种情况下，当驾驶员相对于摄像机1正面向前方(即，面朝车辆前方)时，脸部角度α的值为0。脸部角度α的值随着脸部相对于驾驶员监视摄像机1从前方进一步向右转动而增加，并随着脸部相对于驾驶员监视摄像机1从前方进一步向左转动而减小。也就是说，脸部角度α的值在脸部相对于驾驶员监视摄像机1向右转动时为正值，而在脸部相对于驾驶员监视摄像机1向左转动时为负值。
根据利用苏贝尔(Sobel)算子等的边缘提取处理，驾驶员监视ECU 2通过在第一图像P1中搜索脸部的轮廓和位于脸部左-右方向的中心的垂直中心线，来检测图像P1中的驾驶员的脸部的轮廓左边缘和轮廓右边缘以及脸部的垂直中心线。例如，驾驶员监视ECU 2产生第一图像P1的亮图像并对所述亮图像施加边缘提取处理，以提取脸部的轮廓左边缘和轮廓右边缘的位置以及脸部的一部分(例如，眉部、眼睛、鼻部和口部)的位置。接下来，驾驶员监视ECU 2基于提取出的脸部的轮廓左边缘和轮廓右边缘的位置以及脸部的一部分的位置来计算第一图像P1中的脸部宽度和垂直中心线。之后，驾驶员监视ECU 2计算从轮廓左边缘到垂直中心线的左半边脸部的宽度(在本说明书中也称作“左脸宽度”)，以及从轮廓右边缘到垂直中心线的右半边脸部的宽度(在本说明书中也称作“右脸宽度”)。
接下来，驾驶员监视ECU 2基于左脸宽度的值和右脸宽度的值之比来计算脸部角度α。例如，当驾驶员的脸部相对于驾驶员监视摄像机1正面向前方时，右脸宽度和左脸宽度相等。然而，当驾驶员的脸部向右转动时，左脸宽度大于右脸宽度。也就是说，右脸宽度和左脸宽度之比根据脸部角度α而变化。因此，驾驶员监视ECU 2基于右脸宽度和左脸宽度之比来计算脸部角度α。而且，驾驶员监视ECU 2利用指示计算出的脸部角度α的数据来更新脸部方向检测数据De。
这样，在步骤S54中执行的脸部方向检测处理是利用第一图像P1来执行的。在这种情况下，在上述第一图像P1中，能够获得驾驶员的整个脸部的亮部的对比度，因此该第一图像P1适于检测驾驶员的鼻孔的位置以及脸部的轮廓的位置等。在上述脸部方向检测处理中，通过边缘提取处理来找出图像中的脸部的周缘部分和脸部的垂直中心线，因此能够利用第一图像P1来获得精确的脸部角度α。
在步骤S54中执行了脸部方向检测处理之后，在步骤S55中，驾驶员监视ECU 2利用第一图像P1来执行眼睛位置估计处理，以估计驾驶员的眼睛所处的区域，并且之后进行到下一个步骤。下文中，将描述在步骤S55中执行的该眼睛位置估计处理的示例。
首先，驾驶员监视ECU 2利用在步骤S54中计算出的与驾驶员的脸部宽度有关的信息等来设定驾驶员的鼻部的图像估计在第一图像P1中将所处的区域。之后，驾驶员监视ECU 2在所述区域内搜索具有驾驶员的鼻部的部分，并在第一图像P1中检测鼻部的位置。更具体地，驾驶员监视ECU 2在所述区域内检测两个鼻孔的位置。之后，驾驶员监视ECU 2设定两鼻孔间的中间位置作为第一图像P1中的鼻部的位置。顺便提及，与眼睛的形状等相比，鼻孔的形状的差别一般较小，因此，与眼睛的位置等相比，鼻孔的位置能够被更精确地检测到。
接下来，对于第一图像P1，驾驶员监视ECU 2利用鼻部的位置作为基准来设定最佳左眼搜索范围和最佳右眼搜索范围。例如，驾驶员监视ECU 2将左眼搜索范围和右眼搜索范围设定为第一图像P1中在预定方向上远离鼻部的位置预定距离的位置。在这种情况下，可以基于预定的参考信息来设定出基于鼻部的位置设定的左眼搜索范围和右眼搜索范围的方向和距离。顺便提及，还可以改变所设定的左眼搜索范围和右眼搜索范围的方向和距离以及左眼搜索范围和右眼搜索范围的大小。因此，即使第一图像P1中的驾驶员的脸部的尺寸变化(即，典型地，即使驾驶员的脸部和驾驶员监视摄像机1之间的距离变化)，也可以适当地设定左眼搜索范围和右眼搜索范围的位置和大小以跟踪脸部的尺寸的变化。之后，驾驶员监视ECU 2利用指示设定出的左眼搜索范围和右眼搜索范围的位置和大小的数据来更新眼睛位置数据Df。
这样，在步骤S55中执行的眼睛位置估计处理是利用第一图像P1来执行的。在这种情况下，正如上所述，在第一图像P1中，能够获得驾驶员的整个脸部的亮部的对比度，因此该第一图像P1适于检测驾驶员的鼻孔的位置等。在眼睛位置估计处理中，利用图像中的脸部的鼻孔位置作为基准来设定左眼搜索范围和右眼搜索范围的位置，因此能够利用第一图像P1来设定精确的搜索范围。
在步骤S55中执行了眼睛位置估计处理之后，在步骤S56中，驾驶员监视ECU 2利用第二图像P2来执行眼开度/凝视检测，以检测驾驶员的眼睛睁开的程度和凝视方向，在这之后进行到下一个步骤。下文中，将描述在步骤S56中执行的该眼开度/凝视检测的示例。
首先，驾驶员监视ECU 2检测第二图像P2中的左眼和右眼的位置。在这种情况下，如上所述，第一图像P1和第二图像P2为由相同的驾驶员监视摄像机1以极其短的时间间隔拍摄到的图像。也就是说，可以假定，在第一图像P1和第二图像P2中拍摄到的对象物(即，驾驶员的脸部)是以大体相同的状态和位置拍摄到的。而且，将指示在第一图像P1所设定的左眼搜索范围和右眼搜索范围的位置和大小的数据存储为眼睛位置数据Df。因此，驾驶员监视ECU 2将在第一图像P1中设定出的左眼搜索范围和右眼搜索范围的位置和大小照其原状应用于第二图像P2，并对于第二图像P2设定左眼搜索范围和右眼搜索范围。
之后，参考第二图像数据Db，驾驶员监视ECU 2在第二图像P2中设定的左眼搜索范围内搜索并检测驾驶员的左眼。驾驶员监视ECU 2还在第二图像P2中设定的右眼搜索范围内搜索并检测驾驶员的右眼。例如，能够利用使用预先设定的眼睛的模板图像的各种模式匹配方法中的任意一种在搜索范围内检测眼睛。
接下来，驾驶员监视ECU 2计算驾驶员的两只眼睛睁开的程度(即，眼开度)。例如，对于第二图像P2中的驾驶员的左眼和右眼二者，驾驶员监视ECU 2提取上眼睑的轮廓和下眼睑的轮廓。例如，能够利用使用预先设定的上眼睑和下眼睑的模板的各种模式匹配方法中的任意一种来检测左右眼的上眼睑和和下眼睑。之后，驾驶员监视ECU 2计算每只眼睛的上眼睑和下眼睑之间的距离作为每只眼睛的眼开度。
而且，驾驶员监视ECU 2计算驾驶员正凝视的方向(即，凝视方向)。例如，驾驶员监视ECU 2在第二图像P2中提取驾驶员的左眼和右眼的虹膜的位置。例如，能够利用椭圆滤波器来检测左眼和右眼的虹膜。典型地，虹膜的形状经常被眼睑或正转动的脸部部分地遮挡，因此在图像中看起来呈椭圆形而非圆形。因此，将不同尺寸的多个椭圆滤波器应用于第二图像P2中的驾驶员的左眼和右眼二者，以获得椭圆滤波器的内部区域以及外部区域的亮度。如果此时外部区域的亮度和内部区域的亮度之间存在差别，则判定出椭圆滤波器的内部区域为虹膜，并且通过所使用的椭圆滤波器的位置来获得虹膜的位置。顺便提及，对左眼和右眼的虹膜位置的检测不局限于该方法。还可以使用其它的检测方法，诸如利用预先设定的虹膜的模板图像的各种模式匹配方法中的任意一种，或者通过二值化左眼和右眼的内部来提取黑色区域的位置的方法。
之后，驾驶员监视ECU 2基于驾驶员的左眼和右眼二者中的虹膜的位置以及存储为脸部方向检测数据De的脸部方向α来计算驾驶员的凝视方向。例如，驾驶员监视ECU 2计算驾驶员相对于车辆前方的凝视角度作为凝视方向。之后，驾驶员监视ECU 2利用指示计算出的眼开度的数据和指示凝视方向的数据来更新眼开度/凝视检测数据Dg。
这样，在上述步骤S56中执行的眼开度/凝视检测处理是利用第二图像P2来执行的。在这种情况下，能够获得对于在典型的曝光量的情况下会看起来暗的部分的对比度，因此该第二图像P2适于对于诸如驾驶员的眼睛的脸部的一部分进行图像处理。在该眼开度/凝视检测处理中，搜索图像中的眼睑和虹膜并提取眼睑之间的距离以及虹膜的位置等。因此，能够利用第二图像P2来提取精确的参数。
在步骤S56中执行了眼开度/凝视检测处理之后，在步骤S57中，驾驶员监视ECU 2将处理结果输出到驾驶员支持系统ECU 3，并且之后进行到下一个步骤。更具体地，驾驶员监视ECU 2将指示存储为脸部方向检测数据De的脸部角度α的数据和指示存储为眼开度/凝视检测数据Dg的眼开度和凝视方向的数据输出到驾驶员支持系统ECU 3。驾驶员支持系统ECU 3基于从驾驶员监视ECU 2接收到的数据和从毫米波雷达4输出的关于车辆周围的车辆或障碍物的识别结果，适当地调节设置在车辆中的乘员保护装置的特性，运行碰撞避免/缓解系统并向驾驶员发布适当的警告。
接下来，在步骤S58中，驾驶员监视ECU 2基于第一图像P1和第二图像P2来校正CCD 11的电子快门时间，并且之后进行到下一个步骤。更具体地，驾驶员监视ECU 2参考存储为第一图像数据Da的第一图像P1来校正用于第一图像P1的电子快门时间，以使得在第一图像P1中拍摄到的整个对象物的亮度(典型地，图像中的驾驶员的整个脸部的亮度)是适当的。之后，驾驶员监视ECU 2利用经校正的电子快门时间来更新第一电子快门数据Dc。而且，驾驶员监视ECU 2参考存储为第二图像数据Db的第二图像P2来校正用于第二图像P2的电子快门时间，以使得在第二图像P2中拍摄到的整个对象物的亮度(典型地，图像中的驾驶员的眼睛周围的部分，例如，左眼搜索范围和右眼搜索范围)是适当的。之后，驾驶员监视ECU 2利用经校正的电子快门时间来更新第二电子快门数据Dd。
接下来，驾驶员监视ECU 2在步骤S59中判定程序是否将要结束。例如，当车辆的驾驶员执行结束程序的操作(诸如断开点火开关)时，驾驶员监视ECU 2判定出程序将要结束。如果程序将要继续，则驾驶员监视ECU 2返回到步骤S52并重复程序。另一方面，如果程序将要结束，则程序根据流程图结束。
这样，使用根据该示范性实施例的驾驶员成像装置，利用在成像期间在具有不同的曝光量的两个图像中获得适当对比度的部分来执行图像处理，因此能够精确地判定驾驶员的状态。更具体地，利用第一图像P1(即，具有相对低的曝光量的图像)对通常看起来亮的驾驶员的脸部的广域部分(轮廓、鼻孔等)执行图像处理，而利用第二图像P2(即，具有相对高的曝光量的图像)对通常看起来暗的驾驶员的脸部的一部分(诸如眼睛周围)执行图像处理。也就是说，上述驾驶员成像装置利用具有相对低的曝光量的第一图像P1基于驾驶员的脸部朝向的方向作出判定(关于漫不经心)，并利用具有相对高的曝光量的第二图像P2基于眼睛的状态作出判定(关于眼睛睁开的程度和凝视方向)。因此，能够精确地判定驾驶员的状态。
顺便提及，在上述示范性实施例中，描述了这样一个示例：其中为了获得具有不同的曝光量的第一图像P1和第二图像P2，CCD11以不同的电子快门时间拍摄图像。然而，还可以通过调节CCD 11的其它成像参数来获得具有不同的曝光量的图像。例如，还可以通过对于每个图像调节CCD 11的增益(即，感光度)来拍摄具有不同的曝光量的图像。可选择地，还可以通过对于每个图像调节驾驶员监视摄像机1中的机械光圈来拍摄具有不同的曝光量的图像。
而且，在以上的描述中，利用具有相对低的曝光量的第一图像P1来检测驾驶员正面对的方向和眼睛搜素范围二者。然而，仅需要检测这些中的一个。此外，在前文的描述中，利用具有相对大的曝光量的第二图像P2来判定驾驶员的眼开度和凝视方向二者。然而，仅需要检测这些中的一个。
而且，在以上的描述中，利用具有相对高的曝光量的第二图像P2来判定驾驶员的眼睛的状态。然而，可选择地，可以利用第二图像P2来改为判定驾驶员的脸部的其它部分的状态。例如，可以利用第二图像P2来改为判定口部、眉部和皱纹等的状态。在本发明中，除了利用确保整个脸部亮的图像来进行图像处理之外，还能够通过利用确保脸部的一部分亮的图像来执行图像处理而对脸部的一部分进行精确的图像处理。因此，还可以利用集中于眼睛以外的驾驶员的脸部的一部分的亮度的图像。
而且，关于上述处理的顺序，通过连续地执行获得第一图像P1的步骤(即，步骤S52)和获得第二图像P2的步骤(即，步骤S53)，之后等到这些图像中的每一个的图像处理都完成，再次连续地执行获得第一图像P1和第二图像P2的步骤，来获得以其间极其短的时间间隔拍摄到的两个图像的组合。因此，能够进行假定两个图像中拍摄到的对象物的位置和状态大体相同的图像处理。然而，当不需要这种效果时，也可以以另外的处理周期来拍摄第一图像P1和第二图像P2。例如，可以利用以独立于上述图像处理周期的驾驶员监视摄像机1的成像周期交替地拍摄到的第一图像P1和第二图像P2，按照需要来更新第一图像数据Da和第二图像数据Db。在这种情况下，拍摄步骤S54和步骤S55中所利用的第一图像P1的正时和拍摄步骤S56中所利用的第二图像P2的正时之间的时间间隔可以很长，但仍具有能够利用最新的图像来执行每个图像的图像处理的优点。
而且，在上述示范性实施例中，驾驶员监视摄像机1布置在转向管柱92上，但是其也可以改为布置在其它位置上。也就是说，驾驶员监视摄像机1可以布置在任意的位置上，只要该位置使得驾驶员监视摄像机1能够拍摄车辆中的驾驶员的脸部的图像即可。例如，驾驶员监视摄像机1可以布置在驾驶员前方的仪表板中、仪表板上、转向盘中、车厢内的上部等。
在上述示范性实施例中，第一图像P1和第二图像P2用于图像处理中，但是图像的数量不局限于两个。当通过多个图像来执行图像处理时，也能够获得该示范性实施例的效果。
根据本发明的驾驶员成像装置以及驾驶员成像方法能够通过拍摄适于判定驾驶员的状态的图像来判定驾驶员的状态，从而例如在判定就座于车辆中的驾驶员的状态的系统中是有用的。
尽管结合其示范实施例描述了本发明，但是应当理解的是，本发明不局限于所描述的实施例或构造。相反，本发明旨在覆盖各种改进和等效的配置。此外，尽管所公开的本发明的各种元件以多种示范性组合和结构来显示，但是其它包括更多、更少或仅有单个元件的组合和结构也在随附的权利要求的范围内。
Claims (15)
1.一种驾驶员成像装置，其特征在于包括：
成像器件(1)，其用于拍摄车辆的驾驶员的脸部的图像；
第一图像处理器件，其利用由所述成像器件(1)拍摄到的第一图像，对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理；以及
第二图像处理器件，其利用由所述成像器件(1)以比由所述成像器件(1)拍摄到的所述第一图像的曝光量高的曝光量拍摄到的第二图像，对所述第二图像中的所述驾驶员的脸部的一部分执行图像处理，其中
通过对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理，所述第一图像处理器件检测i)以所述车辆的正面作为基准的所述驾驶员的脸部朝向的方向和ii)所述驾驶员的眼睛的位置中的至少一个，
通过对所述第二图像中的所述驾驶员的眼睛周围的部分执行图像处理，所述第二图像处理器件检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的方向中的至少一个。
2.根据权利要求1所述的驾驶员成像装置，其中：
通过对所述第一图像中的所述驾驶员的脸部的所述广域部分执行图像处理，所述第一图像处理器件检测所述驾驶员的眼睛在所述第一图像中的区域；以及
通过在由所述第一图像处理器件检测到的所述区域中对所述第二图像执行图像处理，所述第二图像处理器件检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的方向中的至少一个。
3.根据权利要求1或2所述的驾驶员成像装置，进一步包括用于控制快门时间的快门控制器件，所述快门时间为所述成像器件(1)在拍摄图像时接收光的时间段，
其中所述快门控制器件通过使拍摄所述第二图像时的快门时间比拍摄所述第一图像时的快门时间相对长来控制所述成像器件(1)拍摄图像时的曝光量。
4.根据权利要求3所述的驾驶员成像装置，其中所述快门控制器件包括快门时间校正器件，所述快门时间校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的快门时间，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的快门时间。
5.根据权利要求1或2所述的驾驶员成像装置，进一步包括光圈控制器件，其用于控制允许光进入所述成像器件(1)的光圈的开口度，
其中所述光圈控制器件通过使拍摄所述第二图像时的所述光圈的开口度比拍摄所述第一图像时的所述光圈的开口度相对大来控制所述成像器件(1)拍摄图像时的曝光量。
6.根据权利要求5所述的驾驶员成像装置，其中所述光圈控制器件包括光圈开口度校正器件，所述光圈开口度校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的所述光圈的开口度，并根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的所述光圈的开口度。
7.根据权利要求1或2所述的驾驶员成像装置，进一步包括感光度控制器件，其用于控制所述成像器件(1)的感光度，
其中所述感光度控制器件通过使拍摄所述第二图像时的感光度高于拍摄所述第一图像时的感光度来控制所述成像器件(1)拍摄图像时的曝光量。
8.根据权利要求7所述的驾驶员成像装置，其中所述感光度控制器件包括感光度校正器件，所述感光度校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的感光度，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的感光度。
9.根据权利要求1或2所述的驾驶员成像装置，进一步包括曝光量控制器件，其用于控制所述成像器件(1)拍摄所述图像时的曝光量，
其中所述曝光量控制器件使所述成像器件(1)以拍摄所述第一图像时的曝光量拍摄图像的正时与所述成像器件(1)以拍摄所述第二图像时的曝光量拍摄图像的正时周期性地交替。
10.根据权利要求9所述的驾驶员成像装置，其中，所述第一图像处理器件的第一图像处理在与所述第二图像处理器件的第二图像处理不同的正时执行。
11.根据权利要求1所述的驾驶员成像装置，进一步包括存储器件，其用于存储所述第一图像和所述第二图像，
其中所述第一图像处理器件和所述第二图像处理器件各自利用连续拍摄到并存储在所述存储器件中的所述第一图像和所述第二图像的组合来执行图像处理。
12.根据权利要求1或2所述的驾驶员成像装置，其中所述驾驶员的眼睛的位置通过检测所述驾驶员的鼻部的位置来确定。
13.一种驾驶员成像装置，其特征在于包括：
成像器件(1)，其用于拍摄车辆的驾驶员的脸部的图像；
脸部方向判定器件，其利用由所述成像器件(1)拍摄到的第一图像，以所述车辆的正面作为基准，判定在所述第一图像中所述驾驶员的脸部朝向的方向；以及
眼睛信息检测器件，其i)利用由所述成像器件(1)以比由所述成像器件(1)拍摄到的所述第一图像的曝光量高的曝光量拍摄到的第二图像，判定在所述第二图像中所述驾驶员的眼睛睁开的程度，或者ii)利用由所述成像器件(1)以比由所述成像器件(1)拍摄到的所述第一图像的曝光量高的曝光量拍摄到的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方向。
14.一种驾驶员成像方法，其特征在于包括：
利用拍摄到驾驶员的脸部的第一图像，对所述第一图像中的车辆的所述驾驶员的脸部的广域部分执行图像处理；以及
利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，对所述第二图像中的所述驾驶员的脸部的一部分执行图像处理，其中
通过对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理，检测i)以所述车辆的正面作为基准的所述驾驶员的脸部朝向的方向和ii)所述驾驶员的眼睛的位置中的至少一个，
通过对所述第二图像中的所述驾驶员的眼睛周围的部分执行图像处理，检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的方向中的至少一个。
15.一种驾驶员成像方法，其特征在于包括：
利用拍摄到驾驶员的脸部的第一图像，以车辆的正面作为基准，判定在所述第一图像中所述车辆的所述驾驶员的脸部朝向的方向；以及
利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，判定在所述第二图像中所述驾驶员的眼睛睁开的程度；或者利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方向。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008125057A JP4888838B2 (ja) | 2008-05-12 | 2008-05-12 | 運転者撮像装置および運転者撮像方法 |
| JP2008-125057 | 2008-05-12 | ||
| PCT/IB2009/000483 WO2009138828A1 (en) | 2008-05-12 | 2009-03-11 | Driver imaging apparatus and driver imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101951828A CN101951828A (zh) | 2011-01-19 |
| CN101951828B true CN101951828B (zh) | 2012-10-03 |
Family
ID=40756158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801005245A Expired - Fee Related CN101951828B (zh) | 2008-05-12 | 2009-03-11 | 驾驶员成像装置以及驾驶员成像方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8724858B2 (zh) |
| EP (1) | EP2288287B1 (zh) |
| JP (1) | JP4888838B2 (zh) |
| CN (1) | CN101951828B (zh) |
| AT (1) | ATE554697T1 (zh) |
| RU (1) | RU2453884C1 (zh) |
| WO (1) | WO2009138828A1 (zh) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878646B2 (en) | 2005-12-08 | 2020-12-29 | Smartdrive Systems, Inc. | Vehicle event recorder systems |
| US20070150138A1 (en) | 2005-12-08 | 2007-06-28 | James Plante | Memory management in event recording systems |
| US9201842B2 (en) | 2006-03-16 | 2015-12-01 | Smartdrive Systems, Inc. | Vehicle event recorder systems and networks having integrated cellular wireless communications systems |
| US8996240B2 (en) | 2006-03-16 | 2015-03-31 | Smartdrive Systems, Inc. | Vehicle event recorders with integrated web server |
| US8649933B2 (en) | 2006-11-07 | 2014-02-11 | Smartdrive Systems Inc. | Power management systems for automotive video event recorders |
| US8989959B2 (en) | 2006-11-07 | 2015-03-24 | Smartdrive Systems, Inc. | Vehicle operator performance history recording, scoring and reporting systems |
| US8868288B2 (en) | 2006-11-09 | 2014-10-21 | Smartdrive Systems, Inc. | Vehicle exception event management systems |
| US8239092B2 (en) | 2007-05-08 | 2012-08-07 | Smartdrive Systems Inc. | Distributed vehicle event recorder systems having a portable memory data transfer system |
| TWI369899B (en) * | 2008-07-21 | 2012-08-01 | Ind Tech Res Inst | Method and system for tracking human extremity positions |
| JP2010204304A (ja) * | 2009-03-02 | 2010-09-16 | Panasonic Corp | 撮像装置、運転者監視装置および顔部測距方法 |
| JP5601179B2 (ja) * | 2010-12-01 | 2014-10-08 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
| CN103442925B (zh) * | 2011-03-25 | 2016-08-17 | Tk控股公司 | 用于确定驾驶员警觉性的系统和方法 |
| DE112011105445B4 (de) * | 2011-07-11 | 2020-08-06 | Toyota Jidosha Kabushiki Kaisha | Rote-Augen-Bestimmungsvorrichtung |
| JP5737400B2 (ja) * | 2011-07-11 | 2015-06-17 | トヨタ自動車株式会社 | 赤目検出装置 |
| US8744642B2 (en) * | 2011-09-16 | 2014-06-03 | Lytx, Inc. | Driver identification based on face data |
| JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
| DE102012213466A1 (de) * | 2012-07-31 | 2014-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens |
| US9728228B2 (en) | 2012-08-10 | 2017-08-08 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
| DE102012022819A1 (de) * | 2012-11-17 | 2014-05-22 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Verfahren und Vorrichtungen zur Ausgabe von Informationen in einem Kraftfahrzeug |
| JP6577454B2 (ja) * | 2013-03-18 | 2019-09-18 | ミラメトリックス インコーポレイテッド | 軸上視線追跡システム及び方法 |
| TWI492193B (zh) * | 2013-06-14 | 2015-07-11 | Utechzone Co Ltd | 觸發訊號的方法及車用電子裝置 |
| EP2823751B1 (en) * | 2013-07-09 | 2023-07-05 | Smart Eye AB | Eye gaze imaging |
| US10115164B1 (en) | 2013-10-04 | 2018-10-30 | State Farm Mutual Automobile Insurance Company | Systems and methods to quantify and differentiate individual insurance risk based on actual driving behavior and driving environment |
| US9501878B2 (en) | 2013-10-16 | 2016-11-22 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
| US9610955B2 (en) | 2013-11-11 | 2017-04-04 | Smartdrive Systems, Inc. | Vehicle fuel consumption monitor and feedback systems |
| JP6176070B2 (ja) * | 2013-11-13 | 2017-08-09 | 株式会社デンソー | 視線方向検知装置 |
| US8892310B1 (en) | 2014-02-21 | 2014-11-18 | Smartdrive Systems, Inc. | System and method to detect execution of driving maneuvers |
| US9262924B2 (en) | 2014-07-09 | 2016-02-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adapting a warning output based on a driver's view |
| US9669759B2 (en) * | 2014-09-12 | 2017-06-06 | Yazaki Corporation | In-vehicle device |
| DE102014221039A1 (de) * | 2014-10-16 | 2016-04-21 | Robert Bosch Gmbh | Steuergerät für ein Kraftfahrzeug mit Kamera für Fahrergesicht und Verfahren zum Aufnehmen des Gesichtes eines Fahrzeuginsassen |
| US9663127B2 (en) | 2014-10-28 | 2017-05-30 | Smartdrive Systems, Inc. | Rail vehicle event detection and recording system |
| US11069257B2 (en) | 2014-11-13 | 2021-07-20 | Smartdrive Systems, Inc. | System and method for detecting a vehicle event and generating review criteria |
| JP6377501B2 (ja) * | 2014-11-14 | 2018-08-22 | トヨタ紡織株式会社 | 乗物の制御方法 |
| KR101619651B1 (ko) | 2014-11-26 | 2016-05-10 | 현대자동차주식회사 | 운전자 감시장치 및 그의 조명제어방법 |
| WO2016103962A1 (ja) * | 2014-12-26 | 2016-06-30 | 富士フイルム株式会社 | 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム |
| US9533687B2 (en) | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
| US10532659B2 (en) | 2014-12-30 | 2020-01-14 | Joyson Safety Systems Acquisition Llc | Occupant monitoring systems and methods |
| USD751437S1 (en) | 2014-12-30 | 2016-03-15 | Tk Holdings Inc. | Vehicle occupant monitor |
| US10614328B2 (en) | 2014-12-30 | 2020-04-07 | Joyson Safety Acquisition LLC | Occupant monitoring systems and methods |
| US9679420B2 (en) | 2015-04-01 | 2017-06-13 | Smartdrive Systems, Inc. | Vehicle event recording system and method |
| US20160362111A1 (en) * | 2015-06-12 | 2016-12-15 | Jaguar Land Rover Limited | Driver awareness sensing and indicator control |
| DE102015225109A1 (de) * | 2015-12-14 | 2017-06-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs |
| JP6649783B2 (ja) * | 2016-01-28 | 2020-02-19 | 株式会社デンソーテン | 車両制御装置、及び、車両制御方法 |
| JP6514651B2 (ja) * | 2016-02-15 | 2019-05-15 | ルネサスエレクトロニクス株式会社 | 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム |
| CN107340849A (zh) * | 2016-04-29 | 2017-11-10 | 和鑫光电股份有限公司 | 移动装置及其护眼控制方法 |
| EP3438948B1 (en) * | 2016-05-11 | 2023-08-30 | Sony Group Corporation | Image processing apparatus, image processing method, and mobile body |
| JP6601351B2 (ja) | 2016-09-13 | 2019-11-06 | 株式会社デンソー | 視線計測装置 |
| CN109923368A (zh) * | 2016-12-13 | 2019-06-21 | 金泰克斯公司 | 用于枪的生物统计识别系统 |
| JP6652090B2 (ja) * | 2017-03-10 | 2020-02-19 | オムロン株式会社 | 運転モード切替制御装置、システム、方法、およびプログラム |
| JP6756326B2 (ja) | 2017-11-09 | 2020-09-16 | 株式会社デンソー | 状態検出装置 |
| JP6646879B2 (ja) | 2018-03-13 | 2020-02-14 | オムロン株式会社 | 撮像装置 |
| US10924685B2 (en) * | 2018-05-07 | 2021-02-16 | Rubicon Products, LLC | Night vision apparatus |
| CN108720851B (zh) * | 2018-05-23 | 2021-06-29 | 释码融和（上海）信息科技有限公司 | 一种驾驶状态检测方法、移动终端及存储介质 |
| CN109005320A (zh) * | 2018-08-01 | 2018-12-14 | 惠州市德赛西威汽车电子股份有限公司 | 一种驾驶员监控红外摄像头装置以及图像亮度控制方法 |
| CN109523787B (zh) * | 2018-11-30 | 2021-06-29 | 公安部交通管理科学研究所 | 一种基于车辆通行轨迹的疲劳驾驶分析方法 |
| US10836352B2 (en) * | 2019-02-27 | 2020-11-17 | Stc Corporation Co. Ltd | Vehicle starting control system by using face perception data and method thereof |
| JP7183943B2 (ja) * | 2019-05-09 | 2022-12-06 | トヨタ自動車株式会社 | ステアリングモジュール |
| JP7321787B2 (ja) * | 2019-06-19 | 2023-08-07 | 日産自動車株式会社 | 情報処理装置及び情報処理方法 |
| US11254316B2 (en) * | 2020-01-24 | 2022-02-22 | Ford Global Technologies, Llc | Driver distraction detection |
| JP7140819B2 (ja) * | 2020-12-25 | 2022-09-21 | 本田技研工業株式会社 | 撮像装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1680779A (zh) * | 2005-02-04 | 2005-10-12 | 江苏大学 | 驾驶员疲劳监测方法及装置 |
| EP1732028A1 (en) * | 2005-06-10 | 2006-12-13 | Delphi Technologies, Inc. | System and method for detecting an eye |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08101133A (ja) | 1994-09-30 | 1996-04-16 | Suzuki Motor Corp | 円筒形状物の継ぎ目検出装置 |
| JPH09107499A (ja) | 1995-10-11 | 1997-04-22 | Canon Inc | 撮像装置及びその画像処理方法 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| HK1053239A2 (en) | 2002-10-09 | 2003-09-26 | Titanium Tech Ltd | Apparatus and method for recognizing images |
| JP2004192345A (ja) | 2002-12-11 | 2004-07-08 | Nissan Motor Co Ltd | 運転者状態検出装置 |
| US7091867B2 (en) * | 2004-02-20 | 2006-08-15 | Agilent Technologies, Inc. | Wavelength selectivity enabling subject monitoring outside the subject's field of view |
| JP4059224B2 (ja) * | 2004-04-13 | 2008-03-12 | 株式会社デンソー | 運転者の外観認識システム |
| JP2006139701A (ja) * | 2004-11-15 | 2006-06-01 | Niles Co Ltd | 眼の開度検出装置 |
| JP4397414B2 (ja) | 2005-02-17 | 2010-01-13 | 富士通株式会社 | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
| CN101124610A (zh) | 2005-02-18 | 2008-02-13 | 富士通株式会社 | 图像处理方法、图像处理系统、图像处理装置及计算机程序 |
| US20060259206A1 (en) * | 2005-05-16 | 2006-11-16 | Smith Matthew R | Vehicle operator monitoring system and method |
| JP4957030B2 (ja) * | 2006-03-15 | 2012-06-20 | オムロン株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP4819606B2 (ja) * | 2006-07-21 | 2011-11-24 | 株式会社豊田中央研究所 | 対象物の部位判別装置及び性別判定装置 |
-
2008
- 2008-05-12 JP JP2008125057A patent/JP4888838B2/ja not_active Expired - Fee Related
-
2009
- 2009-03-11 CN CN2009801005245A patent/CN101951828B/zh not_active Expired - Fee Related
- 2009-03-11 RU RU2010146086/28A patent/RU2453884C1/ru active
- 2009-03-11 WO PCT/IB2009/000483 patent/WO2009138828A1/en active Application Filing
- 2009-03-11 AT AT09746124T patent/ATE554697T1/de active
- 2009-03-11 EP EP20090746124 patent/EP2288287B1/en not_active Not-in-force
- 2009-03-11 US US12/681,009 patent/US8724858B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1680779A (zh) * | 2005-02-04 | 2005-10-12 | 江苏大学 | 驾驶员疲劳监测方法及装置 |
| EP1732028A1 (en) * | 2005-06-10 | 2006-12-13 | Delphi Technologies, Inc. | System and method for detecting an eye |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100220892A1 (en) | 2010-09-02 |
| US8724858B2 (en) | 2014-05-13 |
| RU2453884C1 (ru) | 2012-06-20 |
| JP2009276849A (ja) | 2009-11-26 |
| EP2288287B1 (en) | 2012-04-25 |
| WO2009138828A1 (en) | 2009-11-19 |
| JP4888838B2 (ja) | 2012-02-29 |
| EP2288287A1 (en) | 2011-03-02 |
| CN101951828A (zh) | 2011-01-19 |
| ATE554697T1 (de) | 2012-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101951828B (zh) | 驾驶员成像装置以及驾驶员成像方法 | |
| US20150296135A1 (en) | Vehicle vision system with driver monitoring | |
| JP7138168B2 (ja) | 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 | |
| JP3855439B2 (ja) | 夜間運転視界支援装置 | |
| JP4853389B2 (ja) | 顔画像撮像装置 | |
| JP5435307B2 (ja) | 車載カメラ装置 | |
| JP5233322B2 (ja) | 情報処理装置および方法、並びに、プログラム | |
| US9787949B2 (en) | Apparatus to recognize illumination environment of vehicle and control method thereof | |
| US20180335633A1 (en) | Viewing direction detector and viewing direction detection system | |
| US20110035099A1 (en) | Display control device, display control method and computer program product for the same | |
| JP2008135856A (ja) | 物体認識装置 | |
| JP6601351B2 (ja) | 視線計測装置 | |
| JP2006248363A (ja) | 運転者照明装置、運転者撮影装置および運転者監視装置 | |
| JP2013005234A5 (zh) | ||
| WO2015079657A1 (ja) | 視認領域推定装置 | |
| JP2007133644A (ja) | 歩行者認識装置 | |
| CN117549846A (zh) | 车载屏幕自适应调节方法、装置、车辆及存储介质 | |
| JP2006253787A (ja) | 画像入力装置及びこの装置を備えた車両の乗員監視装置 | |
| US20190289185A1 (en) | Occupant monitoring apparatus | |
| JP4314103B2 (ja) | 車載カメラ | |
| JP5182567B2 (ja) | 乗員監視装置 | |
| JP2009096323A (ja) | カメラ照明制御装置 | |
| JP2010264856A (ja) | 画像処理装置 | |
| JPH0732907A (ja) | 意識レベル検出装置 | |
| KR20230072579A (ko) | 적응형 부주의 판단 기능을 이용한 고속 주행 파일럿 시스템 및 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121003 |