CN111160081B - 监控系统 - Google Patents

监控系统 Download PDF

Info

Publication number
CN111160081B
CN111160081B CN201911070848.0A CN201911070848A CN111160081B CN 111160081 B CN111160081 B CN 111160081B CN 201911070848 A CN201911070848 A CN 201911070848A CN 111160081 B CN111160081 B CN 111160081B
Authority
CN
China
Prior art keywords
face
face image
light source
occupant
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911070848.0A
Other languages
English (en)
Other versions
CN111160081A (zh
Inventor
盐田隆司
大友贤太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN111160081A publication Critical patent/CN111160081A/zh
Application granted granted Critical
Publication of CN111160081B publication Critical patent/CN111160081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供能精度良好地监控乘坐人的视线状态的监控系统。监控系统(1)包括对乘坐人(101)的面部(101a)照射光的一对的右侧光源(11R)和左侧光源(11L)，所述一对的右侧光源(11R)和左侧光源(11L)配置在从上下方向观察摄像机(13)时隔着摄像机(13)的左右方向，根据摄像机(13)的每次拍摄，使右侧光源(11R)和左侧光源(11L)交替点亮。摄像机(13)分别获取根据右侧光源(11R)的点亮而相应拍摄的第1面部图像(31)和根据左侧光源(11L)的点亮而相应拍摄的第2面部图像(33)。控制装置(15)基于第1面部图像(31)和在获得第1面部图像(31)的时间点附近的时间点获取的第2面部图像(33)来判定视线状态。

Description

监控系统
技术领域
本发明涉及监控系统。
背景技术
以往，提出有检测车辆驾驶员的视线状态(例如，眨眼等)的眼睛状态检测装置(例如，参照专利文献1、2)。在这样的对驾驶员的监控系统中，为了即使在受干扰光(例如太阳光)影响的车辆内部，也能以稳定的画质来拍摄面部，使用发射近红外线(NIR)的光源对驾驶员的面部照明并进行拍摄。此外，在现有的监控系统中是透过用于去除干扰光的可见光截止滤光器来拍摄驾驶员面部。
现有技术文献
专利文献
专利文献1：日本特开2008-94221号公报
专利文献2：日本特许第4356733号公报
发明内容
发明欲解决的技术问题
然而，上述监控系统在对佩戴眼镜的驾驶员的面部进行拍摄时，光源会倒映在眼睛前面的眼镜的镜片上，妨碍对眼睛的拍摄，从得到的面部图像中有可能识别不了驾驶员的视线状态，存在改善的余地。
本发明的目的在于提供能够精度良好地对监控乘坐人的视线的状态进行监控的监控系统。
解决问题的技术手段
为了达到上述目的，本发明涉及的监控系统的特征在于，包括：摄像机，所述摄像机连续拍摄车辆的乘坐人的面部并获得面部图像；一对的右侧光源和左侧光源，所述右侧光源和所述左侧光源对所述乘坐人的面部照射光，且被配置在从上下方向观察所述摄像机时隔着所述摄像机的左右方向；点亮控制装置，所述点亮控制装置根据所述摄像机的每次拍摄，而使所述右侧光源和所述左侧光源交替地点亮；以及控制装置，所述控制装置利用已由所述摄像机获取的多个面部图像，来判定至少包括所述乘坐人的眼睛睁开闭合在内的视线状态，并基于该判定结果进行车辆控制，所述摄像机分别获取根据所述右侧光源的点亮而相应拍摄的第1面部图像和根据所述左侧光源的点亮而相应拍摄的第2面部图像，所述控制装置基于所述第1面部图像和在获取所述第1面部图像的时间点的最接近的时间点获取的所述第2面部图像来判定所述视线状态。
另外，上述监控系统中，包括：面部朝向判定装置，所述面部朝向判定装置利用所述面部图像来判定所述乘坐人面部的朝向；面部图像分割装置，当判定为所述乘坐人面部的朝向从所述摄像机观察是正对时，所述面部图像分割装置将所述第1面部图像分割为所述乘坐人的与所述右侧光源对置的右面部侧的第1右面部图像和距所述右侧光源的距离比所述乘坐人的右面部侧远的左面部侧的第1左面部图像，并且，将所述第2面部图像分割为所述乘坐人的与所述左侧光源对置的左面部侧的第2左面部图像和距所述左侧光源的距离比所述乘坐人的左面部侧远的右面部侧的第2右面部图像；以及面部图像合成装置，所述面部图像合成装置将所述第1左面部图像和所述第2右面部图像合成并创建一个面部图像，其中，所述控制装置基于已由所述面部图像合成装置制作的面部图像来判定所述视线状态。
另外，在上述监控系统中，还包括：面部朝向判定装置，所述面部朝向判定装置利用所述面部图像来判定所述乘坐人面部的朝向；当判定为所述乘坐人的面部朝向从摄像机观察是向右方旋转时，所述点亮控制装置使所述左侧光源点亮，当判定为所述乘坐人的面部朝向从所述摄像机观察是向左方旋转时，所述点亮控制装置使所述右侧光源点亮，所述摄像机分别获取根据所述右侧光源的点亮而相应拍摄的单独判定用面部图像和根据所述左侧光源的点亮而相应拍摄的单独判定用面部图像，所述控制装置基于各所述单独判定用面部图像来判定所述视线状态。
发明效果
本发明涉及的监控系统能够起到精度良好地对乘坐人的视线的状态进行监控的效果。
附图说明
图1是示出应用了实施方式所涉及的监控系统的车辆的室内的概要结构的示意图。
图2是示出实施方式所涉及的监控系统的概要结构的框图。
图3是表示实施方式所涉及的监控系统的控制装置的第1点亮控制的一例的流程图。
图4是表示实施方式所涉及的监控系统的控制装置的第2点亮控制的一例的流程图。
图5是表示实施方式所涉及的监控系统的控制装置的视线状态判定的一例的流程图。
图6是表示实施方式所涉及的监控系统的右侧光源点亮时的状态的一例的示意图。
图7是表示实施方式所涉及的监控系统的左侧光源点亮时的状态的一例的示意图。
图8是用于说明实施方式所涉及的监控系统的面部图像的分割与合成的示意图。
图9是表示实施方式所涉及的监控系统的右侧光源点亮时的状态的另一例的示意图。
图10是表示实施方式所涉及的监控系统的左侧光源点亮时的状态的另一例的示意图。
图11(a)以及图11(b)是表示实施方式所涉及的监控系统的单独判定用面部图像的一例的示意图。
符号说明
1 监控系统
11R 右侧光源
11L 左侧光源
13 摄像机
15 控制装置
21 点亮控制部
22 面部识别部
23 面部朝向判定部
24 面部图像分割部
25 面部图像合成部
26 视线状态判定部
27 警示部
31第1面部图像
31R第1右面部图像
31L第1左面部图像
31a，33a面部的中心线
33第2面部图像
33R第2右面部图像
33L第2左面部图像
35合成面部图像
39，40单独判定用面部图像
100 车辆
101 乘坐人
101a 面部
101b 眼睛
101c 眼镜
102 座位
具体实施方式
以下参照附图就本发明涉及的监控系统的实施方式进行详细说明。此外，本发明不被下述实施方式所限定。下述实施方式的构成要素中包含本领域技术人员能够容易想到的要素，或者实质上相同的要素。另外，在不脱离发明要旨的范围内，下述实施方式的构成要素可以进行各种省略、替换以及变更。
[实施方式]
参照图1～图11就本发明的实施方式涉及的监控系统进行说明。如图1所示，监控系统1是装载在汽车等车辆100，监控就坐于该车辆100的座位102上的乘坐人101的视线状态，并对乘坐人101进行各种处理的装置。视线状态是指：包括眼睛的睁开闭合(眨眼)在内的眼睛的状态。乘坐人101是被监控系统1监控的对象，例如是车辆100的驾驶员。本实施方式的乘坐人101设定为佩戴眼镜101c的人员。此外，本实施方式中，对车辆100是汽车的情况进行说明，但其也可以是例如公共汽车，电车等。
如图2所示，监控系统1包括右侧光源11R、左侧光源11L、摄像机13以及作为控制手段的控制装置15。监控系统1从车辆100内的电池(未图示)等接受电力而运行。
右侧光源11R以及左侧光源11L是对乘坐人101的面部101a照射光的一对光源，且在从上下方向观察摄像机13的情况下被配置在隔着摄像机13的左右方向。右侧光源11R以及左侧光源11L分别是出射近红外线的光源，例如由近红外LED(近红外发光二极管)等构成。右侧光源11R以及左侧光源11L分别对就坐于车辆100的座位102的乘坐人101的面部进行照明。右侧光源11R以及左侧光源11L被设置在例如车辆100的仪表板(未图示)内。
右侧光源11R借助于信号线17与控制装置15电连接，并根据来自控制装置15的点亮信号或者熄灭信号进行点亮或者熄灭。左侧光源11L借助于信号线18与控制装置15电连接，并根据来自控制装置15的点亮信号或者熄灭信号进行点亮或者熄灭。右侧光源11R以及左侧光源11L由控制装置15控制使得分别根据摄像机13的拍摄时刻而发光。此处所说的发光是指：根据从控制装置15依次输出的点亮信号、熄灭信号，光源(右侧光源11R以及左侧光源11L)由熄灭变为点亮的状态变化。
摄像机13是对车辆100的乘坐人101的面部101a进行连续拍摄并获取面部图像的装置。摄像机13是能够利用可见光线和红外光线这两者作为照明光进行拍摄的摄像机。如图8所示，例如，摄像机13可分别获取根据右侧光源11R的点亮而相应拍摄的第1面部图像31、根据左侧光源11L的点亮而相应拍摄的第2面部图像33。另外，如图11所示，摄像机13可分别获取根据右侧光源11R的点亮而相应拍摄的单独判定用面部图像39、根据左侧光源11L的点亮而相应拍摄的单独判定用面部图像40。摄像机13借助于信号线19与控制装置15连接，且将以一定的时刻连续拍摄的多个面部图像向控制装置15输出。摄像机13根据从控制装置15接收的控制信号来进行拍摄。摄像机13被设置在乘坐人101的座位102的正面方向，例如被设置在车辆100的仪表板(未图示)内。摄像机13拍摄间隔的优选为考虑一般的眨眼速度(例如100～150msec)而设定，例如设为15msec。需要说明的是，摄像机13的拍摄间隔并不限定于上述间隔。
控制装置15是对监控系统1的各部进行统一控制的部分。控制装置15执行乘坐人101的面部101a的视线状态的监控及用于控制车辆100的各部的各种计算处理。控制装置15构成为包含以公知的微型计算机为主体的电路，该微型计算机包含CPU(CentralProcessing Unit，中央处理单元)、MPU(Micro Processing Unit，微处理单元)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等的中央计算处理装置、ROM(Read OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存储器)以及接口。控制装置15是利用已由摄像机获取的多个面部图像来判定包括乘坐人101的眼睛101b的睁开闭合在内的视线状态，并基于该判定结果进行车辆控制的装置。控制装置15从摄像机13输入多个面部图像。控制装置15基于多个面部图像中的第1面部图像31和在获取第1面部图像31的时间点附近的时间点获取的第2面部图像33来判定视线状态。控制装置15被构成为包含点亮控制部21、面部识别部22、面部朝向判定部23、面部图像分割部24、面部图像合成部25、视线状态判定部26以及警示部27。需要说明的是，这些是控制装置15具有的部分功能，此外，还可以具有用于控制车辆100的各部的功能。
点亮控制部21是点亮控制装置的一例，具有根据摄像机13的每次拍摄而使右侧光源11R和左侧光源11L交替点亮的功能。点亮控制部21在使右侧光源11R点亮时，向右侧光源11R输出点亮信号，在使左侧光源11L点亮时，向左侧光源11L输出点亮信号。点亮控制部21在使右侧光源11R以及左侧光源11L这两者都点亮时，向右侧光源11R以及左侧光源11L双方都输出点亮信号。另外，点亮控制部21在使右侧光源11R熄灭时，向右侧光源11R输出熄灭信号，在使左侧光源11L熄灭时，向左侧光源11L输出熄灭信号。点亮控制部21在使右侧光源11R以及左侧光源11L这两者都熄灭时，向右侧光源11R以及左侧光源11L这两者都输出熄灭信号。点亮控制部21与摄像机13的拍摄连动地将点亮信号、熄灭信号向右侧光源11R以及左侧光源11L输出。即，由于是基于根据右侧光源11R的点亮而相应拍摄的第1面部图像31和根据左侧光源11L的点亮而相应拍摄的第2面部图像33来判定视线状态，因此，点亮控制部21根据摄像机13的每次拍摄而交替地向右侧光源11R和左侧光源11L连续输出点亮信号和熄灭信号。
面部识别部22对从摄像机13输入的面部图像进行解析，并提取特征点(例如：面部的轮廓、眼睛和口鼻的形状及位置、有无眼镜)。作为面部识别方法，可以使用例如：使用主成分分析的特征面部、线性判别分析、弹性束图匹配、隐马尔可夫模型、神经元动机的动态链接匹配等公知的面部识别算法。面部识别部22将已提取的特征点向面部朝向判定部23输出。且，面部识别部22可构成为基于已提取的特征点，与预先注册的面部图像相对照，判定是否是已注册过的人物。
面部朝向判定部23是面部朝向判定装置的一例，具有利用面部图像来判定乘坐人101的面部101a的朝向的功能。面部朝向判定部23可以基于已由面部识别部22提取出的特征点来判定面部图像中包含的乘坐人101的面部101a的朝向是否正对着摄像机13，即判定面部101a的朝向是否是朝正面。另外，面部朝向判定部23能够解析从摄像机13输入的面部图像，并判定面部图像包含的乘坐人101的面部101a的朝向从摄像机13观察是否向右方旋转，即判定面部101a的朝向是否朝向右侧。并且，面部朝向判定部23能够解析从摄像机13输入的面部图像，并判定面部图像包含的乘坐人101的面部101a的朝向从摄像机13观察是否向左方旋转，即判定面部101a的朝向是否朝向左侧。
面部图像分割部24是面部图像分割装置的一例，具有当乘坐人101的面部101a的朝向被判定为从摄像机13观察是正对时，将第1面部图像31分割为与右侧光源11R对置的乘坐人的右面部侧的第1右面部图像31R和距右侧光源11R的距离比乘坐人101的右面部侧远的左面部侧的第1左面部图像31L的功能。另外，面部图像分割部24具有当乘坐人101的面部101a的朝向被判定为从摄像机13观察是正对时，将第2面部图像33分割为与左侧光源11L对置的乘坐人101的左面部侧的第2左面部图像33L和距左侧光源11L的距离比乘坐人101的左面部侧远的右面部侧的第2右面部图像33R的功能。
面部图像合成部25是面部图像合成装置的一例，具有将第1左面部图像31L和第2右面部图像33R合成来制作一个面部图像的功能。如图8所示，控制装置15基于由面部图像合成部25合成的合成面部图像35来判定视线状态，并基于该判定结果对乘坐人101进行警示等。
视线状态判定部26是控制装置的一例，具有基于第1面部图像和在获取第1面部图像的时间点附近的时间点获取的第2面部图像来判定视线状态的功能。如图11所示，视线状态判定部26可基于根据右侧光源11R的点亮而相应拍摄的单独判定用面部图像39以及根据左侧光源11L的点亮而相应拍摄的单独判定用面部图像40来判定乘坐人101的视线状态。控制装置15利用已由摄像机13获取的多个单独判定用面部图像39、40来判定视线状态，并基于该判定结果对乘坐人101进行警示等。
警示部27是控制装置的一例，具有对乘坐人101进行警示的功能。警示部27例如发出警示音、使座位102振动，促使乘坐人101注意。且，警示部27的警示方法不限于这些方法，只要是能够促使乘坐人101注意的方法就可以，例如可以是发出气味，也可以是给予电气性的或者物理性的冲击。
接着，参照图3就监控系统1中的第1点亮控制进行说明。
步骤S1中，面部朝向判定部23判定面部朝向是否正对。例如，面部朝向判定部23利用已由摄像机13获取的面部图像来判定乘坐人101的面部101a的朝向是否是正对着摄像机13的状态。面部101a的朝向不是正对时，跳转到步骤S8的第2点亮控制处理。与之相对，面部101a的朝向是正对时，跳转到步骤S2～步骤S7的第1点亮控制处理。
步骤S2中，如图6所示，点亮控制部21使右侧光源11R点亮。当右侧光源11R从控制装置15接收到点亮控制部21的点亮信号时，右侧光源11R变为点亮状态。
步骤S3中，摄像机13拍摄由右侧光源11R照明的乘坐人101的面部101a并获取面部图像，并将该面部图像的数据向控制装置15输出。
步骤S4中，点亮控制部21使右侧光源11R熄灭。当右侧光源11R从控制装置15接收到点亮控制部21的熄灭信号时，右侧光源11R变为熄灭状态。
步骤S5中，如图7所示，点亮控制部21使左侧光源11L点亮。当左侧光源11L从控制装置15接收到点亮控制部21的点亮信号时，左侧光源11L变为点亮状态。
步骤S6中，摄像机13拍摄由左侧光源11L照明的乘坐人101的面部101a并获取面部图像，并将该面部图像的数据向控制装置15输出。
步骤S7中，点亮控制部21使左侧光源11L熄灭。当左侧光源11L从控制装置15接收到点亮控制部21的熄灭信号时，左侧光源11L变为熄灭状态，并返回步骤S1。
接着，参照图4就监控系统1的第2点亮控制进行说明。本处理是图3的步骤S8的第2点亮控制处理。
步骤S11中，面部朝向判定部23判定面部朝向是否向右方旋转。例如，面部朝向判定部23利用已由摄像机13获取的面部图像来判定乘坐人101的面部101a的朝向从摄像机13观察是否向右方旋转。如图10所示，当面部朝向判定部23判定面部101a的朝向是向右方旋转时，进入到步骤S12。与之相对，当判定面部101a的朝向没有向右方旋转时，则前进到步骤S15。
步骤S12中，与上述步骤S5相同，点亮控制部21使左侧光源11L点亮。当左侧光源11L从控制装置15接收到点亮控制部21的点亮信号时，左侧光源11L变为点亮状态。
步骤S13中，与上述步骤S6相同，摄像机13拍摄由左侧光源11L照明的乘坐人101的面部101a获取面部图像，并将该面部图像的数据向控制装置15输出。
步骤S14中，与上述步骤S7相同，点亮控制部21使左侧光源11L熄灭。当左侧光源11L从控制装置15接收到来自点亮控制部21的熄灭信号时，左侧光源11L变为熄灭状态，结束本处理并返回。
步骤S15中，面部朝向判定部23判定面部朝向是否向左方旋转。例如，面部朝向判定部23利用已由摄像机13获取的面部图像来判定乘坐人101的面部101a的朝向从摄像机13观察是否向左方旋转。如图9所示，当面部朝向判定部23判定面部101a的朝向是向左方旋转时，进入到步骤S16。而当判定面部101a的朝向不是向左方旋转时，结束本处理并返回。
步骤S16中，与上述步骤S2相同，点亮控制部21使右侧光源11R点亮。当右侧光源11R从控制装置15接收到来自点亮控制部21的点亮信号时，右侧光源11R变为点亮状态。
步骤S17中，与上述步骤S3相同，摄像机13对由右侧光源11R照明的乘坐人101的面部101a进行拍摄并获取面部图像，并将该面部图像的数据向控制装置15输出。
步骤S18中，与上述步骤S4相同，点亮控制部21使右侧光源11R熄灭。当右侧光源11R从控制装置15接收到点亮控制部21的熄灭信号，则右侧光源11R变为熄灭状态，结束本处理并返回。
接着，参照图5、图8，就监控系统1的视线状态的判定处理进行说明。
步骤S22中，面部朝向判定部23判定面部的朝向是否正对。例如，面部朝向判定部23利用已由摄像机13获取的面部图像来判定乘坐人101的面部101a的朝向是否是正对着摄像机13的状态。面部101a的朝向不是正对时，跳转到步骤S26。与之相对，面部101a的朝向是正对时，跳转到步骤S23。
步骤S23中，如图8所示，面部图像分割部24将第1面部图像31分割为与右侧光源11R对置的乘坐人101的右面部侧的第1右面部图像31R和距右侧光源11R的距离比乘坐人101的右面部侧远的左面部侧的第1左面部图像31L。第1面部图像31隔着面部的中心线31a被分割为第1右面部图像31R和第1左面部图像31L。对于本实施方式的第1面部图像31，例如右侧光源11R会倒映在眼镜101c的右侧镜片，造成不能正确把握乘坐人101的右眼的视线方向的状态。
步骤S24中、如图8所示，面部图像分割部24将第2面部图像33分割为与左侧光源11L对置的乘坐人101的左面部侧的第2左面部图像33L和距左侧光源11L的距离比乘坐人101的左面部侧远的右面部侧的第2右面部图像33R。第2面部图像33隔着面部的中心线33a被分割第2右面部图像33R和第2左面部图像33L。对于本实施方式的第2面部图像33，例如左侧光源11L会倒映在眼镜101c的左侧镜片，造成不能正确把握乘坐人101的左眼的视线方向的状态。
接着，步骤S25中，面部图像合成部25将在步骤S23分割成的第1左面部图像31L和在步骤S24分割成的第2右面部图像33R合成而创建为一个面部图像。
步骤S26中，视线状态判定部26基于在步骤S25中由面部图像合成部25创建的面部图像来判定乘坐人101的视线状态。例如，当乘坐人101的眼睛101b的闭合频率高时，视线状态判定部26能够推定出乘坐人101正在打瞌睡。
步骤S27中，警示部27基于步骤S26中判定的视线状态，以预定的方法警示乘坐人101，并结束本处理。例如，警示部27发出警示音促使乘坐人101注意。
如上述说明的那样，本实施方式涉及的监控系统1包括对乘坐人101的面部101a照射光的一对右侧光源11R和左侧光源11L，该一对光源配置在从上下方向观察摄像机13时隔着摄像机13的左右方向，该监控系统1根据摄像机13的每次拍摄，使右侧光源11R和左侧光源11L交替点亮。摄像机13分别获取根据右侧光源11R的点亮而相应拍摄的第1面部图像31和根据左侧光源11L的点亮而相应拍摄的第2面部图像33。控制装置15基于第1面部图像31和在获取第1面部图像的时间点附近的时间点获取的第2面部图像33来判定视线状态。
本实施方式所涉及的监控系统1可以判定例如光源没有倒映在眼镜镜片的那一侧的面部的视线状态，即使是对佩戴了眼镜101c的乘坐人101，也能精度良好地监控眼睛101b的状态。以往，2个光源同时发光并对佩戴眼镜的乘坐人的面部进行拍摄时，有时眼镜的各镜片中都会倒映光源，妨碍眼睛的拍摄，从已获取的面部图像中不能识别驾驶员的视线状态，难以监控乘坐人的视线状态。因此，获取根据右侧光源11R的点亮而相应拍摄的第1面部图像31和根据左侧光源11L的点亮而相应拍摄的第2面部图像33，并基于第1面部图像31和在获取第1面部图像31的时间点附近的时间点获取的第2面部图像33来判定视线状态。由此，即使在对佩戴眼镜的乘坐人的视线状态进行监控的情况下，也能够获取眼镜镜片中的一侧没有倒映光源的面部图像，且由于当该面部图像按时间顺序具有多个，因此能够判定乘坐人视线的随时间的变化。该结果，可以提高监控精度且不改变现有的系统结构。另外，以往使从2个光源照射乘坐人的面部的光通过偏光板使其缩小，但是因为本发明不再需要该偏光板，因此可以降低产品成本。该偏光板由于会使红外线照明的放射强度(照射到面部的强度)降低，因此为了获得所需的放射强度，光源的LED的个数会增加、或者LED的消耗电流值会上升，然而，本发明由于不再需要偏光板，因此能够进一步降低产品成本。
另外，本实施方式所涉及的监控系统1中，在判定为乘坐人101的面部101a的朝向从摄像机13观察是正对时，面部图像分割部24将第1面部图像31分割为与右侧光源11R对置的乘坐人101的右面部侧的第1右面部图像31R和距右侧光源11R的距离比乘坐人101的右面部侧远的左面部侧的第1左面部图像31L，并将第2面部图像33分割为与左侧光源11L对置的乘坐人101的左面部侧的第2左面部图像33L和距左侧光源11L的距离比乘坐人101的左面部侧远的右面部侧的第2右面部图像33R。面部图像合成部25将第1左面部图像31L和第2右面部图像33R合成而创建为一个合成面部图像35。控制装置15基于由面部图像合成部25制作成的合成面部图像35来判定视线状态。根据上述构成，可利用创建成的合成面部画像35来判定视线状态，即使是对佩戴了眼镜101c的乘坐人101，也能精度良好地监控眼睛101b的状态。
另外，本实施方式涉及的监控系统1中，当乘坐人101的面部的朝向被判定为从摄像机13观察是向右方旋转时，点亮控制部21使左侧光源11L点亮，当乘坐人101的面部101a的朝向被判定为从摄像机13观察是向左方旋转时，点亮控制部21使右侧光源11R点亮。摄像机13分别获取根据右侧光源11R的点亮而相应拍摄的单独判定用面部图像39和根据左侧光源11L的点亮而相应拍摄的单独判定用面部图像40。控制装置15基于各个单独判定用面部图像39，40来判定视线状态。根据上述构成，由于是根据乘坐人101的面部101a的朝向而控制点亮的光源，并利用根据各个光源的点亮而相应拍摄的面部图像来判定视线状态，因此可以利用眼镜镜片中没有倒映光源的状态的面部图像来判定视线状态。其结果，即使是对佩戴眼镜101c的乘坐人101，也能精度良好地监控眼睛101b的状态。
上述实施方式中，当被判定为乘坐人101的面部101a的朝向从摄像机13观察是正对时，基于由面部图像合成部25创建的合成面部图像35来判定视线状态，但并不限定于此。例如，可以基于第1面部图像31和第2面部图像33来判定视线状态，而不用将各面部图像分割为左面部图像和右面部图像。即，拍摄佩戴眼镜的乘坐人的面部时，即使面部的朝向从摄像机观察是正对时，光源也并不一定倒映到眼镜镜片中，因此，可以判定第1面部图像31以及第2面部图像33的各面部图像中的乘坐人101的双眼的视线状态。因此，不需要将面部图像分割并合成的处理，可以缩短判定视线状态的处理所需要的时间。
另外，可以将各面部图像分割为第1左面部图像31L和第1右面部图像31R，以及第2左面部图像33L和第2右面部图像33R，并基于分割成的各面部图像来判定视线状态。例如，可以判定第1左面部图像31L以及第2左面部图像33L的各左面部图像中的乘坐人101的一只眼睛的视线状态，也可以判定第1右面部图像31R以及第2右面部图像33R各右面部图像中的乘坐人101的一只眼睛的视线状态。由此，不需要进行将面部图像合成的处理，能够缩短视线状态的判定处理所需要的时间。
上述实施方式中，对于监控系统1，无论乘坐人101是否佩戴眼镜101c，都使右侧光源11R和左侧光源11L根据摄像机13的每次拍摄交替地点亮，但并不限定于此。例如，可根据乘坐人101是否佩戴眼镜101c，使右侧光源11R以及左侧光源11L的点亮方式不同。具体地，在乘坐人101没有佩戴眼镜101c时，根据摄像机13每次拍摄都使右侧光源11R以及左侧光源11L同时发光，乘坐人101佩戴眼镜101c时，使右侧光源11R和左侧光源11L根据摄像机13的每次拍摄交替地点亮。因此，乘坐人101没有佩戴眼镜101c时，能够对乘坐人101的面部101a均等照明，可以抑制由拍摄得到的面部图像中产生不必要的阴影，能够精度良好地监控乘坐人101的视线状态。此处，作为判断乘坐人101是否佩戴眼镜101c的方法，可以例举如对由摄像机13得到的面部图像进行解析的方法。

Claims (2)

1.一种监控系统，其特征在于，包括：
摄像机，所述摄像机连续拍摄车辆的乘坐人的面部并获得面部图像；
一对的右侧光源和左侧光源，所述右侧光源和所述左侧光源对所述乘坐人的面部照射光，且被配置在从上下方向观察所述摄像机时隔着所述摄像机的左右方向；
点亮控制装置，所述点亮控制装置根据所述摄像机的每次拍摄，而使所述右侧光源和所述左侧光源交替地点亮；
控制装置，所述控制装置利用已由所述摄像机获取的多个面部图像，来判定至少包括所述乘坐人的眼睛睁开闭合在内的视线状态，并基于判定结果进行车辆控制；以及
面部朝向判定装置，所述面部朝向判定装置利用所述面部图像来判定所述乘坐人面部的朝向，
所述摄像机分别获取根据所述右侧光源的点亮而相应拍摄的第1面部图像和根据所述左侧光源的点亮而相应拍摄的第2面部图像，
当判断为乘坐人的面部朝向从所述摄像机观察是正对时，所述控制装置基于所述第1面部图像和在获取所述第1面部图像的时间点附近的时间点获取的所述第2面部图像来判定所述视线状态，
当判定为所述乘坐人的面部朝向从所述摄像机观察是向右方旋转时，所述点亮控制装置使所述左侧光源点亮，
所述摄像机获取根据所述左侧光源的点亮而相应拍摄的单独判定用面部图像，
所述控制装置基于所述左侧光源的点亮而相应拍摄的所述单独判定用面部图像来判定所述视线状态，
当判定为所述乘坐人的面部朝向从所述摄像机观察是向左方旋转时，所述点亮控制装置使所述右侧光源点亮，
所述摄像机获取根据所述右侧光源的点亮而相应拍摄的单独判定用面部图像，
所述控制装置基于所述右侧光源的点亮而相应拍摄的所述单独判定用面部图像来判定所述视线状态。
2.如权利要求1所述的监控系统，其中，包括：
面部图像分割装置，当判定为所述乘坐人面部的朝向从所述摄像机观察是正对时，所述面部图像分割装置将所述第1面部图像分割为所述乘坐人的与所述右侧光源对置的右面部侧的第1右面部图像和距所述右侧光源的距离比所述乘坐人的右面部侧远的左面部侧的第1左面部图像，并且，将所述第2面部图像分割为所述乘坐人的与所述左侧光源对置的左面部侧的第2左面部图像和距所述左侧光源的距离比所述乘坐人的左面部侧远的右面部侧的第2右面部图像；以及
面部图像合成装置，所述面部图像合成装置将所述第1左面部图像和所述第2右面部图像合成并创建一个面部图像，其中，
所述控制装置基于已由所述面部图像合成装置制作的面部图像来判定所述视线状态。
CN201911070848.0A 2018-11-07 2019-11-05 监控系统 Active CN111160081B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-209418 2018-11-07
JP2018209418A JP6894880B2 (ja) 2018-11-07 2018-11-07 監視システム

Publications (2)

Publication Number Publication Date
CN111160081A CN111160081A (zh) 2020-05-15
CN111160081B true CN111160081B (zh) 2023-07-18

Family

ID=68392863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911070848.0A Active CN111160081B (zh) 2018-11-07 2019-11-05 监控系统

Country Status (4)

Country Link
US (1) US10963718B2 (zh)
EP (1) EP3650991B8 (zh)
JP (1) JP6894880B2 (zh)
CN (1) CN111160081B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019004692B3 (de) * 2019-07-03 2020-11-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
US10996753B1 (en) * 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
US12002290B2 (en) 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010023626A (ja) * 2008-07-17 2010-02-04 Toyota Motor Corp ドライバー監視装置
JP2010244156A (ja) * 2009-04-02 2010-10-28 Toyota Motor Corp 画像特徴量検出装置及びこれを用いた視線方向検出装置
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
JP2008094221A (ja) * 2006-10-11 2008-04-24 Denso Corp 目状態検出装置および目状態検出装置の取り付け方法
JP4356733B2 (ja) * 2006-11-09 2009-11-04 アイシン精機株式会社 車載用画像処理装置とその制御方法
KR100936334B1 (ko) * 2008-06-11 2010-01-12 현대자동차주식회사 얼굴 검출 시스템
DE102014118387A1 (de) * 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
JP2017068385A (ja) * 2015-09-28 2017-04-06 京セラ株式会社 撮像装置、および監視システム
DE102016215766A1 (de) * 2016-08-23 2018-03-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Innenraumkamera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010023626A (ja) * 2008-07-17 2010-02-04 Toyota Motor Corp ドライバー監視装置
JP2010244156A (ja) * 2009-04-02 2010-10-28 Toyota Motor Corp 画像特徴量検出装置及びこれを用いた視線方向検出装置
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法

Also Published As

Publication number Publication date
EP3650991B1 (en) 2023-05-31
US10963718B2 (en) 2021-03-30
CN111160081A (zh) 2020-05-15
US20200143189A1 (en) 2020-05-07
JP2020075596A (ja) 2020-05-21
EP3650991B8 (en) 2023-07-05
JP6894880B2 (ja) 2021-06-30
EP3650991A1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN111160081B (zh) 监控系统
US10521683B2 (en) Glare reduction
EP1986129B1 (en) Face image capturing apparatus
JP4853389B2 (ja) 顔画像撮像装置
JP3214195B2 (ja) 運転者撮影装置
JP6338701B2 (ja) 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム
US20050100191A1 (en) Imaging system and method for monitoring an eye
US8358337B2 (en) Pupil detection device and pupil detection method
US11442300B2 (en) Vehicle mounted virtual visor system and method thereof
JP2021501517A (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
EP2060993B1 (en) An awareness detection system and method
CN109804422B (zh) 眼球运动测量装置和眼球运动分析系统
EP3362308A1 (en) Method for examining a perception of a visual warning notice by a vehicle user, driver assistance system and motor vehicle
CN115179956A (zh) 驾驶员监视装置、驾驶员监视方法及驾驶员监视用计算机程序
US11810372B2 (en) Multiple in-cabin cameras and lighting sources for driver monitoring
EP3807811A1 (en) High frame rate image pre-processing system and method
JP5206190B2 (ja) ドライバー監視装置
WO2014041758A1 (ja) 状態監視装置
EP4198922A1 (en) Computer implemented method, computer system and non-transitory computer readable medium for detecting a person in the passenger compartment of a vehicle
KR101681938B1 (ko) 졸음 운전 방지 장치
KR20160061090A (ko) 졸음 운전 방지 시스템
TR2023017519A2 (tr) Göz hareketleri̇ne bağli olarak kontrol edi̇len bi̇r far si̇stemi̇
KR20170133289A (ko) 운전자의 눈 위치 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant