CN110525340A - 车辆的乘员监视装置 - Google Patents

车辆的乘员监视装置 Download PDF

Info

Publication number
CN110525340A
CN110525340A CN201910271597.6A CN201910271597A CN110525340A CN 110525340 A CN110525340 A CN 110525340A CN 201910271597 A CN201910271597 A CN 201910271597A CN 110525340 A CN110525340 A CN 110525340A
Authority
CN
China
Prior art keywords
occupant
light projector
capture apparatus
seat
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910271597.6A
Other languages
English (en)
Other versions
CN110525340B (zh
Inventor
中村亮太
枝田健志
大西惠太
丸桥雅幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN110525340A publication Critical patent/CN110525340A/zh
Application granted granted Critical
Publication of CN110525340B publication Critical patent/CN110525340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

对于乘员监视装置而要求即使在监视对象的人数增加的情况下也抑制拍摄设备的使用个数。乘员就坐于在乘员室(2)设置的座椅(3)的车辆的乘员监视装置(17)具有:拍摄设备(35),其对车宽方向上排列就坐的多名乘员进行拍摄;以及多个投光设备(36、37),它们对应于座椅(3)的多个就坐位置而设置,朝向就坐的各乘员进行投光。

Description

车辆的乘员监视装置
技术领域
本发明涉及一种车辆的乘员监视装置。
背景技术
汽车之类的车辆基本上由多名乘员乘坐,由驾驶员驾驶。
而且,专利文献1公开了乘员监视装置。
专利文献1:日本特开2006-134038号公报
然而,专利文献1的乘员监视装置仅对驾驶员一人进行监视,拍摄设备也设置为仅对驾驶员一人进行拍摄。
因此,例如如果不仅要对驾驶员进行监视还要对副驾、其他乘员进行监视,则乘员监视装置需要与监视对象的人数相应的拍摄设备。
另外,乘员监视装置为了监视而必须同时进行处理的图像的数量与对应于监视对象的人数的拍摄设备的个数相应地增加。
这样,在乘员监视装置中,在监视对象的人数增加的情况下,也要求抑制拍摄设备的使用个数。
发明内容
本发明所涉及的车辆的乘员监视装置是乘员就坐于在乘员室设置的座椅的车辆的乘员监视装置,具有:拍摄设备,其对车宽方向上排列就坐的多名乘员进行拍摄;以及多个投光设备,它们对应于所述座椅的多个就坐位置而设置,朝向就坐的各乘员进行投光。
优选地,所述拍摄设备可以在所述乘员室中设置于车宽方向的中央部,可以将车宽方向上排列就坐的多名乘员拍摄于1幅图像中。
优选地,各所述投光设备可以对乘员的至少头部进行投光。
优选地,各所述投光设备可以相对于投光的乘员的就坐位置而设置于斜向或者横向。
优选地,在所述乘员室,驾驶员用的所述座椅和副驾用的所述座椅可以在车宽方向上排列设置,所述拍摄设备可以设置于在所述乘员室设置的仪表板的中央部,可以将车宽方向上排列就坐的驾驶员和副驾拍摄于1幅图像中。
优选地,驾驶员用的所述投光设备可以在所述仪表板排列设置于相对于所述拍摄设备的副驾侧,副驾用的所述投光设备可以在所述仪表板排列设置于相对于所述拍摄设备的驾驶员侧。
优选地,驾驶员用的所述投光设备和副驾用的所述投光设备可以以将所述拍摄设备夹于中间而在车宽方向上排列的方式集中设置于所述仪表板的中央上部。
优选地,驾驶员用的所述投光设备、副驾用的所述投光设备以及所述拍摄设备可以设置于在所述仪表板设置的显示设备或者操作设备的周围。
优选地,可以在驾驶员用的所述投光设备、副驾用的所述投光设备以及所述拍摄设备的下侧设置空调管道。
优选地,可以具有基于由所述拍摄设备拍摄所得的图像而执行用于乘员监视的控制的控制部,所述控制部可以基于所述拍摄设备拍摄所得的1幅图像而执行针对车宽方向上排列就坐的多名乘员的监视控制。
优选地,所述控制部可以基于脸部朝向所述拍摄设备的方向的图像、以及脸部朝向所述车辆的正面的图像而对乘员进行识别。
发明的效果
这样,在本发明的乘员监视装置中,利用1个拍摄设备对车宽方向上排列就坐的多名乘员进行拍摄。因而,在本发明中,即使在监视对象的人数增加的情况下,也能够抑制拍摄设备、投光设备的使用个数。
另外,在本发明中,从与座椅的就坐位置一一对应地设置的多个投光设备朝向就坐的各乘员进行投光。因而,在车辆的乘员监视装置中,有时因车辆移动中的太阳光的有无等急剧的变化而使得拍摄环境大幅且急剧地变化,即使在这种情况下,在本发明中,在基于1个拍摄设备得到的拍摄图像中也能够获得良好地对多个监视对象的乘员进行拍摄的图像。
而且,在本发明中,投光设备并不对与拍摄设备同样地在车宽方向上排列就坐的多名乘员全部都进行投光,而是朝向各乘员分别进行投光。因而,在本发明中,与对多名乘员全部都进行投光的情况相比,能够以较少的总光量对多名乘员高效地进行投光。能够减轻因投光引起的车辆的负荷。另外,在车辆的乘员监视装置中,即使在对各乘员存在较强的日照的情况下,对于各乘员也需要获得能够在监视利用的浓度差的图像,能够以较少的总光量获得这种图像。
附图说明
图1是应用了本发明的实施方式所涉及的乘员监视装置的汽车的说明图。
图2是表示驾驶员和副驾就坐于图1的前排的两个座椅的状态的说明图。
图3是图1的汽车的控制装置的说明图。
图4是本发明的实施方式所涉及的乘员监视装置的结构图。
图5是图4的传感器单元的构造以及布局的说明图。
图6是示意性地表示图4的拍摄设备的拍摄范围和一对投光设备的投光范围的图。
图7是基于图4的监视控制部的乘员登记处理的流程图。
图8是基于图4的监视控制部的乘员监视处理的流程图。
标号的说明
1…汽车(车辆)、2…乘员室、3…座椅、4…仪表板、5…方向盘、14…显示设备、15…操作设备、16…扬声器设备、17…乘员监视装置、31…传感器单元、32…保冷罩、33…罩部、34…导热部、35…拍摄设备、36…投光设备、37…投光设备、38…监视控制部、39…记录部、40…个人数据库、41…触摸面板显示设备、42…空调管道。
具体实施方式
图1是应用了本发明的实施方式所涉及的乘员监视装置17的汽车1的说明图。
汽车1是车辆的一个例子。汽车1可以将内燃机作为行驶的动力源,可以将电池的蓄电电力作为行驶的动力源,也可以将它们组合而作为行驶的动力源。
图1的汽车1具有设置有供乘员就坐的座椅3的乘员室2。
在就坐于座椅3的驾驶员之前配置有从仪表板4向后凸出的方向盘5。
图2是表示驾驶员和副驾就坐于图1的前排的两个座椅3的状态的说明图。
图2中在乘员室2沿车宽方向排列设置有驾驶员用的座椅3、以及副驾用的座椅3。
图3是图1的汽车1的控制装置10的说明图。
图3的控制装置10具有车门开闭传感器11、车速传感器12、停车传感器13、显示设备14、操作设备15、扬声器设备16、乘员监视装置17、挡位设定装置18、驾驶辅助装置19、车外通信装置20、乘员保护装置21、空调装置22、以及将上述部件连接的车内网络23。
车内网络23中例如存在基于CAN(Controller Area Network)、LIN(LocalInterconnect Network)的有线的通信网络。车内网络23也可以是无线的通信网络。
车门开闭传感器11对汽车1的车门从关闭的状态打开的情况、以及将打开状态的车门关闭的情况进行检测。
车速传感器12对汽车1的停止以及行驶进行检测。车速传感器12也可以对汽车1的行驶速度进行检测。
停车传感器13对汽车1维持为停车状态的停车状态进行检测。例如能够通过对换挡杆进行操作使其置于停车位置、拉动停车杆而检测停车状态。
显示设备14对各种信息、图像进行显示。
操作设备15生成与乘员的操作相应的操作信息。
扬声器设备16将语音、警告音等输出。
挡位设定装置18例如对座椅3的前后上下的位置以及靠背的角度、方向盘5的前后上下的位置以及角度、各种踏板的前后上下的位置以及角度进行调整。另外,对与就坐于座椅3的乘员对应的设定数据进行记录,执行基于该记录而对座椅3、方向盘5以及踏板的位置以及角度进行调整的控制。此外,挡位设定装置18可以以与手动驾驶中的挡位的设定数据不同的方式对自动驾驶中的挡位的设定数据进行记录,根据汽车1的驾驶状况对挡位进行变更。
驾驶辅助装置19以辅助乘员对汽车1的行驶操作的方式对汽车1的行驶、停止以及转向进行控制。另外,驾驶辅助装置19可以以全自动的方式对汽车1的行驶、停止以及转向进行控制。
车外通信装置20例如利用公共无线通信网、商用无线通信网与设置于地上的通信设备、其他汽车的车外通信装置执行双向的数据通信。由此,汽车1能够获取与交通信息、在周围行驶的汽车1的行驶状态、本车辆的周围的交通状况相关的信息。另外,车外通信装置20例如能够发送自动驾驶中等的本车辆的行驶状态的信息。
乘员保护装置21在碰撞时通过使气囊展开或对安全带施加张力而保护就坐于座椅3的乘员。
空调装置22向乘员室2供给冷却或者过热的空气,由此将乘员室2的温度调整为设定温度。
乘员监视装置17例如识别乘坐于乘员室2且就坐于驾驶员用的座椅3的乘员,对识别出的乘员的斜视、瞌睡进行监视。而且,在检测出乘员的斜视、瞌睡的情况下,乘员监视装置17从扬声器设备16通过语音等而对乘员发出警告。由此,使乘员的注意力集中于汽车1的行驶而能够期待提高安全性。这样,乘员监视装置17通过车内网络23从其他仪器获得控制所需的信息、或者通过车内网络23对其他仪器进行控制。
但是,不仅驾驶员乘坐于汽车1,副驾等其他乘员也乘坐于汽车1并就坐于座椅3。
因此,优选乘员监视装置17不仅对驾驶员进行监视,还对副驾等其他乘员进行监视。
然而,在这样要对多名乘员进行监视的情况下,乘员监视装置17需要具有针对每名乘员的多个拍摄设备35。拍摄设备35基本上需要设置为与设置于汽车1的座椅3的就坐位置相同的数量。
例如如果不仅对驾驶员还要对副驾进行监视,则乘员监视装置17需要与监视对象的人数相当的2个拍摄设备35。
另外,乘员监视装置17为了监视而必须同时处理的图像的数量也与拍摄设备35的个数成正比地增加。
这样,在乘员监视装置17中,即使在监视对象的人数增加的情况下,也要求抑制拍摄设备35的使用个数。
这里,以对沿车宽方向排列且就坐于座椅3的驾驶员和副驾进行监视的乘员监视装置17为例进行说明。
图4是本发明的实施方式所涉及的乘员监视装置17的结构图。
图4的乘员监视装置17具有传感器单元31、监视控制部38、记录部39。
另外,图4中示出了在仪表板4的中央下部配置的触摸面板显示设备41。触摸面板显示设备41是操作设备在显示设备14的显示画面上重叠透明的操作设备15得到的。
图5是图4的传感器单元31的构造以及布局的说明图。
图5(A)是从后方观察传感器单元31的图。
图5(B)是从上方观察传感器单元31的图。
传感器单元31设置于仪表板4的中央上部。
图5的传感器单元31具有保冷罩32、拍摄设备35、驾驶员用的投光设备36、副驾用的投光设备37。
保冷罩32是具有较高的导热率的铝铸模制的结构,具有罩部33以及导热部34。
罩部33具有近似长方形的板形状,将拍摄设备35以及一对投光设备36、37的上侧覆盖。
导热部34具有近似“コ”字形状,从近似长方形的板形状的罩部33向下延伸。
而且,导热部34的下端缘从拍摄设备35以及一对投光设备36、37延伸至下侧。
由此,拍摄设备35以及一对投光设备36、37的上侧、前侧以及左右两侧由具有较高的导热率的罩部33覆盖。
传感器单元31设置于仪表板4的中央上部,不易由来自太阳的直射日光而使得拍摄设备35以及一对投光设备36、37过热。
另外,在传感器单元31的正下方设置有空调装置22的空调管道42。在空调装置22执行动作的情况下,空调管道42达到设定温度。利用空调管道42将具有较高的导热率的罩部33也控制为接近设定温度的温度。
因此,即使在来自太阳的直射日光照射的状况下使得拍摄设备35以及一对投光设备36、37发热,拍摄设备35以及一对投光设备36、37也能够维持为可执行动作的温度。
记录部39例如是半导体存储器设备、硬盘设备。记录部39对乘员监视装置17中使用的程序、数据进行保存。记录部39例如对个人数据库40进行保存。
作为乘员监视装置17中设定的乘员的信息,个人数据库40针对每名乘员而具有例如识别编号、认证用的脸部图像、设定信息等。
监视控制部38例如为CPU(Central Processing Unit)。CPU读入并执行记录部39的程序。由此实现监视控制部38。
监视控制部38识别并监视乘坐于乘员室2的乘员。
监视控制部38基于由拍摄设备35拍摄的图像而执行用于乘员监视的控制。
下面,对拍摄设备35以及一对投光设备36、37进行说明。
图6是示意性地表示图4的拍摄设备35的拍摄范围和一对投光设备36、37的投光范围的图。
图6是从上方观察拍摄范围以及投光范围的图。图2中示出了从前侧观察的拍摄范围以及投光范围。
在这些图中,由虚线表示拍摄范围。由点划线表示投光范围。
拍摄设备35以广角对例如基于红外线的图像进行拍摄。
拍摄设备35设置于乘员室2中相当于车宽方向的中央部的仪表板4的中央部。
如图6以及图2中虚线所示,拍摄设备35将包含在车宽方向上排列就坐的驾驶员和副驾在内的拍摄范围拍摄成1个红外线图像。
一对投光设备36、37例如投射红外线。
投光设备36、37与本实施方式中的拍摄对象即驾驶员和副驾一一对应地设置。
如图6以及图2中点划线所示,投光设备36、37向朝向就坐于座椅3的各乘员的投光范围照射红外线。此时,投光设备36、37可以具有图示以外的聚光透镜。由此,如图2所示,投光设备36、37可以朝向可动的投光范围集中对乘员的头部、脸部照射红外线。
投光设备36、37的输出光量越大,消耗越多的电力,发热量越大。在本实施方式中,如图6以及图2所示,将投光设备36、37的投光范围缩小为拍摄范围的一部分。由此,一对投光设备36、37能够通过较少的电力消耗以及发热而对多名乘员的头部照射较强的红外线。即使在较强的直射日光照射的状况下,监视控制部38也能够从拍摄设备35的拍摄图像中提取出各乘员的头部的特征。
驾驶员用的投光设备36和副驾用的投光设备37以将拍摄设备35夹在中间且在车宽方向上排列的方式集中设置于仪表板4的中央上部。
驾驶员用的投光设备36在仪表板4排列设置于相对于拍摄设备35的副驾侧。
副驾用的投光设备37在仪表板4排列设置于相对于拍摄设备35的驾驶员侧。
由此,各投光设备36、37对于拍摄对象的乘员的头部,可以不从正面方向、横向照射红外线,而是从斜下方向照射红外线。
另外,驾驶员用的投光设备36、副驾用的投光设备37、以及拍摄设备35设置于在仪表板4的中央下部设置的触摸面板显示设备41的周围即上侧。
下面,说明基于图4的监视控制部38进行的乘员的监视控制。
监视控制部38例如如果基于车门开闭传感器11的开闭检测而判断乘员的乘坐状况,则开始进行对乘员的监视。
监视控制部38将一对投光设备36、37点亮。另外,监视控制部38使拍摄设备35执行动作。由此,监视控制部38形成为能够获取对驾驶员和副驾进行拍摄的红外线图像的状态。
图7是基于图4的监视控制部38的乘员登记处理的流程图。
在图7的步骤ST1中,监视控制部38首先判断是否对乘员进行了登记。在未对乘员进行登记的情况下,监视控制部38结束图7的处理。
在对乘员进行登记的情况下,在步骤ST2中,监视控制部38在作为显示设备14的触摸面板显示设备41对乘员登记的向导进行显示。
在步骤ST3中,在触摸面板显示设备41显示开始乘员登记的向导的状态下,监视控制部38获取拍摄设备35的红外线图像。
在触摸面板显示设备41显示开始乘员的登记的向导,从而乘车的驾驶员或者副驾将脸部朝向触摸面板显示设备41而确认显示内容。
因而,在触摸面板显示设备41的周围即上侧配置的拍摄设备35,能够对正对着乘车的驾驶员的脸部或者副驾的脸部而捕捉到的图像进行拍摄。
然后,在步骤ST4中,监视控制部38对触摸面板显示设备41的显示进行切换,对指示使脸部朝向正面的向导进行显示。
另外,监视控制部38在步骤ST5中获取拍摄设备35的红外线图像。
由此,拍摄设备35能够对捕捉到朝向正面的驾驶员的脸部或者副驾的脸部的图像进行拍摄。
然后,在步骤ST6中,监视控制部38执行用户登记处理。
在用户登记处理中,监视控制部38从拍摄所得的两幅图像切出正对的脸部、以及朝向正面的脸部作为驾驶员或者副驾的脸部图像。
而且,监视控制部38将切出的两幅图像等与新的识别编号一起追加至个人数据库40。监视控制部38可以将切出的两幅图像中包含的乘员的脸部的特征点追加至个人数据库40。
由此,将新用户的信息登记于个人数据库40。
图8是图4的基于监视控制部38的乘员监视处理的流程图。
在图8的步骤ST11中,监视控制部38例如基于车门开闭传感器11的开闭检测而判断乘员的乘车状况。
在步骤ST12中,监视控制部38对乘车的乘员进行识别。
监视控制部38从拍摄设备35获取新的拍摄图像,与登记于个人数据库40的脸部的图像进行对照,对乘车的乘员进行识别。
在对照处理中,监视控制部38例如与登记于个人数据库40的所有脸部图像进行对照,确定匹配处理的评价值最高的脸部图像,在个人数据库40中确定与特定的图像对应的用户。
即,监视控制部38基于使得脸部朝向拍摄设备35的方向的图像、和使得脸部朝向车辆的正面的图像而识别确定乘员。
此外,朝向汽车1的正面的图像是从斜向横向捕捉脸部的图像。
与此相对,使得脸部朝向拍摄设备35的方向的正对的图像是从正面捕捉脸部的图像,容易在图像中表现出脸部的鼻子等的凹凸的特征点。
因而,监视控制部38可以在对照处理的判断中与正对的图像相比优先考虑朝向正面的图像。
另外,监视控制部38可以不直接对图像彼此进行比较,而是对从各图像提取出的特征点彼此进行比较。
在步骤ST13中,监视控制部38执行与识别出的乘员相应的设定控制。
监视控制部38基于个人数据库40中与识别出的乘员关联地登记的设定值而执行各种设定控制。
监视控制部38例如将登记于个人数据库40的座椅位置的设定值向挡位设定装置18通知。挡位设定装置18将座椅3控制为所通知的设定值的位置。
在步骤ST14中,监视控制部38开始乘员的监视。监视控制部38通过获取由拍摄设备35拍摄的图像而获取乘员的当前状态。
监视控制部38基于拍摄设备35拍摄的1幅图像而获取针对确定已乘车的驾驶员以及副驾的当前状态。
监视控制部38例如从当前的图像提取出特征点,与从识别出的乘员的图像获得的特征点进行比较,获取乘员的脸部的朝向、眼睛的张开状况之类的当前状态。
在步骤ST15中,监视控制部38判断是否需要控制。在不需要控制的情况下,监视控制部38使得处理进入步骤ST17。
在需要控制的情况下,监视控制部38在步骤ST16中执行所需的控制。
例如,如果在行驶中的车辆中驾驶员的脸部朝向下方,则监视控制部38判断需要进行向乘员的通报控制。监视控制部38从扬声器设备16输出唤起注意的声音。
除此之外,例如,如果监视控制部38在步骤ST14中获知儿童座椅向副驾用的座椅3的安装,则监视控制部38对副驾用的座椅3实施不使气囊展开的控制。乘员保护装置21通过监视控制部38的控制而对副驾用的座椅3执行不使气囊展开的设定。
在步骤ST17中,监视控制部38判断乘员是否下车而不需要监视。
在乘员未下车而需要监视的情况下,监视控制部38使处理向步骤ST14返回。由此,监视控制部38持续进行对乘员的监视。
在乘员下车而不需要监视的情况下,监视控制部38使图8的处理结束。
如上,本实施方式的乘员监视装置17利用1个拍摄设备35对车宽方向上排列就坐的驾驶员以及副驾进行拍摄。因而,在本实施方式中,尽管监视对象的人数为两人,但也能够利用1个拍摄设备35进行监视。在乘员监视装置17中,可以不针对每名乘员而设置拍摄设备35。而且,拍摄设备35在乘员室2的仪表板4设置于车宽方向的中央部。由此,拍摄设备35能够以适合于1个红外线图像的方式分别对车宽方向上排列就坐的驾驶员以及副驾进行拍摄。另外,执行用于监视乘员的控制的监视控制部38能够基于拍摄设备35拍摄所得的1幅红外线图像,执行针对车宽方向上排列就坐的驾驶员以及副驾的监视控制。与此相对,假设例如在将拍摄设备35设置于乘员的正面的情况下,乘员监视装置17中需要针对每名乘员而设置拍摄设备35。而且,在将拍摄设备35设置于乘员的正面的情况下,有可能和乘员的实际的眼睛一起使得眼镜中映射的眼睛重叠地进行拍摄。在本实施方式中,这种拍摄不易产生。
另外,在本实施方式中,投光设备36、37与车宽方向上排列就坐的驾驶员以及副驾一一对应地设置有2个。投光设备36、37针对每名乘员而设置,并不对车宽方向上排列就坐的两名乘员全部都进行投光,而是向各乘员分别进行投光。因而,投光设备36、37无需对车宽方向上排列就坐的多名乘员全部都投射红外线。而且,各投光设备36、37对乘员的头部进行投光。在本实施方式中,将由投光设备36、37照射红外线的范围抑制为乘员的监视所需的最小限度的范围。在本实施方式中,能够对多名乘员以最小限度的光量无浪费且高效地进行投光。在本实施方式中,与针对两名乘员全部都进行投光的情况相比,能够以较少的总光量对两名乘员高效地进行投光。能够减轻因投光引起的汽车1的负荷。另外,通过对拍摄对象的乘员的脸部分别从下侧进行投光,即使对乘员产生较强的日照或者在汽车1的移动中亮度发生急剧变化,拍摄设备35也能够针对各乘员而对脸部的凹凸进行拍摄。
而且,在本实施方式中,各投光设备36、37相对于投光的乘员的就坐位置而设置于在横向上接近的倾斜方向上。特别地,对于驾驶员用的投光设备36,在仪表板4使其在相对于拍摄设备35的相反侧的副驾侧排列,并且在仪表板4使副驾用的投光设备37在相对于拍摄设备35的相反侧的驾驶员侧排列。与针对拍摄对象的乘员而在车身的相反侧的侧面设置投光设备36、37的情况相比,投光设备36、37配置于拍摄对象的乘员的附近,能够缩短针对乘员的投光距离。抑制从投光设备36、37至乘员的距离越大越会产生的光的扩散,能够高效地对乘员照射投光设备36、37的光。而且,各投光设备36、37以仪表板4的拍摄设备35为基准而设置于拍摄对象的乘员的相反侧。由此,投光设备36、37能够确保针对乘员的来自斜向的投光角度。投光设备36、37的光不会被处于乘员前侧的例如方向盘5等部件遮挡、或者被对方向盘5进行操作的乘员的手臂遮挡,能够到达乘员的头部。而且,红外线能够到达整个脸部。其结果,拍摄设备35能够拍摄包含由整个脸部反射的红外线、清晰地反映出整个脸部的凹凸、特征的图像。
另外,在本实施方式中,上述驾驶员用的投光设备36和副驾用的投光设备37,以将拍摄设备35夹于中间地在车宽方向上排列的方式集中设置于仪表板4的中央上部。因此,即使乘员的脸部朝下,也能够从接近正面的方向对其朝下的脸部进行拍摄。与从正面无角度地对头部进行拍摄所得的图像相比,能够清晰地对包含眼睛在内的脸部特征进行拍摄。另外,即使在乘员佩戴眼鏡、太阳镜的情况下,由于来自拍摄设备35的左右眼的目视确认角度的差异而能够对左右眼中的至少一者进行拍摄的可能性也较高。另外,与从正侧面对头部进行拍摄的情况相比,能够对整个脸部进行拍摄。
另外,在本实施方式中,驾驶员用的投光设备36、副驾用的投光设备37、以及拍摄设备35在仪表板4的中央部设置于显示设备14或者操作设备15的周围即上侧。因而,一对投光设备36、37以及拍摄设备35能够在仪表板4的中央部向观察显示设备14或者操作设备15的乘员的正面的脸部投光而进行拍摄。
而且,在本实施方式中,一对投光设备36、37以及拍摄设备35的上侧由保冷罩32的较厚的罩部33覆盖。由此,尽管一对投光设备36、37以及拍摄设备35设置于被直射日光照射的仪表板4的中央上部,也不易受到直射日光的影响。另外,在一对投光设备36、37以及拍摄设备35的下侧设置有空调管道42。另外,保冷罩32具有延伸至上述设备的下侧的导热部34,导热部34的下端位于空调管道42的附近。整个保冷罩32能够由空调管道42的冷气冷却。因而,即使一对投光设备36、37以及拍摄设备35长时间地持续进行上述所有动作,也能够维持为空调管道42的空调温度或者与此接近的温度。即使拍摄设备35配置为会受到一对投光设备36、37的发热的影响,拍摄设备35的图像也不易产生因热失控等而引起的紊乱。
在本实施方式中,基于由拍摄设备35拍摄所得的图像而执行乘员的监视以及控制的监视控制部38,基于朝向拍摄设备35的方向的脸部的图像、以及朝向汽车1的正面的脸部的图像而对乘员进行识别。因而,在本实施方式中,与假设例如仅基于上述图像中的1种图像对乘员进行识别的情况相比,能够更可靠地识别各乘员。即使监视控制部38基于以各乘员的图像为基准的匹配处理的评价值而对乘员进行识别,也能够以较高的准确度对各乘员进行识别。
以上实施方式为本发明的优选实施方式的例子,本发明并不限定于此,在未脱离发明主旨的范围内可以进行各种变形或者变更。
上述实施方式中,乘员监视装置17利用1个拍摄设备35对就坐于乘员室2的前排的座椅3的驾驶员以及副驾进行拍摄监视。
除此之外,例如乘员监视装置17可以在由拍摄设备35拍摄所得的1个图像中对就坐于乘员室2的后排的座椅3的其他乘员进行监视。
另外,乘员监视装置17可以利用其他拍摄设备对仪表板4的拍摄设备35中处于死角的乘员进行拍摄监视。
上述实施方式中,投光设备36、37针对监视的多名乘员各自的头部分别进行投光。
除此之外,例如,投光设备36、37可以根据需要而对监视的多名乘员各自的例如头部至胸部的至少头部照射红外线。在该情况下,与对多名乘员全部都照射的情况相比也能够限制照射范围,投光设备36、37能够高效地进行投光。

Claims (11)

1.一种车辆的乘员监视装置,其是乘员就坐于在乘员室设置的座椅的车辆的乘员监视装置,其中,
所述车辆的乘员监视装置具有:
拍摄设备,其对车宽方向上排列就坐的多名乘员进行拍摄;以及
多个投光设备,它们对应于所述座椅的多个就坐位置而设置,朝向就坐的各乘员进行投光。
2.根据权利要求1所述的车辆的乘员监视装置,其中,
所述拍摄设备在所述乘员室中设置于车宽方向的中央部,将车宽方向上排列就坐的多名乘员拍摄于1幅图像中。
3.根据权利要求1或2所述的车辆的乘员监视装置,其中,
各所述投光设备对乘员的至少头部进行投光。
4.根据权利要求1或2所述的车辆的乘员监视装置,其中,
各所述投光设备相对于投光的乘员的就坐位置而设置于斜向或者横向。
5.根据权利要求1或2所述的车辆的乘员监视装置,其中,
在所述乘员室,驾驶员用的所述座椅和副驾用的所述座椅在车宽方向上排列设置,
所述拍摄设备设置于在所述乘员室设置的仪表板的中央部,将车宽方向上排列就坐的驾驶员和副驾拍摄于1幅图像中。
6.根据权利要求5所述的车辆的乘员监视装置,其中,
驾驶员用的所述投光设备在所述仪表板排列设置于相对于所述拍摄设备的副驾侧,
副驾用的所述投光设备在所述仪表板排列设置于相对于所述拍摄设备的驾驶员侧。
7.根据权利要求5所述的车辆的乘员监视装置,其中,
驾驶员用的所述投光设备和副驾用的所述投光设备以将所述拍摄设备夹于中间而在车宽方向上排列的方式集中设置于所述仪表板的中央上部。
8.根据权利要求5所述的车辆的乘员监视装置,其中,
驾驶员用的所述投光设备、副驾用的所述投光设备以及所述拍摄设备设置于在所述仪表板设置的显示设备或者操作设备的周围。
9.根据权利要求5所述的车辆的乘员监视装置,其中,
在驾驶员用的所述投光设备、副驾用的所述投光设备以及所述拍摄设备的下侧设置有空调管道。
10.根据权利要求1或2所述的车辆的乘员监视装置,其中,
具有基于由所述拍摄设备拍摄所得的图像而执行用于乘员监视的控制的控制部,
所述控制部基于所述拍摄设备拍摄所得的1幅图像而执行针对车宽方向上排列就坐的多名乘员的监视控制。
11.根据权利要求10所述的车辆的乘员监视装置,其中,
所述控制部基于脸部朝向所述拍摄设备的方向的图像、以及脸部朝向所述车辆的正面的图像而对乘员进行识别。
CN201910271597.6A 2018-05-25 2019-04-04 车辆的乘员监视装置 Active CN110525340B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-100637 2018-05-25
JP2018100637A JP7211673B2 (ja) 2018-05-25 2018-05-25 車両の乗員監視装置

Publications (2)

Publication Number Publication Date
CN110525340A true CN110525340A (zh) 2019-12-03
CN110525340B CN110525340B (zh) 2024-09-24

Family

ID=

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101041342A (zh) * 2006-03-22 2007-09-26 高田株式会社 对象物检测系统、驱动装置、车辆
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
US20120044337A1 (en) * 2010-08-19 2012-02-23 Hans-Peter Mauderer Method for presenting an image in a vehicle
US20150054933A1 (en) * 2013-08-26 2015-02-26 GM Global Technology Operations LLC Motor vehicle with multifunctional display instrument
US20160082897A1 (en) * 2014-04-17 2016-03-24 Navigation Solutions, Llc Camera with privacy cover
CN106458029A (zh) * 2014-05-16 2017-02-22 株式会社理光 显示装置及交通工具
US20170264797A1 (en) * 2014-08-11 2017-09-14 Robert Bosch Gmbh Driver monitoring system in a motor vehicle
JP2017168960A (ja) * 2016-03-15 2017-09-21 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
US20170334357A1 (en) * 2016-05-18 2017-11-23 GM Global Technology Operations LLC Vehicle occupant viewing systems and methods

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101041342A (zh) * 2006-03-22 2007-09-26 高田株式会社 对象物检测系统、驱动装置、车辆
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
US20120044337A1 (en) * 2010-08-19 2012-02-23 Hans-Peter Mauderer Method for presenting an image in a vehicle
US20150054933A1 (en) * 2013-08-26 2015-02-26 GM Global Technology Operations LLC Motor vehicle with multifunctional display instrument
US20160082897A1 (en) * 2014-04-17 2016-03-24 Navigation Solutions, Llc Camera with privacy cover
CN106458029A (zh) * 2014-05-16 2017-02-22 株式会社理光 显示装置及交通工具
US20170264797A1 (en) * 2014-08-11 2017-09-14 Robert Bosch Gmbh Driver monitoring system in a motor vehicle
JP2017168960A (ja) * 2016-03-15 2017-09-21 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
US20170334357A1 (en) * 2016-05-18 2017-11-23 GM Global Technology Operations LLC Vehicle occupant viewing systems and methods

Also Published As

Publication number Publication date
US20190362167A1 (en) 2019-11-28
JP2019202726A (ja) 2019-11-28
US10824886B2 (en) 2020-11-03
JP7211673B2 (ja) 2023-01-24
DE102019108437A1 (de) 2019-11-28

Similar Documents

Publication Publication Date Title
CN107200018B (zh) 驾驶辅助装置及其控制方法
JP7211673B2 (ja) 車両の乗員監視装置
JP5088669B2 (ja) 車両周辺監視装置
CN107219838A (zh) 具有用于车辆内部照明的声音和/或姿势识别的控制装置和方法
CN108136987A (zh) 停车位检测方法及装置
KR20170051996A (ko) 차량 및 그 제어방법
CN107408349A (zh) 信息提示装置以及信息提示方法
CN105946575A (zh) 一种实时采集司机状态的公交车智能车载主机
CN110682913A (zh) 监视系统
US20230356728A1 (en) Using gestures to control machines for autonomous systems and applications
JP2017081401A (ja) 車両内の乳幼児状態管理システム
CN114787890A (zh) 车辆驾驶系统
CN103854539A (zh) 一种基于视频分析的电子路考监测系统
CN106004439A (zh) 一种远程控制公交车智能车载主机
JPH09315225A (ja) 車載用赤外線画像表示装置
US11772563B2 (en) In-vehicle multi-monitoring device for vehicle
US12015876B2 (en) In-vehicle monitoring device for vehicle
JP7495795B2 (ja) 車両の乗員監視装置
CN114954486A (zh) 车辆的乘员监视装置
CN110525340B (zh) 车辆的乘员监视装置
US20220289075A1 (en) System and method for detecting objects left behind by using heated resistive filament in a vehicle
JP2021145301A (ja) 車両制御装置および車両、ならびにそれらの制御方法
CN114842653B (zh) 高速公路违章辅助确定方法、系统、存储介质及监测系统
CN114103959B (zh) 一种酒后驾车的监测装置及方法
JP2022129152A (ja) 車両の乗員監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant