JP2022155398A - 乗員状態検出システム - Google Patents

乗員状態検出システム Download PDF

Info

Publication number
JP2022155398A
JP2022155398A JP2021058861A JP2021058861A JP2022155398A JP 2022155398 A JP2022155398 A JP 2022155398A JP 2021058861 A JP2021058861 A JP 2021058861A JP 2021058861 A JP2021058861 A JP 2021058861A JP 2022155398 A JP2022155398 A JP 2022155398A
Authority
JP
Japan
Prior art keywords
occupant
information
vehicle
occupant monitoring
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021058861A
Other languages
English (en)
Inventor
亮太 中村
Ryota Nakamura
司 三国
Tsukasa Mikuni
拓也 本間
Takuya Homma
由多可 石井
Yutaka Ishii
政俊 柘植
Masatoshi Tsuge
和裕 早川
Kazuhiro Hayakawa
亨 加藤
Toru Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2021058861A priority Critical patent/JP2022155398A/ja
Priority to US17/698,624 priority patent/US20220319202A1/en
Publication of JP2022155398A publication Critical patent/JP2022155398A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/06—Ignition switch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

【課題】複数の乗員状態検出装置を設け、車両が停車状態にあるときに、これら乗員状態検出装置が乗員状態検出において相互補完することにより、車両の停車状態における運転者を含む乗員の身体状態を常に、正確に検出する。【解決手段】第１のプロセッサー２１０と、第１のメモリ２２０と、を備え、第１のプロセッサー２１０は、判別装置１００から車両が停車状態である旨の情報を受信したときには、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報を割り当て、第１の乗員監視装置１０からの情報と、第２の乗員監視装置２０からの情報と、を受信し、受信した乗員監視情報を第１のメモリ２２０に格納し、第１のメモリ２２０に格納された第１の乗員監視装置１０からの情報と、第２の乗員監視装置２０からの情報と、に基づいて乗員の身体状態を検出する。【選択図】図４

Description

本発明は、乗員状態検出システムに関する。
近年、車両の安全運転を支援するためにドライバの状態をモニタリングする、所謂、ドライバモニタリングシステムの開発が進んでいる。このようなドライバモニタリングシステムでは、例えば、運転者がどこを注視しているのかを検出し、運転者が現在の状況に気付いていない場合には、運転者に警報を行うようになっている。
例えば、この種の装置として、運転者を含む乗員の監視をする乗員監視装置において、監視対象の乗員が増えた場合であっても、撮像デバイスの使用個数を抑えることができる乗員監視装置が開示されている（例えば、特許文献１参照）。
特開２０１９－２０２７２６号公報
しかしながら、特許文献１に記載の技術は、車両の走行時における運転者を含む乗員を監視するものであり、車両が停車状態である場合に、運転者を含む車両の乗員を監視し、乗員の身体状態等を判定することは行っていなかった。
また、撮像デバイスを用いて、運転者を含む乗員を監視する場合には、運転者を含む乗員が車室内の設置物等により隠れてしまう場合、または、運転者を含む乗員が撮像デバイスの画角の範囲外となってしまう場合には、正確に運転者を含む乗員の身体状態等を検出できないという課題があった。
さらに、車両が停車状態である場合には、運転者を含む乗員の着座状態が一意に定まらない場合があり、シートバックを倒して休憩をとる、または、後部座席に移動して休憩をとる場合には、正確に運転者を含む乗員の身体状態等を検出できないという課題があった。
そこで、本発明は、上述の課題に鑑みてなされたものであって、２つの乗員状態検出装置を設け、車両が停車状態にあるときに、乗員状態検出において、これら乗員状態検出装置が相互補完することにより、車両の停車状態における運転者を含む乗員の身体状態等を常に、正確に検出する乗員状態検出システムを提供することを目的とする。
形態１；本発明の１またはそれ以上の実施形態は、車両の乗員の身体状態を監視する第１の乗員監視装置と、前記第１の乗員監視装置とは異なる方法で前記車両の乗員の身体状態を監視する第２の乗員監視装置と、前記車両の走行状態と停車状態とを判別する判別装置と、前記第１の乗員監視装置からの第１の乗員監視情報と、前記第２の乗員監視装置からの第２の乗員監視情報と、に基づいて前記車両の乗員の身体状態を検出する乗員状態検出装置と、を備え、前記乗員状態検出装置は、１つまたは複数の第１のプロセッサーと、前記１つまたは複数の第１のプロセッサーに通信可能に接続される１つまたは複数の第１のメモリと、を備え、前記１つまたは複数の第１のプロセッサーは、前記判別装置から前記車両が前記停車状態である旨の情報を受信したときには、前記第１の乗員監視装置と前記第２の乗員監視装置とにおいて検出する前記車両の乗員の監視部位、取得情報を割り当て、前記第１の乗員監視装置からの前記第１の乗員監視情報と、前記第２の乗員監視装置からの前記第２の乗員監視情報と、を受信し、該受信した乗員監視情報を前記１つまたは複数の第１のメモリに格納し、該第１のメモリに格納された第１の乗員監視装置からの前記第１の乗員監視情報と、前記第２の乗員監視装置からの前記第２の乗員監視情報と、に基づいて乗員の身体状態を検出する乗員状態検出システムを提案している。
形態２；本発明の１またはそれ以上の実施形態は、前記判別装置は、イグニッション情報を取得し、該イグニッション情報からイグニッションがＯＦＦ状態であるときに、前記１つまたは複数のプロセッサーに前記車両が前記停車状態である旨の前記判別情報を送信し、前記イグニッション情報からイグニッションがＯＮ状態であるときに、前記１つまたは複数のプロセッサーに前記車両が前記走行状態である旨の前記判別情報を送信する乗員状態検出システムを提案している。
形態３；本発明の１またはそれ以上の実施形態は、前記判別装置が、前記車両に装備され、シートバックの角度を自在に変更可能な運転者が着座する着座装置を含み、１つまたは複数の第２のプロセッサーと、１つまたは複数の第２のプロセッサーに通信可能に接続される１つまたは複数の第２のメモリと、を備え、前記判別装置は、前記シートバックの角度が所定の角度以上に倒されたときに、前記１つまたは複数の前記第１のプロセッサーに前記車両が前記停車状態である旨の情報を送信する乗員状態検出システムを提案している。
形態４；本発明の１またはそれ以上の実施形態は、前記判別装置が、前記運転者それぞれが休息時に操作したシートバックの操作角度を前記運転者ごとの前記所定の角度として登録する乗員状態検出システムを提案している。
形態５；本発明の１またはそれ以上の実施形態は、前記１つまたは複数の第２のプロセッサーは、前記運転者ごとに、前記１つまたは複数の第２のメモリに格納した前記シートバックの操作角度のうち、最も小さい前記シートバックの操作角度を前記運転者ごとの前記所定の角度として登録する乗員状態検出システムを提案している。
形態６；本発明の１またはそれ以上の実施形態は、前記第１の乗員監視装置が前記車両の乗員の画像を撮像するカメラを含み、前記車両の乗員の挙動や表情、姿勢を含む前記第１の乗員監視情報を取得し、前記１つまたは複数のプロセッサーに送信する乗員状態検出システムを提案している。
形態７；本発明の１またはそれ以上の実施形態は、前記１つまたは複数の第２のプロセッサーは、前記第１の乗員監視装置が撮像する前記運転者の画像から前記運転者が前記休息時であるのか否かを判断する乗員状態検出システムを提案している。
形態８；本発明の１またはそれ以上の実施形態は、前記１つまたは複数の第２のプロセッサーは、前記第１の乗員監視装置が撮像する前記画像を取り込み、前記画像の画角内から運転者の頭部画像が消えたときに、前記運転者が、前記着座装置のシートバックの角度を所定の角度以上に倒したときの姿勢になったと判断し、前記１つまたは複数の第１のプロセッサーに前記車両が前記停車状態である旨の情報を送信する乗員状態検出システムを提案している。
形態９；本発明の１またはそれ以上の実施形態は、前記第２の乗員監視装置がミリ波レーダーを含み、前記車両の乗員の心拍や脳波を含む生体情報を取得し、前記１つまたは複数のプロセッサーに送信する乗員状態検出システムを提案している。
本発明の１またはそれ以上の実施形態によれば、２つの乗員状態検出装置を設け、車両が停車状態にあるときに、乗員状態検出において、これら乗員状態検出装置が相互補完することにより、車両の停車状態における運転者を含む乗員の身体状態等を常に、正確に検出することができるという効果がある。
本発明の第１の実施形態に係る乗員状態検出ステムの構成を示す図である。 本発明の第１の実施形態に係る乗員状態検出ステムにおける第１の乗員監視情報と第２の乗員監視情報との関連性を示す図である。 本発明の第１の実施形態に係る乗員状態検出ステムにおける乗員状態検出装置の構成を示す図である。 本発明の第１の実施形態に係る乗員状態検出ステムの処理フロー図である。 本発明の第２の実施形態に係る乗員状態検出ステムの構成を示す図である。 本発明の第２の実施形態に係る乗員状態検出ステムにおける判別装置の構成を示す図である。 本発明の第２の実施形態に係る乗員状態検出ステムの処理フロー図である。 本発明の第２の実施形態に係る乗員状態検出ステムにおける判別装置の処理フロー図である。 本発明の第２の実施形態に係る乗員状態検出ステムにおける第２のメモリに格納された休息時における車両の乗員ごとのシートの操作角度履歴を示す図である。 本発明の第３の実施形態に係る乗員状態検出ステムの構成を示す図である。 本発明の第３の実施形態に係る乗員状態検出ステムにおける判別装置の構成を示す図である。 本発明の第３の実施形態に係る乗員状態検出ステムの処理フロー図である。 本発明の第３の実施形態に係る乗員状態検出ステムにおける判別装置の処理フロー図である。
以下、本発明の実施形態について、図１から図１３を用いて説明する。
＜第１の実施形態＞
図１から図４を用いて、本実施形態に係る乗員状態検出システム１について説明する。
＜乗員状態検出システム１の構成＞
図１に示すように、本実施形態に係る乗員状態検出システム１は、第１の乗員監視装置１０と、第２の乗員監視装置２０と、判別装置１００と、乗員状態検出装置２００と、を含んで構成されている。
第１の乗員監視装置１０は、例えば、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ(CMOS Image Sensor)等の撮像素子を内蔵し、撮像素子によって撮像された車両の乗員の画像（動画像、静止画像を含む）を取得するカメラを用いて、車両の乗員の身体状態等を監視する。
カメラは、専用のカメラであってもよいが、例えば、乗員認識装置を備えている場合には、乗員認識装置内のカメラを用いることが好ましい。
なお、本実施形態に係る乗員状態検出システム１において、第１の乗員監視装置１０は、外部から観察可能な乗員の表情や姿勢、挙動といった情報を監視するのに好適である。
第２の乗員監視装置２０は、例えば、物体の検出と、検出した物体との距離や水平角度および相対速度を波長の短い電波によって測定するミリ波レーダーを用いて、車両の乗員の身体状態等を監視する。
また、第２の乗員監視装置２０は、第１の乗員監視装置１０に対してある程度距離をおいた位置に配設され、遮蔽物により第１の乗員監視装置１０では、車両の乗員の画像が取得できない場合であっても、車両の乗員の検出が可能となっている。
なお、本実施形態に係る乗員状態検出システム１において、第２の乗員監視装置２０は、例えば、外部からの観察が難しい乗員の心拍、呼吸といった生体情報を得るのに好適である。
図２に示すように、第１の乗員監視装置１０から主に得られる情報としては、車両の乗員の姿勢や目の開度、瞬きの回数等の顔の表情、睡眠時間、休息時間、寝返り回数等を例示することができる。また、第２の乗員監視装置２０から得られる情報としては、心拍数、脳波、心拍変動、呼吸数等を例示することができる。
ここで、目の開度は、居眠りを検知する指標として、瞬き回数は、眼精疲労の度合いを検知する指標として、寝返り回数、レム睡眠、ノンレム睡眠等の睡眠状態は、睡眠の質を含む睡眠状態を検知する指標として例示することができる。
判別装置１００は、車両の走行状態と停車状態とを判別する。判別装置１００は、例えば、イグニッション情報を取得し、イグニッション情報からイグニッションがＯＦＦ状態であるときに、乗員状態検出装置２００に車両が停車状態である旨の判別情報を送信し、イグニッション情報からイグニッションがＯＮ状態であるときに、１つまたは複数のプロセッサーに車両が走行状態である旨の前記判別情報を送信する。
なお、判別装置１００が、さらに、車速パルスやパーキングブレーキの作動状態等をモニターして、上記イグニッションキーのＯＮ／ＯＦＦ状態と併せて、車両の走行状態と停止状態とを判別するようにしてもよい。
乗員状態検出装置２００は、判別装置１００から車両が停車状態である旨の情報を受信したときに、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報を割り当てる。
また、乗員状態検出装置２００は、第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、を受信する。
そして、乗員状態検出装置２００は、第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて乗員の身体状態等を検出する。
＜乗員状態検出装置２００の構成＞
図３に示すように、本実施形態に係る乗員状態検出装置２００は、第１のプロセッサー２１０と、第１のメモリ２２０とを含んで構成されている。
第１のプロセッサー２１０は、後述する第１のメモリ２２０に格納された制御プログラムに従って乗員状態検出装置２００全体の制御を行う。
また、本実施形態においては、特に、後述する情報受信部２１１、監視割当部２１２、乗員状態検出部２１３等の機能を実行する。
第１のメモリ２２０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含み、ＲＯＭには、上述の制御プログラム等が格納され、ＲＡＭには、各種データ等が保存されている。
本実施形態においては、例えば、第１の乗員監視装置１０からの第１の乗員監視情報および第２の乗員監視装置２０からの第２の乗員監視情報等の情報をＲＡＭに格納する。
＜第１のプロセッサー２１０の構成＞
図３に示すように、本実施形態に係る第１のプロセッサー２１０は、情報受信部２１１と、監視割当部２１２と、乗員状態検出部２１３と、を含んで構成されている。
情報受信部２１１は、判別装置１００から車両が走行状態である旨の情報あるいは車両が停車状態である旨の情報を受信する。
情報受信部２１１は、少なくとも判別装置１００から車両が停車状態である旨の情報を受信した場合には、当該情報を後述する監視割当部２１２に送信する。
また、情報受信部２１１は、後述する監視割当部２１２により検出する車両の乗員の監視部位、取得情報を割り当てられた第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの前記第２の乗員監視情報と、を受信する。
情報受信部２１１は、第１の乗員監視装置１０から受信した第１の乗員監視情報と、第２の乗員監視装置２０から受信した前記第２の乗員監視情報と、を第１のメモリ２２０内のＲＡＭに格納する。
監視割当部２１２は、情報受信部２１１から車両が停止状態である旨の情報を受信したときに、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報等を割り当てる。
具体的には、監視割当部２１２は、例えば、第１の乗員監視装置１０に、監視部位として「顔」、パラメータとしての取得情報として「表情、表情の変化」を割り当てる。
また、監視割当部２１２は、例えば、第１の乗員監視装置１０に、監視部位として「全身」、パラメータとしての取得情報として「挙動」を割り当てる。
さらに、監視割当部２１２は、例えば、第２の乗員監視装置２０に、監視部位として「首」、パラメータとしての取得情報として「脈拍」を割り当てる。
また、監視割当部２１２は、例えば、第２の乗員監視装置２０に、監視部位として「頭」、パラメータとしての取得情報として「脳波」を割り当てる。
乗員状態検出部２１３は、第１のメモリ２２０に格納された第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて乗員の身体状態等を検出する。
具体的には、乗員状態検出部２１３は、例えば、第１の乗員監視装置から得られる第１の乗員監視情報である目の開度、瞬きの回数等の顔の表情や姿勢、睡眠時間、休息時間、寝返り回数等の挙動から車両の乗員の疲労状態等を検出する。
また、乗員状態検出部２１３は、例えば、第２の乗員監視装置から得られる第２の乗員監視情報である脈拍や心拍等から車両の乗員の精神的疲労状態や健康状態等を検出する。
＜乗員状態検出システム１の処理＞
図４を用いて、本実施形態に係る乗員状態検出システム１の処理について説明する。
第１のプロセッサー２１０の監視割当部２１２は、情報受信部２１１を介して、判別装置１００から、イグニッションキーがＯＦＦ状態である車両の停止状態を示す情報を受信したか否かを判断する（ステップＳ１１０）。
このとき、監視割当部２１２が、イグニッションキーがＯＦＦ状態である車両の停止状態を示す情報を受信していないと判断する場合（ステップＳ１１０の「ＮＯ」）には、処理を元に戻して待機モードに移行する。
一方で、監視割当部２１２が、イグニッションキーがＯＦＦ状態である車両の停止状態を示す情報を受信していると判断する場合（ステップＳ１１０の「ＹＥＳ」）には、割当処理に移行する（ステップＳ１２０）。
割当処理（ステップＳ１２０）では、監視割当部２１２は、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報を割り当て、その旨の信号を第１の乗員監視装置１０と第２の乗員監視装置２０とに送信する処理を実行する。
第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、既に起動している第１の乗員監視装置１０と第２の乗員監視装置２０とに対して、情報受信部２１１への情報出力を許可する。
なお、第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、情報受信部２１１における第１の乗員監視装置１０からの第１の乗員監視情報と第２の乗員監視装置２０からの第２の乗員監視情報との受信を許可するようにしてもよい。
あるいは、第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、情報受信部２１１に対して、第１の乗員監視装置１０からの第１の乗員監視情報と第２の乗員監視装置２０からの第２の乗員監視情報との第１のメモリ２２０への情報の書き込みを許可するようにしてもよい。
情報受信部２１１は、監視割当部２１２により検出する車両の乗員の監視部位、取得情報を割り当てられた第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、を受信する（ステップＳ１４０）。
情報受信部２１１は、第１の乗員監視装置１０から受信した第１の乗員監視情報と、第２の乗員監視装置２０から受信した第２の乗員監視情報と、を第１のメモリ２２０に格納する。
乗員状態検出部２１３は、第１のメモリ２２０に格納された第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて乗員の身体状態等を検出する（ステップＳ１５０）。
＜作用・効果＞
以上、説明したように、本実施形態に係る乗員状態検出システム１は、車両の乗員の身体状態を監視する第１の乗員監視装置１０と、第１の乗員監視装置１０とは異なる方法で車両の乗員の身体状態を監視する第２の乗員監視装置２０と、車両の走行状態と停車状態とを判別する判別装置１００と、第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて車両の乗員の身体状態を検出する乗員状態検出装置２００と、を備え、乗員状態検出装置２００は、１つまたは複数の第１のプロセッサー２１０と、１つまたは複数の第１のプロセッサー２１０に通信可能に接続される１つまたは複数の第１のメモリ２２０と、を備え、１つまたは複数の第１のプロセッサー２１０は、判別装置１００から車両が停車状態である旨の情報を受信したときには、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報を割り当て、第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、を受信し、その受信した乗員監視情報を１つまたは複数の第１のメモリ２２０に格納し、その第１のメモリ２２０に格納された第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて乗員の身体状態を検出する。
つまり、車両が停車状態である場合に、車両の乗員の監視部位、取得情報がそれぞれ割り当てられた第１の乗員監視装置１０と第２の乗員監視装置２０とを用いて、車両の乗員の状態を検出する。
そのため、車両が停車状態である場合に、乗員の状態検出において、第１の乗員監視装置１０と第２の乗員監視装置２０とが相互補完することにより、車両の停車状態における乗員の身体状態を、常に、正確に検出することができる。
また、本実施形態に係る乗員状態検出システム１における判別装置１００は、イグニッションキーであり、判別装置１００は、イグニッションキーがＯＦＦポジションであるときに、１つまたは複数の第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
つまり、判別装置１００は、イグニッションキーのＯＮ／ＯＦＦで車両の走行状態と停車状態とを判別する。
そのため、乗員状態検出システム１は、特別なセンサ等を用いることなく、一意に車両の走行状態と停車状態とを検知することができる。
また、本実施形態に係る乗員状態検出システム１における第１の乗員監視装置１０は、車両の乗員の画像を撮像するカメラを含み、車両の乗員の挙動や表情、姿勢を含む第１の乗員監視情報を取得し、１つまたは複数の第１のプロセッサー２１０に送信する。
つまり、乗員状態検出システム１では、第１の乗員監視装置１０対して、内蔵するカメラの特性を考慮して乗員の状態を検出する情報として、車両の乗員の挙動や表情、姿勢を含む第１の乗員監視情報を取得させる。
そのため、乗員状態検出システム１は、車両の乗員の挙動や表情、姿勢等について、確度の高い情報を得ることができるため、車両の停車状態における車両の乗員の身体状態を検出する精度を向上させることができる。
そのため、時間帯を問わず、車両の停車状態における乗員の状態を常に、的確に把握することができる。
さらに、車両の停車状態には、ロードノイズの影響がないため、走行状態に比べて、検出精度の向上を図ることができる。
また、本実施形態に係る乗員状態検出システム１における第２の乗員監視装置２０がミリ波レーダーを含み、車両の乗員の心拍や脳波を含む生体情報を取得し、１つまたは複数の第１のプロセッサー２１０に送信する。
つまり、乗員状態検出システム１では、第２の乗員監視装置２０対して、内蔵するミリ波レーダーの特性を考慮して乗員の状態を検出する情報として、車両の乗員の心拍や脳波を含む生体情報を第２の乗員監視情報として取得させる。
そのため、乗員状態検出システム１は、車両の乗員の心拍や脳波を含む生体情報について、確度の高い情報を得ることができるため、車両の停車状態における車両の乗員の身体状態を検出する精度を向上させることができる。
また、ミリ波レーダーは、昼夜を問わず同様の性能を発揮することから、時間帯を問わず、車両の停車状態における乗員の身体状態を常に、的確に把握することができる。
さらに、車両の停車状態には、ロードノイズの影響がないため、走行状態に比べて、検出精度の向上を図ることができる。
＜第２の実施形態＞
図５から図９を用いて、本実施形態に係る乗員状態検出システム１Ａについて説明する。
＜乗員状態検出システム１の構成＞
図５に示すように、本実施形態に係る乗員状態検出システム１Ａは、第１の乗員監視装置１０と、第２の乗員監視装置２０と、判別装置１００Ａと、乗員状態検出装置２００と、を含んで構成されている。
なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
判別装置１００Ａは、車両の走行状態と停車状態とを判別する。
判別装置１００Ａは、例えば、車両に装備され、シートバックの角度を自在に変更可能な着座装置を含む。
判別装置１００Ａは、例えば、シートバックの角度を検出するセンサを備え、シートバックの操作角度が所定の角度以上であるときに、乗員状態検出装置２００の第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
ここで、「所定の角度」とは、例えば、運転者が休息をとる場合のシートバックの操作角度を例示することができる。
この「所定の角度」には、運転者ごとの好みの角度があると考えられる。
判別装置１００Ａでは、後述するように、例えば、運転者ごとに、休息時に操作したシートバックの操作角度から、運転者ごとの「所定の角度」を登録する。
なお、判別装置１００Ａが、さらに、車速パルスやパーキングブレーキの作動状態等をモニターして、上記センサからの情報と併せて、車両の走行状態と停止状態とを判別するようにしてもよい。
＜判別装置１００Ａの構成＞
本実施形態に係る判別装置１００Ａは、図６に示すように、第２のプロセッサー１１０と、第２のメモリ１２０とを含んで構成されている。
第２のプロセッサー１１０は、後述する第２のメモリ１２０に格納された制御プログラムに従って判別装置１００Ａ全体の制御を行う。
また、本実施形態においては、特に、後述する角度検出部１１１、判別部１１２、登録部１１３等の機能の制御を実行する。
第２のメモリ１２０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含み、ＲＯＭには、上述の制御プログラム等が格納され、ＲＡＭには、各種データ等が保存されている。
本実施形態においては、例えば、車両の乗員が休息時に操作したシートバックの操作角度情報等の情報をＲＡＭに格納する。
＜第２のプロセッサー１１０の構成＞
図６に示すように、本実施形態に係る第２のプロセッサー１１０は、角度検出部１１１と、判別部１１２と、登録部１１３と、を含んで構成されている。
角度検出部１１１は、車両に装備される着座装置３０に備えられた、例えば、センサからの情報に基づいて、着座装置３０に着座する運転者が操作したシートバックの操作角度を検出する。
角度検出部１１１は、検出したシートバックの角度情報を後述する判別部１１２に送信する。
判別部１１２は、角度検出部１１１から受信したシートバックの操作角度情報に基づいて、シートバックの操作角度が所定の角度以上であると判断した場合には、第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
ここで、「所定の角度」については、後述する登録部１１３において登録された情報を用いる。
また、判別部１１２は、第１の乗員監視装置１０からの画像情報により運転者を特定するとともに、当該運転者が休息状態であるのか否かを判別し、休息状態であって、角度検出部１１１から受信した角度が後述する登録部１１３において登録されている角度よりも小さい時には、運転者情報と操作角度情報とを紐付けて第２のメモリ１２０に格納する処理を行う。
登録部１１３は、運転者それぞれが休息時に操作したシートバックの操作角度を運転者ごとの所定の角度として登録する。
ここで、「所定の角度」としては、個人登録されたシートバックの角度とすることが好ましい。
なお、走行前に、個人登録されたシートバックの角度を乗員の意思で調整する場合を考慮する場合には、例えば、一部走行時を含むとしても、休息時の乗員の身体状態は漏れなく検出する意図で、運転者ごとに、第２のメモリ１２０に格納したシートバックの操作角度のうち、最も小さいシートバックの操作角度を運転者ごとの所定の角度として登録部１１３に登録させるようにしてもよい。
より具体的には、図９に示すように、運転者Ａ～Ｄが休息時に操作したシートバックの操作角度がある場合には、その中で最も小さいシートバックの操作角度、例えば、運転者Ａの場合には、１１０度、運転者Ｂの場合には、１２０度、運転者Ｃの場合には、１３０度、運転者Ｄの場合には、１５０度を運転者Ａ～Ｄの所定の角度として登録させるようにしてもよい。
一方で、一部に漏れがあっても、休息時の乗員の身体状態だけを検出したいとする意図の場合には、運転者ごとに、第２のメモリ１２０に格納したシートバックの操作角度のうち、最も大きいシートバックの操作角度を運転者ごとの所定の角度として登録部１１３に登録させるようにしてもよい。
より具体的には、図９に示すように、運転者Ａ～Ｄが休息時に操作したシートバックの操作角度がある場合には、その中で最も小さいシートバックの操作角度、例えば、運転者Ａの場合には、１４０度、運転者Ｂの場合には、１６０度、運転者Ｃの場合には、１６０度、運転者Ｄの場合には、１７０度を運転者Ａ～Ｄの所定の角度として登録させるようにしてもよい。
＜乗員状態検出システム１Ａの処理＞
図７を用いて、本実施形態に係る乗員状態検出システム１Ａの処理について説明する。
第２のプロセッサー１１０の判別部１１２は、車両が停車状態であるか否かの判別処理を実行する（ステップＳ２１０）。
なお、判別処理（ステップＳ２１０）の詳細については、後述する。
第２のプロセッサー１１０の判別部１１２は、車両が停止状態であると判別した場合（ステップＳ２１０）には、割当処理に移行する（ステップＳ１２０）。
割当処理（ステップＳ１２０）では、監視割当部２１２は、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報を割り当て、その旨の信号を第１の乗員監視装置１０と第２の乗員監視装置２０とに送信する処理を実行する。
第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、既に起動している第１の乗員監視装置１０と第２の乗員監視装置２０とに対して、情報受信部２１１への情報出力を許可する。
なお、第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、情報受信部２１１における第１の乗員監視装置１０からの第１の乗員監視情報と第２の乗員監視装置２０からの第２の乗員監視情報との受信を許可するようにしてもよい。
あるいは、第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、情報受信部２１１に対して、第１の乗員監視装置１０からの第１の乗員監視情報と第２の乗員監視装置２０からの第２の乗員監視情報との第１のメモリ２２０への情報の書き込みを許可するようにしてもよい。
情報受信部２１１は、監視割当部２１２により検出する車両の乗員の監視部位、取得情報を割り当てられた第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、を受信する（ステップＳ１４０）。
情報受信部２１１は、第１の乗員監視装置１０から受信した第１の乗員監視情報と、第２の乗員監視装置２０から受信した第２の乗員監視情報と、を第１のメモリ２２０に格納する。
乗員状態検出部２１３は、第１のメモリ２２０に格納された第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて乗員の身体状態等を検出する（ステップＳ１５０）。
＜停車状態判別処理＞
図８を用いて、本実施形態に係る乗員状態検出システム１Ａにおける判別部１１２の処理について説明する。
第２のプロセッサー１１０の角度検出部１１１は、着座装置３０のセンサ等から取得した情報に基づいて、シートバックの操作角度を取得する（ステップＳ２１１）。角度検出部１１１が取得した操作角度は、判別部１１２に出力される。
判別部１１２は、第１の乗員監視装置からの画像情報により運転者を判別し（ステップＳ２１２）、判別した運転者に対応する所定の角度を第２のメモリ１２０から読み出す（ステップＳ２１３）。
判別部１１２は、第２のメモリ１２０から読みだした所定の角度と、角度検出部１１１から取得した操作角度とを比較して、シートバックの操作角度が所定の角度以上か否かを判定する（ステップＳ２１４）。
そして、判別部１１２が、シートバックの操作角度が、所定の角度以上であると判定した場合（ステップＳ２１４の「ＹＥＳ」）には、車両が停車状態であると判別して処理を終了する。
一方で、判別部１１２が、シートバックの操作角度は、所定の角度未満であると判定した場合（ステップＳ２１４の「ＮＯ」）には、車両が走行状態であると判別して処理を終了する。
＜作用・効果＞
以上、説明したように、本実施形態に係る乗員状態検出システム１Ａは、判別装置１００Ａとして、車両に装備され、シートバックの角度を自在に変更可能な着座装置３０を備える。
そして、判別部１１２は、シートバックの角度が所定の角度以上であるときに、１つまたは複数の第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
つまり、「所定の角度」を、例えば、運転者が休息をとる場合のシートバックの角度とすれば、車両の状態は、走行状態ではなく、停止状態であることを容易に判別することができる。
そのため、車両が停車状態である場合に、乗員の状態検出において、第１の乗員監視装置１０と第２の乗員監視装置２０が相互補完することにより、車両の停車状態における乗員の身体状態等を、常に、正確に検出することができる。
また、本実施形態に係る乗員状態検出システム１Ａにおける判別装置１００Ａの登録部１１３は、個人登録されたシートバックの角度を所定の角度として登録する。
そのため、複数の運転者に対して、運転者が休息状態であるのか、ひいては車両が停車状態であるのかを的確に判断することができる。
なお、走行前に、個人登録されたシートバックの角度を乗員の意思で調整する場合を考慮する場合には、本実施形態に係る乗員状態検出システム１Ａにおける判別装置１００Ａの登録部１１３は、運転者ごとに、１つまたは複数の第２のメモリ１２０に格納したシートバックの操作角度のうち、最も小さいシートバックの操作角度を運転者ごとの所定の角度として登録してもよい。
すなわち、運転者ごとにシートバックの操作角度のうち、最も小さいシートバックの操作角度を運転者ごとの所定の角度として登録すれば、一部非休息時の身体状態を含むとしても、凡そ全ての休息時における乗員の身体状態については、的確に判断することができる。
また、本実施形態に係る乗員状態検出システム１Ａにおける判別装置１００Ａの登録部１１３は、運転者ごとに、１つまたは複数の第２のメモリ１２０に格納したシートバックの操作角度のうち、最も大きいシートバックの操作角度を運転者ごとの所定の角度として登録してもよい。
すなわち、運転者ごとにシートバックの操作角度のうち、最も大きいシートバックの操作角度を運転者ごとの所定の角度として登録すれば、一部休息時の身体状態については、検出漏れがあっても、休息時の乗員の身体状態だけを抜き出して、休息時の乗員の身体状態を的確に判断することができる。
また、本実施形態に係る乗員状態検出システム１Ａにおける判別装置１００Ａの判別部１１２は、第１の乗員監視装置１０が撮像する運転者の画像から運転者が休息時であるのか否かを判断する。
すなわち、判別部１１２は、第１の乗員監視装置１０が撮像する運転者の顔や挙動に関する画像から運転者が休息時であるのか否かを判断するため、シートバックの操作角度が所定の角度以上であるのが休息をとる目的であったのか、単に、運転者の操作ミスにより一時的にシートバックの操作角度が所定の角度以上になったのかを判別することができる。
そのため、運転者が休息状態であるのか否かをより明確に把握できることから、ひいては車両が停車状態であるのかを的確に判断することができる。
＜第３の実施形態＞
図１０から図１３を用いて、本実施形態に係る乗員状態検出システム１Ｂについて説明する。
＜乗員状態検出システム１Ｂの構成＞
図１０に示すように、本実施形態に係る乗員状態検出システム１Ｂは、第１の乗員監視装置１０と、第２の乗員監視装置２０と、判別装置１００Ｂと、乗員状態検出装置２００と、を含んで構成されている。
なお、第１の実施形態および第２の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
判別装置１００Ｂは、車両の走行状態と停車状態とを判別する。
判別装置１００Ｂは、例えば、車両に装備され、シートバックの角度を自在に変更可能な着座装置３０を含む。
判別装置１００Ｂは、例えば、第１の乗員監視装置１０が撮像する画像を取り込み、取り込んだ画像の画角内から運転者の頭部画像が消えたときに、運転者が、着座装置３０のシートバックの角度を所定の角度以上に倒したときの姿勢になったと判断する。
また、判別装置１００Ｂは、第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
なお、判別装置１００Ｂが、さらに、車速パルスやパーキングブレーキの作動状態等をモニターして、上記センサからの情報と併せて、車両の走行状態と停止状態とを判別するようにしてもよい。
＜第２のプロセッサー１１０Ａの構成＞
図１１に示すように、本実施形態に係る第２のプロセッサー１１０Ａは、判別部１１２Ｂを含んで構成されている。
判別部１１２Ｂは、第１の乗員監視装置１０が撮像する画像を取り込み、取り込んだ画像の画角内から運転者の頭部画像が消えたときに、運転者が、着座装置３０のシートバックの操作角度が所定の角度以上にしたときの姿勢になったと判断する。
また、判別装置１００Ｂは、第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
＜乗員状態検出システム１Ｂの処理＞
図１２を用いて、本実施形態に係る乗員状態検出システム１Ｂの処理について説明する。
第２のプロセッサー１１０の判別部１１２Ａは、車両が停車状態であるか否かの判別処理を実行する（ステップＳ３１０）。
なお、判別処理（ステップＳ３１０）の詳細については、後述する。
第２のプロセッサー１１０の判別部１１２Ａは、車両が停止状態であると判別した場合（ステップＳ３１０）には、割当処理に移行する（ステップＳ１２０）。
割当処理（ステップＳ１２０）では、監視割当部２１２は、第１の乗員監視装置１０と第２の乗員監視装置２０とにおいて検出する車両の乗員の監視部位、取得情報を割り当て、その旨の信号を第１の乗員監視装置１０と第２の乗員監視装置２０とに送信する処理を実行する。
第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、既に起動している第１の乗員監視装置１０と第２の乗員監視装置２０とに対して、情報受信部２１１への情報出力を許可する。
なお、第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、情報受信部２１１における第１の乗員監視装置１０からの第１の乗員監視情報と第２の乗員監視装置２０からの第２の乗員監視情報との受信を許可するようにしてもよい。
あるいは、第１のプロセッサー２１０は、監視割当部２１２における割当処理（ステップＳ１２０）の実行後に、情報受信部２１１に対して、第１の乗員監視装置１０からの第１の乗員監視情報と第２の乗員監視装置２０からの第２の乗員監視情報との第１のメモリ２２０への情報の書き込みを許可するようにしてもよい。
情報受信部２１１は、監視割当部２１２により検出する車両の乗員の監視部位、取得情報を割り当てられた第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、を受信する（ステップＳ１４０）。
情報受信部２１１は、第１の乗員監視装置１０から受信した第１の乗員監視情報と、第２の乗員監視装置２０から受信した第２の乗員監視情報と、を第１のメモリ２２０に格納する。
乗員状態検出部２１３は、第１のメモリ２２０に格納された第１の乗員監視装置１０からの第１の乗員監視情報と、第２の乗員監視装置２０からの第２の乗員監視情報と、に基づいて乗員の身体状態等を検出する（ステップＳ１５０）。
＜停車状態判別処理＞
図１３を用いて、本実施形態に係る乗員状態検出システム１Ｂにおける判別部１１２Ａの処理について説明する。
判別部１１２Ａは、第１の乗員監視装置１０からの画像情報により運転者の頭部画像を取得する（ステップＳ３１１）。なお、取得する画像は、運転者の上半身の画像であってもよい。
判別部１１２Ａは、第１の乗員監視装置１０からの画像情報の中に運転者の頭部画像があるか否かを判定する（ステップＳ３１２）。
そして、判別部１１２Ａが、第１の乗員監視装置１０からの画像情報の中に運転者の頭部画像があると判定した場合（ステップＳ３１２の「ＹＥＳ」）には、車両が停車状態（ステップＳ３１４）であると判別して処理を終了する。
一方で、判別部１１２Ａが、第１の乗員監視装置１０からの画像情報の中に運転者の頭部画像がないと判定した場合（ステップＳ３１２の「ＮＯ」）には、車両が走行状態である（ステップＳ３１３）と判別して処理を終了する。
＜作用・効果＞
以上、説明したように、本実施形態に係る乗員状態検出システム１Ｂにおける判別装置１００Ｂは、第１の乗員監視装置１０が撮像する画像を取り込み、画像の画角内から運転者の頭部画像が消えたときに、運転者が、着座装置３０のシートバックの角度を所定の角度以上としたときの姿勢になったと判断し、第１のプロセッサー２１０に車両が停車状態である旨の情報を送信する。
つまり、判別装置１００Ｂは、第１の乗員監視装置１０が撮像する画像を取り込み、画像の画角内から運転者の頭部画像があるか否かにより、運転者が、着座装置３０のシートバックの角度を所定の角度以上としたか否かを判定する。
ここで、「所定の角度」を、例えば、運転者が休息をとる場合のシートバックの角度とすれば、車両の状態は、走行状態ではなく、停止状態であることを容易に判別することができる。
そのため、車両が停車状態である場合に、乗員の状態検出において、第１の乗員監視装置１０と第２の乗員監視装置２０が相互補完することにより、車両の停車状態における乗員の身体状態を、常に、正確に検出することができる。
＜変形例＞
例えば、上記実施形態においては、乗員状態検出装置２００内に、監視割当部２１２、乗員状態検出部２１３を設け、判別装置１００、１００Ａ内に、角度検出部１１１、判別部１１２、１１２Ａ、登録部１１３を設けることを例示したが、第１の乗員監視装置１０、第２の乗員監視装置２０、着座装置３０からの情報を車両に接続されたサーバーに転送し、サーバーにおいて、監視割当部２１２の処理、乗員状態検出部２１３の処理、角度検出部１１１の処理、判別部１１２、１１２Ａの処理、登録部１１３の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理して、車両の停車状態における乗員の身体状態等を、常に、正確に検出することができる。
また、上記実施形態においては、乗員の状態を検出することを例示したが、視覚刺激デバイスや聴覚刺激デバイス、触覚刺激デバイス、味覚刺激デバイス等を備えることにより、車両が停車状態であるときの乗員の状態に応じて、肉体的疲労や精神的疲労を緩和させることも可能となる。
ここで、視覚刺激デバイスは、乗員の覚醒や疲労回復を促す車両デバイスの１つであり、車両内の光源（室内灯やメータ、ＨＵＤ(Head-Up Display)、モニター等の光源）やサンルーフの開閉機構等を含む。
具体的には、視覚刺激デバイスは、制御部からの制御信号に応じて、夜間の場合には、室内灯を点灯させ、輝度や色度を変更する。また、昼間であれば、サンルーフを作動し、車室内に外光を取り入れる動作を行う。
そのため、視覚刺激デバイスを備えることにより、車両が停車状態であるときに、車両の乗員の覚醒や疲労回復を促すことができる。
聴覚刺激デバイスは、乗員の覚醒や疲労回復を促す車両デバイスの１つであり、車載音響装置等を含む。
具体的には、警告音、警告メッセージ、音楽、環境音、予め登録された人の声、ＡＳＭＲ(Autonomous Sensory Meridian Response)を促す音声等を出力する。
そのため、聴覚刺激デバイスを備えることにより、車両が停車状態であるときに、車両の乗員の覚醒や疲労回復を促すことができる。
触覚刺激デバイスは、乗員の覚醒や疲労回復を促す車両デバイスの１つであり、座席の座面や背面を振動させる振動機構やヘッドレストを振動させる振動機構を含み、目的部位に応じた疲労回復マッサージのやり方に関する画像や音声を出力する機能も有する。
そのため、触覚刺激デバイスを備えることにより、車両が停車状態であるときに、車両の乗員の覚醒や疲労回復を促すことができる。
嗅覚刺激デバイスは、乗員の覚醒や疲労回復を促す車両デバイスの１つであり、芳香発生装置等を含む。具体的には、疲労からの覚醒を促すミントの香りやアロマオイルの香り等を発生させる。
そのため、触覚刺激デバイスを備えることにより、車両が停車状態であるときに、車両の乗員の覚醒や疲労回復を促すことができる。
第３の実施形態においては、判別装置１００Ｂは、第１の乗員監視装置１０が撮像する画像を取り込み、画像の画角内から運転者の頭部画像があるか否かにより、運転者が、着座装置のシートバックの角度を所定の角度以上としたか否かを判定することを例示したが、判別装置１００Ｂが、画像の画角内から運転者の頭部画像が消えた時間を併せて計測するようにしてもよい。
このようにすることにより、運転者が休息をとるために、シートバックの角度を所定の角度以上に倒したことにより、画像の画角内から運転者の頭部画像が消えたのか、単に、運転者の操作ミスにより一時的にシートバックの角度が所定の角度以上としただけなのかを判別することができる。
なお、第１のプロセッサー２１０、第２のプロセッサー１１０、１１０Ａの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを第１のプロセッサー２１０、第２のプロセッサー１１０、１１０Ａに読み込ませ、実行することによって本発明の乗員状態検出システム１、１Ａ、１Ｂを実現することができる。
ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１；乗員状態検出システム
１Ａ；乗員状態検出システム
１Ｂ；乗員状態検出システム
１０；第１の乗員監視装置
２０；第２の乗員監視装置
３０；着座装置
１００；判別装置
１００Ａ；判別装置
１００Ｂ；判別装置
１１０；第２のプロセッサー
１１０Ａ；第２のプロセッサー
１１１；角度検出部
１１２；判別部
１１２Ａ；判別部
１１３；登録部
１２０；第２のメモリ
２１０；第１のプロセッサー
２１１；情報受信部
２１２；監視割当部
２１３；乗員状態検出部
２２０；第１のメモリ

Claims (5)

  1. 車両の乗員の身体状態を監視する第１の乗員監視装置と、
    前記第１の乗員監視装置とは異なる方法で前記車両の乗員の身体状態を監視する第２の乗員監視装置と、
    前記車両の走行状態と停車状態とを判別する判別装置と、
    前記第１の乗員監視装置からの第１の乗員監視情報と、前記第２の乗員監視装置からの第２の乗員監視情報と、に基づいて前記車両の乗員の身体状態を検出する乗員状態検出装置と、
    を備え、
    前記乗員状態検出装置は、１つまたは複数の第１のプロセッサーと、前記１つまたは複数の第１のプロセッサーに通信可能に接続される１つまたは複数の第１のメモリと、を備え、
    前記１つまたは複数の第１のプロセッサーは、前記判別装置から前記車両が前記停車状態である旨の情報を受信したときには、前記第１の乗員監視装置と前記第２の乗員監視装置とにおいて検出する前記車両の乗員の監視部位、取得情報を割り当て、前記第１の乗員監視装置からの前記第１の乗員監視情報と、前記第２の乗員監視装置からの前記第２の乗員監視情報と、を受信し、該受信した乗員監視情報を前記１つまたは複数の第１のメモリに格納し、該第１のメモリに格納された第１の乗員監視装置からの前記第１の乗員監視情報と、前記第２の乗員監視装置からの前記第２の乗員監視情報と、に基づいて乗員の身体状態を検出する乗員状態検出システム。
  2. 前記判別装置は、イグニッション情報を取得し、該イグニッション情報からイグニッションがＯＦＦ状態であるときに、前記１つまたは複数のプロセッサーに前記車両が前記停車状態である旨の前記判別情報を送信し、前記イグニッション情報からイグニッションがＯＮ状態であるときに、前記１つまたは複数のプロセッサーに前記車両が前記走行状態である旨の前記判別情報を送信する請求項１に記載の乗員状態検出システム。
  3. 前記判別装置が、前記車両に装備され、シートバックの角度を自在に変更可能な運転者が着座する着座装置を含み、１つまたは複数の第２のプロセッサーと、１つまたは複数の第２のプロセッサーに通信可能に接続される１つまたは複数の第２のメモリと、を備え、
    前記判別装置は、前記シートバックの角度が所定の角度以上に倒されたときに、前記１つまたは複数の前記第１のプロセッサーに前記車両が前記停車状態である旨の情報を送信する請求項１に記載の乗員状態検出システム。
  4. 前記判別装置が、前記運転者それぞれが休息時に操作したシートバックの操作角度を前記運転者ごとの前記所定の角度として登録することを特徴とする請求項３に記載の乗員状態検出システム。
  5. 前記１つまたは複数の第２のプロセッサーは、前記第１の乗員監視装置が撮像する前記運転者の画像から前記運転者が前記休息時であるのか否かを判断することを特徴とする請求項４に記載の乗員状態検出システム。
JP2021058861A 2021-03-30 2021-03-30 乗員状態検出システム Pending JP2022155398A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021058861A JP2022155398A (ja) 2021-03-30 2021-03-30 乗員状態検出システム
US17/698,624 US20220319202A1 (en) 2021-03-30 2022-03-18 Occupant state detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021058861A JP2022155398A (ja) 2021-03-30 2021-03-30 乗員状態検出システム

Publications (1)

Publication Number Publication Date
JP2022155398A true JP2022155398A (ja) 2022-10-13

Family

ID=83450474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021058861A Pending JP2022155398A (ja) 2021-03-30 2021-03-30 乗員状態検出システム

Country Status (2)

Country Link
US (1) US20220319202A1 (ja)
JP (1) JP2022155398A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11707197B2 (en) * 2017-12-22 2023-07-25 Resmed Sensor Technologies Limited Apparatus, system, and method for physiological sensing in vehicles
US10949659B2 (en) * 2019-04-16 2021-03-16 GM Global Technology Operations LLC Vehicle occupant detection

Also Published As

Publication number Publication date
US20220319202A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11383721B2 (en) System and method for responding to driver state
EP3683623B1 (en) System and method for responding to driver state
US9944228B2 (en) System and method for vehicle control integrating health priority alerts of vehicle occupants
US8725311B1 (en) Driver health and fatigue monitoring system and method
CN111048171B (zh) 解决晕动病的方法和装置
JPWO2019188398A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20140276090A1 (en) Driver health and fatigue monitoring system and method using optics
CN106687026A (zh) 驾驶员健康以及疲劳监控系统和方法
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2015174963A1 (en) Driver health and fatigue monitoring system and method
JP7357006B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11751784B2 (en) Systems and methods for detecting drowsiness in a driver of a vehicle
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
JP7252438B2 (ja) 異常検知装置及びシート
JP2022155398A (ja) 乗員状態検出システム
CN112932426A (zh) 用于检测车辆乘员的警觉性的系统和方法
JP2022155397A (ja) 乗員状態検出システム
JP2022155451A (ja) 乗員状態検出システム
GB2556410A (en) System for managing alertness of a driver
KR102613180B1 (ko) 차량 및 그 제어방법
JP2022155393A (ja) 運転支援システム
JP2022155394A (ja) 運転支援システム
Deserno et al. Combining vehicle BUS and vital sign sensors for continuous health monitoring during driving: Concept and first results
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
JP2022155395A (ja) 運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240211