JP2022155397A - 乗員状態検出システム - Google Patents

乗員状態検出システム Download PDF

Info

Publication number
JP2022155397A
JP2022155397A JP2021058860A JP2021058860A JP2022155397A JP 2022155397 A JP2022155397 A JP 2022155397A JP 2021058860 A JP2021058860 A JP 2021058860A JP 2021058860 A JP2021058860 A JP 2021058860A JP 2022155397 A JP2022155397 A JP 2022155397A
Authority
JP
Japan
Prior art keywords
occupant
monitoring
vehicle
information
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021058860A
Other languages
English (en)
Inventor
亮太 中村
Ryota Nakamura
司 三国
Tsukasa Mikuni
拓也 本間
Takuya Homma
由多可 石井
Yutaka Ishii
政俊 柘植
Masatoshi Tsuge
和裕 早川
Kazuhiro Hayakawa
亨 加藤
Toru Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2021058860A priority Critical patent/JP2022155397A/ja
Priority to US17/698,377 priority patent/US20220315031A1/en
Priority to DE102022106810.2A priority patent/DE102022106810A1/de
Publication of JP2022155397A publication Critical patent/JP2022155397A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/06Ignition switch
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】車両が走行状態における乗員の監視方法と停車状態における乗員の監視方法とが最適化され、乗員の身体状態を常に、正確に検出することができる乗員状態検出システムを提供する。【解決手段】乗員状態検出システム1は、車両の乗員の身体状態を監視する乗員監視装置10と、乗員監視装置10からの乗員監視情報に基づいて車両の乗員の身体状態を検出する乗員状態検出装置200と、車両の走行状態と停車状態とを判別する判別装置100と、を備え、乗員状態検出装置200は、プロセッサ210と、プロセッサ210に通信可能に接続されるメモリ220と、を備え、プロセッサ210の情報受信部211は、乗員監視情報と判別装置100からの判別情報とを受信し、受信した乗員監視情報と判別情報とをメモリ220に格納し、判別情報に基づいて、乗員監視装置10が監視する車両の乗員の監視部位を割当て、乗員の身体状態を検出する。【選択図】図2

Description

本発明は、乗員状態検出システムに関する。
近年、車両の安全運転を支援するためにドライバの状態をモニタリングする、所謂、ドライバモニタリングシステムの開発が進んでいる。このようなドライバモニタリングシステムでは、例えば、運転者がどこを注視しているのかを検出し、運転者が現在の状況に気付いていない場合には、運転者に警報を行うようになっている。
例えば、この種の装置として、運転者を含む乗員の監視する乗員監視装置において、監視対象の乗員が増えた場合であっても、撮像デバイスの使用個数を抑えることができる乗員監視装置が開示されている(例えば、特許文献1参照)。
特開2019-202726号公報
しかしながら、特許文献1に記載の技術は、車両の走行時における運転者を含む乗員を監視するものであり、車両が停車状態である場合に、運転者を含む車両の乗員を監視し、乗員の身体状態を判定することは行っていないという課題があった。
また、走行状態と停車状態とでは、乗員監視装置において監視する対象が大きく異なることから、停車時に走行時と同じ監視制御をそのまま適用しても、乗員の状態を正しく検出することができないという課題もあった。
そこで、本発明は、上述の課題に鑑みてなされたものであって、車両が走行状態における監視方法と停車状態における監視方法とを最適化することにより、乗員の身体状態を常に、正確に検出することができる乗員状態検出システムを提供することを目的とする。
形態1;本発明の1またはそれ以上の実施形態は、車両の乗員の身体状態を監視する乗員監視装置と、前記乗員監視装置からの乗員監視情報に基づいて前記車両の乗員の身体状態を検出する乗員状態検出装置と、前記車両の走行状態と停車状態とを判別する判別装置と、を備え、前記乗員状態検出装置は、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサに通信可能に接続される1つまたは複数のメモリと、を備え、前記1つまたは複数のプロセッサは、前記乗員監視情報と前記判別装置からの判別情報とを受信し、該受信した乗員監視情報と前記判別情報とを前記1つまたは複数のメモリに格納し、前記判別情報に基づいて、前記乗員監視装置が監視する前記車両の乗員の監視部位を割当て、乗員の身体状態を検出する乗員状態検出システムを提案している。
形態2;本発明の1またはそれ以上の実施形態は、前記判別装置が、イグニッション情報を取得し、イグニッションがOFF状態であるときに、前記1つまたは複数のプロセッサに前記車両が前記停車状態である旨の前記判別情報を送信し、イグニッションがON状態であるときに、前記1つまたは複数のプロセッサに前記車両が前記走行状態である旨の前記判別情報を送信する乗員状態検出システムを提案している。
形態3;本発明の1またはそれ以上の実施形態は、前記乗員監視装置が前記車両の乗員の画像を撮像するカメラを含み、前記車両の乗員の表情、挙動を含む前記乗員監視情報を取得し、前記1つまたは複数のプロセッサに送信する乗員状態検出システムを提案している。
形態4;本発明の1またはそれ以上の実施形態は、前記1つまたは複数のプロセッサは、前記判別情報が前記停車状態であるときに、前記乗員監視情報に基づいて前記乗員が睡眠状態であると判定した場合には、前記監視部位を前記車両の乗員の全身に割当て、前記車両の乗員の身体状態を検出する乗員状態検出システムを提案している。
形態5;本発明の1またはそれ以上の実施形態は、前記1つまたは複数のプロセッサは、前記判別情報が前記停車状態であるときに、前記乗員監視情報に基づいて前記乗員が睡眠状態であると判定した場合には、前記監視部位を前記車両の乗員の顔以外に割当て、前記車両の乗員の身体状態を検出する乗員状態検出システムを提案している。
形態6;本発明の1またはそれ以上の実施形態は、前記1つまたは複数のプロセッサは、前記判別情報が前記走行状態である場合には、前記監視部位を前記車両の乗員の顔に割当て、前記判別情報が前記停車状態である場合には、前記監視部位を前記車両の乗員の全身に割当て、前記車両の乗員の身体状態を検出する乗員状態検出システムを提案している。
形態7;本発明の1またはそれ以上の実施形態は、前記1つまたは複数のプロセッサは、前記判別情報が前記走行状態である場合には、前記監視部位を前記車両の運転者に割当て、前記判別情報が前記停車状態である場合には、前記監視部位を前記車両の全ての乗員に割当て、前記車両の乗員の身体状態を検出する乗員状態検出システムを提案している。
形態8;本発明の1またはそれ以上の実施形態は、前記判別情報が前記走行状態である場合には、前記監視部位を前記車両の乗員の顔および全身に割当て、前記判別情報が前記停車状態である場合には、前記監視部位を前記車両の乗員の顔の一部および全身に割当て、前記車両の乗員の身体状態を検出する乗員状態検出システムを提案している。
本発明の1またはそれ以上の実施形態によれば、車両が走行状態における監視方法と停車状態における監視方法とが最適化され、乗員の身体状態を常に、正確に検出することができるという効果がある。
本発明の第1の実施形態に係る乗員状態検出システムの構成を示す図である。 本発明の第1の実施形態に係る乗員状態検出システムにおける乗員状態検出装置の構成を示す図である。 本発明の第1の実施形態に係る乗員状態検出システムにおける監視割当処理と乗員監視情報との関連性を示す図である。 本発明の第1の実施形態に係る乗員状態検出システムの処理フロー図である。 本発明の第2の実施形態に係る乗員状態検出システムの構成を示す図である。 本発明の第2の実施形態に係る乗員状態検出システムにおける監視割当処理と乗員監視情報との関連性を示す図である。 本発明の第2の実施形態に係る乗員状態検出システムの処理フロー図である。 本発明の第3の実施形態に係る乗員状態検出システムの構成を示す図である。 本発明の第3の実施形態に係る乗員状態検出システムにおける監視割当処理と乗員監視情報との関連性を示す図である。 本発明の第3の実施形態に係る乗員状態検出システムの処理フロー図である。 本発明の第4の実施形態に係る乗員状態検出システムの構成を示す図である。 本発明の第4の実施形態に係る乗員状態検出システムにおける監視割当処理と乗員監視情報との関連性を示す図である。 本発明の第3の実施形態に係る乗員状態検出システムの処理フロー図である。 本発明のその他の実施形態に係る乗員状態検出システムの構成を示す図である。 本発明のその他の実施形態に係る乗員状態検出システムにおける監視割当処理と乗員監視情報との関連性を示す図である。
以下、本発明の実施形態について、図1から図15を用いて説明する。
<第1の実施形態>
図1から図4を用いて、本実施形態に係る乗員状態検出システム1について説明する。
<乗員状態検出システム1の構成>
図1に示すように、本実施形態に係る乗員状態検出システム1は、乗員監視装置10と、判別装置100と、乗員状態検出装置200と、を含んで構成されている。
乗員監視装置10は、例えば、CCD(Charge Coupled Device)、またはCIS(CMOS Image Sensor)等の撮像素子を内蔵し、撮像素子によって撮像された車両内の乗員の画像(動画像、静止画像を含む)を取得するカメラを用いて、車両の乗員の身体状態を監視する。
カメラは、専用のカメラであってもよいが、例えば、乗員認識装置を備えている場合には、乗員認識装置内のカメラを用いることが好ましい。また、カメラは、光学式カメラと近赤外線カメラとの双方により構成されていることが好ましい。
なお、本実施形態に係る乗員状態検出システム1において、乗員監視装置10は、外部から観察可能な乗員の表情や姿勢、挙動といった情報を監視するのに好適である。
乗員監視装置10から主に得られる乗員に関する情報としては、視線の向き、顔の向き、瞬き回数、目の開度、眼球運動、姿勢、体動、寝返り回数、睡眠時間、睡眠状態、休息時間等を例示することができる。
ここで、目の開度は、居眠りを検知する指標として、瞬き回数は、眼精疲労の度合いや睡眠時間の不足等を検知する指標として、目の開度は乗員の睡眠状態等を検知する指標として例示することができる。
なお、乗員監視装置10において監視する情報の詳細については、後述する。
判別装置100は、車両の走行状態と停車状態とを判別する。
判別装置100は、例えば、図示しない車両のCPU(Central Processing Unit)から、イグニッション情報を取得し、イグニッションがON状態であるときには、車両が走行状態であると判別し、イグニッションがOFF状態であるときには、車両が停車状態であると判別する。
なお、判別装置100が、さらに、車速パルスやパーキングブレーキの作動状態等を監視して、上記イグニッションのON/OFF状態と併せて、車両の走行状態と停止状態とを判別するようにしてもよい。
乗員状態検出装置200は、乗員監視装置10からの乗員監視情報に基づいて車両の乗員の身体情報を検出する。
具体的には、乗員状態検出装置200は、判別装置100から車両が停車状態である旨の情報を受信したときに、乗員監視装置10において監視する車両の乗員の監視部位および取得情報を割当てる。
そして、乗員状態検出装置200は、乗員の監視部位および取得情報が割当てられた乗員監視装置10から、乗員監視情報を受信し、乗員監視情報に基づいて乗員の身体状態を検出する。
<乗員状態検出装置200の構成>
図2に示すように、本実施形態に係る乗員状態検出装置200は、プロセッサ210と、メモリ220とを含んで構成されている。
プロセッサ210は、後述するメモリ220に格納された制御プログラムに従って乗員状態検出装置200全体の制御を行う。
また、プロセッサ210は、本実施形態においては、特に、後述する情報受信部211、監視割当部212、乗員状態検出部213等の機能を実行する。
メモリ220は、ROM(Read Only Memory)、RAM(Random Access Memory)等を含み、ROMには、上述の制御プログラム等が格納され、RAMには、各種データ等が保存されている。
本実施形態においては、例えば、乗員監視装置10からの乗員監視情報等がRAMに格納されている。
<プロセッサ210の構成>
図2に示すように、本実施形態に係るプロセッサ210は、情報受信部211と、監視割当部212と、乗員状態検出部213と、を含んで構成されている。
情報受信部211は、判別装置100から車両が走行状態である旨の情報あるいは車両が停車状態である旨の情報を受信する。
情報受信部211は、判別装置100から車両が停車状態である旨の情報を受信した場合には、当該情報を後述する監視割当部212に送信する。
また、情報受信部211は、乗員監視装置10からの乗員監視情報を受信し、受信した乗員監視情報をメモリ220に格納する。
監視割当部212は、情報受信部211から判別装置100の判別結果を受信し、さらに、後述する乗員状態検出部213から乗員の睡眠状態に関する情報を受信して、乗員監視装置10において検出する車両の乗員の監視部位および取得情報を割当てる。
具体的には、図3に示すように、監視割当部212は、情報受信部211から車両が停車状態である旨の情報を受信し、さらに、乗員状態検出部213から乗員が睡眠状態にない旨の情報を受信したときには、乗員監視装置10の監視部位を「顔」に割当て、取得情報を「表情」に割当てる(割当処理A)。
また、監視割当部212は、例えば、情報受信部211から車両が停車状態である旨の情報を受信し、さらに乗員状態検出部213から乗員が睡眠状態である旨の情報を受信したときには、乗員監視装置10の監視部位を「全身」に割当て、取得情報を「挙動」に割当てる(割当処理B)。
乗員状態検出部213は、メモリ220に格納された乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
具体的には、図3に示すように、乗員状態検出部213は、割当処理Aが実行されたときに得られる乗員監視情報(乗員の「表情」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」等に基づいて、車両の乗員の睡眠状態、疲労状態等を検出する。
つまり、乗員状態検出部213は、乗員監視装置10の監視部位が「顔」に設定されたときには、停車中の居眠り、視線の向き等をリアルタイムに検出する。
そのために、乗員状態検出部213では、乗員の眼球運動や瞬きのような早い動き等の乗員監視情報に基づいた、検出処理が継続的に実行されている。
また、乗員状態検出部213は、割当処理Bが実行されたときに得られる乗員監視情報(乗員の「挙動」に関する情報)である「姿勢、体動、睡眠時間、寝返り回数、休憩時間」等に基づいて、車両内における乗員の休息状態、睡眠の質等を検出する。
そのため、乗員状態検出部213では、乗員監視装置10の監視部位が「全身」に設定されたときには、「顔」に対する監視処理とは異なり、乗員の寝返り、体動等の遅い動き等の乗員監視情報に基づいた、低負荷の検出処理が継続的に実行されている。
<乗員状態検出システム1の処理>
図4を用いて、本実施形態に係る乗員状態検出システム1の処理について説明する。
プロセッサ210の監視割当部212は、情報受信部211を介して、判別装置100から、イグニッションがOFF状態である車両の停車状態を示す情報を受信したか否かを判断する(ステップS110)。
監視割当部212が、イグニッションがOFF状態である車両の停止状態を示す情報を受信していないと判断した場合(ステップS110の「NO」)には、処理をステップS110に戻し、待機状態に移行する。
なお、待機状態では、例えば、通常車両が走行状態時に行われる乗員状態検出処理が継続的に実行される。
一方で、監視割当部212が、イグニッションがOFF状態である車両の停止状態を示す情報を受信していると判断した場合(ステップS110の「YES」)には、処理をステップS120に移行する。
プロセッサ210の監視割当部212は、乗員状態検出部213から、乗員が睡眠状態である旨の情報を受信したか否かが判断する(ステップS120)。
監視割当部212において、睡眠状態である旨の情報が受信された場合(ステップS120の「YES」)には、処理がステップS140に移行される。
一方で、監視割当部212において、睡眠状態である旨の情報が受信されていないと判断された場合(ステップS120の「NO」)には、処理がステップS130に移行される。
監視割当部212において、睡眠状態である旨の情報が受信されていないと判断した場合(ステップS120の「NO」)には、プロセッサ210の監視割当部212は、割当処理Aを実行(ステップS130)し、処理をステップS150に移行する。
上述したように、割当処理A(ステップS130)では、監視割当部212は、乗員監視装置10の監視部位を「顔」に割当て、取得情報を「表情」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
監視割当部212において、睡眠状態である旨の情報が受信された場合(ステップS120の「YES」)には、プロセッサ210の監視割当部212は、割当処理Bを実行(ステップS140)し、処理をステップS150に移行する。
上述したように、割当処理B(ステップS140)では、監視割当部212は、乗員監視装置10において検出する車両の乗員の監視部位を「全身」に割当て、取得情報を「挙動」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
ここで、プロセッサ210は、監視割当部212における割当処理A(ステップS130)または割当処理B(ステップS140)の実行後に、既に起動している乗員監視装置10に対して、情報受信部211への情報出力を許可する。
なお、プロセッサ210は、監視割当部212における割当処理A(ステップS130)、または、割当処理B(ステップS140)の実行後に、情報受信部211における乗員監視装置10からの乗員監視情報の受信を許可するようにしてもよい。
あるいは、プロセッサ210は、監視割当部212における割当処理A(ステップS130)または割当処理B(ステップS140)の実行後に、情報受信部211に対して、乗員監視装置10からの乗員監視情報のメモリ220への情報の書き込みを許可するようにしてもよい。
情報受信部211は、乗員監視装置10からの乗員監視情報を受信する(ステップS150)。
そして、情報受信部211は、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する(ステップS150)。
乗員状態検出部213は、メモリ220に格納された乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態等を検出する(ステップS160)。
なお、乗員監視装置10が割当処理A(ステップS130)により、監視部位を「顔」、取得情報を「表情」に割当てられた場合には、乗員状態検出部213は、停車中の乗員の居眠り、視線の向き等の状態を検出する。
また、乗員監視装置10が割当処理B(ステップS140)により、監視部位を「全身」、取得情報を「挙動」に割当てられた場合には、乗員状態検出部213は、停車中の乗員の休息状態、睡眠の質等を検出する。
そして、プロセッサ210において乗員状態検出処理を継続するか否かが判定される(ステップS170)。
プロセッサ210において乗員状態検出処理を継続すると判定された場合(ステップS170の「YES」)には、処理をステップS110に戻し、乗員状態検出処理が継続される。
一方、プロセッサ210において乗員状態検出処理を継続しないと判定された場合(ステップS170の「NO」)には、乗員状態検出処理を終了する。
<作用・効果>
以上、説明したように、本実施形態に係る乗員状態検出システム1は、車両の乗員の身体状態を監視する乗員監視装置10と、乗員監視装置10からの乗員監視情報に基づいて車両の乗員の身体状態を検出する乗員状態検出装置200と、車両の走行状態と停車状態とを判別する判別装置100と、を備え、乗員状態検出装置200は、プロセッサ210と、プロセッサ210に通信可能に接続されるメモリ220と、を備え、プロセッサ210の情報受信部211は、乗員監視情報と判別装置100からの判別情報とを受信し、受信した乗員監視情報と判別情報とをメモリ220に格納し、判別情報に基づいて、乗員監視装置10が監視する車両の乗員の監視部位を割当て、乗員の身体状態を検出する。
つまり、乗員状態検出システム1は、車両の判別情報に基づいて、車両の乗員の監視部位および取得情報が割当てられた乗員監視装置10を用いて、車両の乗員の身体状態を検出する。
そのため、乗員の身体状態検出において、停車状態における監視方法が最適化されることから、乗員の身体状態を常に、正確に検出することができる。
また、本実施形態に係る乗員状態検出システム1における判別装置100は、イグニッション情報を取得し、イグニッションがOFF状態であるときに、プロセッサ210に車両が停車状態である旨の情報を送信する。
つまり、判別装置100は、イグニッションのON/OFF状態で車両の走行状態と停車状態とを判別する。
そのため、乗員状態検出システム1は、特別なセンサ等を用いることなく、一意に車両の走行状態と停車状態とを検知することができる。
また、本実施形態に係る乗員状態検出システム1における乗員監視装置10は、車両の乗員の画像を撮像するカメラを含み、車両の乗員の挙動や表情を含む乗員監視情報を取得し、プロセッサ210に送信する。
つまり、乗員状態検出システム1では、乗員監視装置10に対して、内蔵するカメラの特性を考慮して乗員の身体状態を検出する情報として、車両の乗員の挙動や表情を含む乗員監視情報を取得させる。
そのため、乗員状態検出システム1は、車両の乗員の挙動や表情等について、確度の高い情報を得ることができるため、車両の乗員の身体状態を検出する精度を向上させることができる。
また、カメラが、光学式カメラと近赤外線カメラの双方により構成されている場合には、昼夜を問わず乗員の画像を取得することができる。
そのため、時間帯を問わず、車両の停車状態における乗員の身体状態を常に、的確に把握することができる。
また、本実施形態に係る乗員状態検出システム1におけるプロセッサ210は、判別情報が停車状態であるときに、乗員監視情報に基づいて乗員が睡眠状態であると判定した場合には、監視部位を車両の乗員の「全身」に割当て、車両の乗員の身体状態を検出する。
つまり、判別情報が停車状態であり、乗員が睡眠状態であると判断された場合には、車両の乗員の監視部位を乗員の「全身」に割当て、乗員の身体状態を検出する。
そのため、車両の乗員の監視部位を乗員の「全身」に割当てることにより、プロセッサ210の処理の負荷を下げることができ、プロセッサ210の消費電力を下げることができる。
さらに、プロセッサ210は、プロセッサ210の処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
また、本実施形態に係る乗員状態検出システム1におけるプロセッサ210は、判別情報が停車状態であるときに、乗員監視情報に基づいて乗員が睡眠状態であると判定した場合には、前視部位を車両の乗員の顔以外に割当て、車両の乗員の身体状態を検出する。
つまり、判別情報が停車状態であり、乗員が睡眠状態であると判断された場合には、車両の乗員の監視部位を「全身」に割当て、乗員の身体状態を検出する。
そのため、車両の乗員の監視部位を乗員の「全身」に割当てることにより、プロセッサ210の処理の負荷を下げることができ、プロセッサ210の消費電力を下げることができる。
さらに、プロセッサ210は、プロセッサ210の処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
<第2の実施形態>
図5から図7を用いて、本実施形態に係る乗員状態検出システム1Aについて説明する。
<乗員状態検出システム1Aの構成>
図5に示すように、本実施形態に係る乗員状態検出システム1Aは、乗員監視装置10と、判別装置100と、乗員状態検出装置200Aと、を含んで構成されている。
なお、第1の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
<乗員状態検出装置200Aの構成>
図5に示すように、乗員状態検出装置200Aは、プロセッサ210Aと、メモリ220とを含んで構成されている。
乗員状態検出装置200Aは、判別装置100から車両が停車状態である旨の情報を受信したときに、乗員監視装置10において監視する車両の乗員の監視部位および取得情報を割当てる。
なお、乗員状態検出装置200Aが実行する、監視部位および取得情報の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Aは、乗員監視装置10からの乗員監視情報を受信する。
そして、乗員状態検出装置200Aは、乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
<プロセッサ210Aの構成>
図5に示すように、プロセッサ210Aは、情報受信部211Aと、監視割当部212Aと、乗員状態検出部213Aと、を含んで構成されている。
情報受信部211Aは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する。
監視割当部212Aは、情報受信部211Aからの車両状態が走行状態である旨の情報を受信したときに、乗員監視装置10において検出する車両の乗員の監視部位および取得情報を割当てる。
具体的には、図6に示すように、監視割当部212Aは、情報受信部211Aから車両が走行状態である旨の情報を受信したときには、乗員監視装置10の監視対位を「顔」に割当て、取得情報を「表情」に割当てる(割当処理C)。
また、監視割当部212Aは、情報受信部211Aから車両が停車状態である旨の情報を受信したときには、乗員監視装置10の監視部位を「全身」に割当て、取得情報を「挙動」に割当てる(割当処理D)。
乗員状態検出部213Aは、メモリ220に格納された乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
具体的には、図6に示すように、乗員状態検出部213Aは、割当処理Cが実行されたときに得られる乗員監視情報(乗員の「表情」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」等に基づいて、車両の乗員の居眠り、疲労、わき見等を検出する。
つまり、乗員状態検出部213Aは、乗員監視装置10が「顔」に設定されたときには、運転中の居眠り等をリアルタイムに検出する。
そのために、乗員状態検出部213Aでは、乗員の眼球運動や瞬き等の早い動き等の乗員監視情報に基づいた、検出処理が継続的に実行されている。
また、乗員状態検出部213Aは、割当処理Dが実行されたときに得られる乗員監視情報(乗員の「挙動」に関する情報)である「姿勢、体動、睡眠時間、寝返り回数、休憩時間」等に基づいて、車両内における乗員の休息状態、睡眠状態、睡眠の質等を検出する。
そのため、乗員状態検出部213Aでは、乗員監視装置10の監視部位が「全身」に設定されたときには、「顔」の監視とは異なり、乗員の寝返り、体動等の遅い動き等の乗員監視情報に基づいた、低負荷な検出処理が実行されている。
<乗員状態検出システム1Aの処理>
図7を用いて、本実施形態に係る乗員状態検出システム1Aの処理について説明する。
プロセッサ210Aの監視割当部212Aは、情報受信部211Aを介して、判別装置100から、イグニッションがON状態である車両の走行状態を示す情報を受信したか否かを判断する(ステップS210)。
このとき、監視割当部212Aは、イグニッションがON状態である車両の走行状態を示す情報を受信していると判断した場合(ステップS210の「YES」)には、処理をステップS220に移行し、割当処理Cを実行する(ステップS220)。
上述したように、割当処理Cでは、乗員監視装置10の監視部位が「顔」に割当てられ、取得情報が「表情」に割当てられる。
一方で、プロセッサ210Aの監視割当部212Aは、イグニッションがOFF状態である車両の停止状態を示す情報を受信していると判断した場合(ステップS210の「NO」)には、処理をステップS230に移行し、割当処理Dを実行する(ステップS230)。
上述したように、割当処理Dでは、乗員監視装置10の監視部位が「全身」に割当てられ、取得情報が「挙動」に割当てられる。
情報受信部211Aは、乗員監視装置10からの乗員監視情報を受信する(ステップS240)。
そして、情報受信部211Aは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する(ステップS240)。
乗員状態検出部213Aは、メモリ220に格納された乗員監視装置10の乗員監視情報に基づいて乗員の身体状態等を検出する(ステップS250)。
なお、乗員監視装置10が割当処理C(ステップS220)により、監視部位を「顔」、取得情報を「表情」に割当てられた場合には、乗員状態検出部213Aは、走行中の乗員の居眠り、疲労、わき見等を検出する。
また、乗員監視装置10が割当処理D(ステップS230)により、監視部位を「全身」、取得情報を「挙動」に割当てられた場合には、乗員状態検出部213Aは、停車中の乗員の休息状態、睡眠状態、睡眠の質等を検出する。
プロセッサ210Aは、乗員状態検出処理を継続するか否かを判定する(ステップS260)。
プロセッサ210Aにおいて乗員状態検出処理を継続すると判定された場合(ステップS260の「YES」)には、処理をステップS210に戻し、乗員状態検出処理を継続する。
一方、プロセッサ210Aにおいて乗員状態検出処理を継続しないと判定された場合(ステップS260の「NO」)には、乗員状態検出処理を終了する。
<作用・効果>
以上、説明したように、本実施形態に係る乗員状態検出システム1Aにおけるプロセッサ210Aは、判別情報が走行状態である場合には、監視部位を車両の乗員の顔に割当て、判別情報が停車状態である場合には、監視部位を車両の乗員の体全体に割当て、車両の乗員の身体状態を検出する。
つまり、乗員状態検出システム1は、車両の判別情報に基づいて、車両の乗員の監視部位および取得情報がそれぞれ割当てられた乗員監視装置10を用いて、車両の乗員の身体状態を検出する。
そのため、乗員の身体状態検出において、乗員の身体状態検出において、車両が走行状態における監視方法と停車状態における監視方法とが最適化されることから、乗員の身体状態を常に、正確に検出することができる。
また、車両が停車状態のときには、車両の乗員の監視部位を乗員の「全身」に割当てることにより、プロセッサ210Aの処理の負荷を下げることができ、プロセッサ210Aの消費電力を下げることができる。
さらに、プロセッサ210Aは、プロセッサ210Aの処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
<第3の実施形態>
図8および図10を用いて、本実施形態に係る乗員状態検出システム1Bについて説明する。
<乗員状態検出システム1Bの構成>
図8に示すように、本実施形態に係る乗員状態検出システム1Bは、乗員監視装置10と、判別装置100と、乗員状態検出装置200Bと、を含んで構成されている。
乗員状態検出装置200Bは、判別装置100から車両が停車状態である旨の情報を受信したときに、乗員監視装置10において監視する車両の乗員の監視部位および取得情報を割当てる。
なお、乗員状態検出装置200Bが実行する、監視部位および取得情報の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Bは、乗員監視装置10からの乗員監視情報を受信する。
そして、乗員状態検出装置200Bは、乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
<プロセッサ210Bの構成>
図8に示すように、プロセッサ210Bは、情報受信部211Bと、監視割当部212Bと、乗員状態検出部213Bと、を含んで構成されている。
情報受信部211Bは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する。
監視割当部212Bは、情報受信部211Bからの車両状態が走行状態である旨の情報を受信したときに、乗員監視装置10において検出する車両の乗員の監視部位および取得情報を割当てる。
具体的には、図9に示すように、監視割当部212Bは、情報受信部211Bから車両が走行状態である旨の情報を受信したときには、例えば、乗員監視装置10には、監視部位を「運転手」に割当て、取得情報を「表情」に割当てる(割当処理E)。
また、監視割当部212Bは、情報受信部211Bから車両が停車状態である旨の情報を受信したときには、例えば、乗員監視装置10には、監視部位として「全ての乗員」、取得情報を「挙動」に割当てる(割当処理F)。
乗員状態検出部213Bは、メモリ220に格納された乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
具体的には、図9に示すように、乗員状態検出部213Bは、割当処理Eが実行されたときに得られる乗員監視情報(乗員の「表情」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」等に基づいて、車両の運転手の居眠り、疲労、わき見等を検出する。
つまり、乗員状態検出部213Bは、乗員監視装置10の監視部位が「運転手」に設定されたときには、運転中の運転手の居眠り、よそ見等をリアルタイムに検出する。
そのために、乗員状態検出部213Bでは、運転手の眼球運動や瞬き等の早い動き等の乗員監視情報に基づいた、検出処理が継続的に実行されている。
また、乗員状態検出部213Bは、割当処理Fが実行されたときに得られる乗員監視情報(乗員の「挙動」に関する情報)である「姿勢、体動、睡眠時間、寝返り回数、休憩時間」等に基づいて、車両内における全ての乗員の休息状態、睡眠状態、睡眠の質等を検出する。
そのため、乗員状態検出部213Bでは、乗員監視装置10監視部位が「全ての乗員」に設定されたときには、「運転手」の監視とは異なり、乗員の寝返り、体動等の遅い動き等の乗員監視情報に基づいた、低負荷な検出処理が実行されている。
<乗員状態検出システム1Bの処理>
図10を用いて、本実施形態に係る乗員状態検出システム1Bの処理について説明する。
プロセッサ210Bの監視割当部212Bは、情報受信部211Bを介して、判別装置100から、イグニッションがON状態である車両の走行状態を示す情報を受信したか否かを判断する(ステップS310)。
監視割当部212Bが、イグニッションがON状態である車両の走行状態を示す情報を受信していると判断した場合(ステップS310の「YES」)には、処理をステップS320に移行し、割当処理Eを実行する(ステップS320)。
上述したように、割当処理E(ステップS320)では、監視割当部212Bは、乗員監視装置10の監視部位を「運転手」、取得情報を「表情」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
一方で、プロセッサ210Bの監視割当部212Bが、イグニッションがOFF状態である車両の停止状態を示す情報を受信していると判断した場合(ステップS310の「NO」)には、処理をステップS330に移行し、割当処理Fを実行する(ステップS330)。
上述したように、割当処理F(ステップS330)では、監視割当部212Bは、乗員監視装置10の監視部位を「全ての乗員」、取得情報を「挙動」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
情報受信部211Bは、乗員監視装置10からの乗員監視情報を受信する(ステップS340)。
そして、情報受信部211Bは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する(ステップS340)。
乗員状態検出部213Bは、メモリ220に格納された乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する(ステップS350)。
なお、乗員監視装置10が割当処理E(ステップS320)により、監視部位を「運転手」、取得情報を「表情」に割当てられた場合には、乗員状態検出部213Bは、走行中の運転手の居眠り、疲労、わき見等を検出する。
また、乗員監視装置10が割当処理F(ステップS330)により、監視部位を「全ての乗員」、取得情報を「挙動」に割当てられた場合には、乗員状態検出部213Bは、停車中の全ての乗員の休息状態、睡眠状態、睡眠の質等を検出する。
プロセッサ210Bは、乗員状態検出処理を継続するか否かを判定する(ステップS360)。
プロセッサ210Bにおいて乗員状態検出処理を継続すると判定された場合(ステップS360の「YES」)には、処理をステップS310に戻し、乗員状態検出処理を継続する。
一方、プロセッサ210Bにおいて乗員状態検出処理を継続しないと判定された場合(ステップS360の「NO」)には、乗員状態検出処理を終了する。
<作用・効果>
以上、説明したように、本実施形態に係る乗員状態検出システム1Bにおけるプロセッサ210Bは、判別情報が走行状態である場合には、監視部位を車両の運転者に割当て、判別情報が停車状態である場合には、監視部位を車両の全ての乗員に割当て、車両の乗員の身体状態を検出する。
プロセッサ210Bは、判別情報が走行状態である場合には、監視部位を運転者に割当て、判別情報が停車状態である場合には、監視部位を車両の全ての乗員に割当て、車両の乗員の身体状態を検出する。
つまり、乗員状態検出システム1Bは、車両の判別情報に基づいて、車両の乗員の監視部位および取得情報がそれぞれ割当てられた乗員監視装置10を用いて、車両の乗員の身体状態を検出する。
そのため、乗員の身体状態検出において、乗員の身体状態検出において、車両が走行状態における監視方法と停車状態における監視方法とが最適化されることから、乗員の身体状態を常に、正確に検出することができる。
また、車両が停車状態のときには、車両の乗員の監視部位を「全ての乗員」に割当てることにより、プロセッサ210Bの処理の負荷を下げることができ、プロセッサ210Bの消費電力を下げることができる。
さらに、プロセッサ210Bは、プロセッサ210Bの処理の負荷が下がったリソース分を新たな機能等に活用することができる。
<第4の実施形態>
図11~図13を用いて、本実施形態に係る乗員状態検出システム1Cについて説明する。
<乗員状態検出システム1Cの構成>
図11に示すように、本実施形態に係る乗員状態検出システム1Cは、乗員監視装置10と、判別装置100と、乗員状態検出装置200Cと、を含んで構成されている。
乗員状態検出装置200Cは、判別装置100から車両が停車状態である旨の情報を受信したときに、乗員監視装置10において監視する車両の乗員の監視部位を割当てる。
なお、乗員状態検出装置200Cが実行する、監視部位の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Cは、乗員監視装置10からの乗員監視情報を受信する。
そして、乗員状態検出装置200Cは、乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
<プロセッサ210Cの構成>
図8に示すように、プロセッサ210Cは、情報受信部211Cと、監視割当部212Cと、乗員状態検出部213Cと、を含んで構成されている。
情報受信部211Cは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する。
監視割当部212Cは、情報受信部211Cからの車両状態が走行状態である旨の情報を受信したときに、乗員監視装置10において検出する車両の乗員の監視部位を割当てる。
具体的には、図12に示すように、監視割当部212Cは、情報受信部211Cから車両が走行状態である旨の情報を受信したときには、乗員監視装置10の監視部位を乗員の「顔および全身」に割当てる(割当処理G)。
つまり、車両が走行状態であるときには、乗員の異常な姿勢や居眠り、わき見等を直ちに検出するために、乗員監視装置10の監視部位が「顔および全身」に割当てられ、乗員監視情報として、「視線の向き、顔の向き、瞬き回数、目の開度、眼球運動、姿勢、体動」等が、情報受信部211Cに送信される。
また、監視割当部212Cは、情報受信部211Cから車両が停車状態である旨の情報を受信したときには、乗員監視装置10の監視部位を乗員の「顔の一部および全身」に割当てる(割当処理H)。
つまり、車両が停車状態であるときには、乗員の居眠り、わき見などの危険状態を直ちに検出する必要がないため、乗員監視装置10の監視部位が「顔の一部および全身」に割当てられ、乗員監視情報として「顔の向き、目の開度、姿勢、体動」等が情報受信部211Cに送信される。
<乗員状態検出システム1Cの処理>
図13を用いて、本実施形態に係る乗員状態検出システム1Cの処理について説明する。
プロセッサ210Cの監視割当部212Cは、情報受信部211Cを介して、判別装置100から、イグニッションがON状態である車両の走行状態を示す情報を受信したか否かを判断する(ステップS410)。
監視割当部212Cが、イグニッションがON状態である車両の走行状態を示す情報を受信していると判断した場合(ステップS410の「YES」)には、処理をステップS320に移行し、割当処理Gを実行する(ステップS420)。
上述したように、割当処理G(ステップS420)では、監視割当部212Cは、乗員監視装置10の監視部位を乗員の「顔および全身」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
一方で、プロセッサ210Cの監視割当部212Cが、イグニッションがOFF状態である車両の停止状態を示す情報を受信していると判断した場合(ステップS410の「NO」)には、処理をステップS430に移行し、割当処理Hを実行する(ステップS430)。
上述したように、割当処理H(ステップS430)では、監視割当部212Cは、乗員監視装置10の監視部位を乗員の「顔の一部と全身」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
情報受信部211Cは、監視割当部212Cにより検出する車両の乗員の監視部位および取得情報が割当てられた乗員監視装置10からの乗員監視情報を受信する(ステップS440)。
そして、情報受信部211Cは、乗員監視装置10受信した乗員監視情報をメモリ220に格納する(ステップS440)。
乗員状態検出部213Cは、メモリ220に格納された乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する(ステップS450)。
なお、乗員監視装置10が割当処理G(ステップS420)により、監視部位を乗員の「顔および全身」に割当てられた場合には、乗員状態検出部213Cは、走行中の乗員の居眠り、疲労、わき見等を検出する。
また、乗員監視装置10が割当処理H(ステップS430)により、監視部位を「顔の一部および全身」に割当てられた場合には、乗員状態検出部213Cは、停車中の乗員の休息状態、睡眠状態等を検出する。
プロセッサ210Cは、乗員状態検出処理を継続するか否かを判定する(ステップS460)。
プロセッサ210Cにおいて乗員状態検出処理を継続すると判定された場合(ステップS460の「YES」)には、処理をステップS410に戻し、乗員状態検出処理を継続する。
一方、プロセッサ210Cにおいて乗員状態検出処理を継続しないと判定された場合(ステップS460の「NO」)には、乗員状態検出処理を終了する。
<作用・効果>
以上、説明したように、本実施形態に係る乗員状態検出システム1Cにおけるプロセッサ210Cは、判別情報が走行状態である場合には、監視部位を車両の乗員の顔および全身に割当て、前記判別情報が前記停車状態である場合には、前記監視部位を前記車両の乗員の顔の一部および全身に割当て、前記車両の乗員の身体状態を検出する。
つまり、車両が走行状態であるときには、乗員状態検出システム1Cは、運転中の危険状態を直ちに検出する必要があるため、「視線の向き、顔の向き、瞬き回数、目の開度、眼球運動、姿勢、体動」等の乗員監視情報に基づいて、走行中の居眠り、よそ見等を検出する。
また、車両が停車状態であるときには、乗員状態検出システム1Cは、居眠り、よそ見などの危険状態を直ちに検出する必要がないため「顔の向き、目の開度、姿勢、体動」等の乗員監視情報に基づいて、車両の乗員の身体状態を検出する。
つまり、乗員状態検出システム1Cは、車両が停車状態の乗員の身体状態の検出に必要の無い乗員監視情報は取得しないように監視部位を割当てる。
そのため、乗員の身体状態検出において、車両が走行状態における監視方法と停車状態における監視方法とが最適化されることから、乗員の身体状態を常に、正確に検出することができる。
さらに、車両が走行状態にあるときには、乗員の顔の詳細な情報を監視するために、乗員の外面状態(体動、姿勢等)だけでは判断できない、ストレス、眠気、漫然運転、疲労等の乗員の内面状態を検出することができる。
また、車両が停車状態のときには、車両の乗員の監視部位を乗員の「顔の一部および全身」に割当てることにより、プロセッサ210Cの処理の負荷を下げることができ、プロセッサ210Cの消費電力を下げることができる。
さらに、プロセッサ210Cは、プロセッサ210Cの処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
<その他の実施形態>
以上、上述した乗員状態検出システム1,1A、1B,1Cは、乗員監視装置10に備えられたカメラにより撮像した画像情報から取得した乗員監視情報に基づいて、乗員の身体状態を検出していたが、カメラを備えた第1の乗員監視装置とミリ波レーダを備えた第2の乗員監視装置とから取得した乗員監視情報に基づいて、乗員の身体状態を検出する様にしてもよい。
以下に、図14および図15を用いて、上述した第1の乗員監視装置と第2の乗員監視装置とを備えた乗員状態検出システム1Dについて説明する。
<乗員状態検出システム1Dの構成>
図14に示すように、本実施形態に係る乗員状態検出システム1Dは、第1の乗員監視装置10aと、第2の乗員監視装置10bと、判別装置100と、乗員状態検出装置200Dと、を含んで構成されている。
第1の乗員監視装置10aは、乗員状態検出システム1,1A,1B,1Cに備えられた乗員監視装置10と同じであり、カメラにより乗員監視情報を取得する
第2の乗員監視装置10bは、ミリ波レーダにより乗員監視情報を取得する。
第2の乗員監視装置10bのミリ波レーダは、第1の乗員監視装置10aのカメラに対してある程度距離をおいた位置に配設されている。
なお、遮蔽物によりカメラでは車両の乗員の画像が取得できない場合であっても、ミリ波レーダを用いることにより、車両の乗員の監視が可能となる。
つまり、第2の乗員監視装置10bは、カメラにて捕捉できない範囲、または、一部捕捉できる範囲にいる乗員に関する乗員監視情報を得るのに好適である。
例えば、第2の乗員監視装置10bは、シートを倒して休息や睡眠をとる乗員、後席に座る乗員の乗員監視情報を取得する。
さらに、第2の乗員監視装置10bは、「生体情報」である、心拍数、心拍変動、呼吸数、脳波等を取得することができる。
つまり、第2の乗員監視装置10bは、外部からの観察が難しい乗員の健康状態等を監視するための生体情報を得るのに好適である。
<乗員状態検出装置200Dの構成>
図14に示すように、乗員状態検出装置200Dは、プロセッサ210Dと、メモリ220とを含んで構成されている。
乗員状態検出装置200Dは、判別装置100から車両が停車状態である旨の情報を受信したときに、第1の乗員監視装置10aおよび第2の乗員監視装置10bにおいて検出する車両の乗員の監視部位および取得情報を割当てる。
なお、乗員状態検出装置200Dが実行する、監視部位および取得情報の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Dは、第1の乗員監視装置10aと第2の乗員監視装置10bとから、乗員監視情報を受信する。
そして、乗員状態検出装置200Dは、第1の乗員監視装置10aおよび第2の乗員監視装置10bにおいて取得した乗員監視情報に基づいて乗員の身体状態を検出する。
<プロセッサ210Dの構成>
図14に示すように、プロセッサ210Dは、情報受信部211Dと、監視割当部212Dと、乗員状態検出部213Dと、を含んで構成されている。
情報受信部211Dは、第1の乗員監視装置10aおよび第2の乗員監視装置10bから受信した乗員監視情報をメモリ220に格納する。
監視割当部212Dは、情報受信部211Dからの車両状態が走行状態である旨の情報を受信したときに、第1の乗員監視装置10aおよび第2の乗員監視装置10bにおいて監視する車両の乗員の監視部位および取得情報を割当てる。
具体的には、図15に示すように、監視割当部212Dは、情報受信部211Dから車両が走行状態である旨の情報を受信したときには、第1の乗員監視装置10aおよび第2の乗員監視装置10bの監視部位を「顔」に割当てる。
そして、監視割当部212Dは、第1の乗員監視装置10aの取得情報を「表情」に割当て、第2の乗員監視装置10bの取得情報を「表情」および「生体情報」に割当てる(割当処理I)。
また、監視割当部212Dは、情報受信部211Dから車両が停車状態である旨の情報を受信したときには、第1の乗員監視装置10aおよび第2の乗員監視装置10bの監視部位を「全身」に割当てる。
そして、監視割当部212Dは、第1の乗員監視装置10aの取得情報を、「挙動」に割当て、第2の乗員監視装置10bの取得情報を「挙動」および「生体情報」に割当てる(割当処理J)。
乗員状態検出部213Dは、メモリ220に格納された第1の乗員監視装置10aおよび第2の乗員監視装置10bの乗員監視情報に基づいて乗員の身体状態を検出する。
具体的には、図15に示すように、乗員状態検出部213Dは、割当処理Iが実行されたときに得られる乗員監視情報(乗員の「表情」および「生体情報」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」および「心拍数、心拍変動、呼吸数、脳波」に基づいて、車両の乗員の居眠り、疲労、わき見、ストレス等を検出する。
また、乗員状態検出部213Dは、割当処理Jが実行されたときに得られる乗員監視情報(乗員の「挙動」および「生体情報」に関する情報)である「姿勢、体動、睡眠時間、寝返り回数、休憩時間」および「心拍数、心拍変動、呼吸数、脳波」に基づいて、車両内の乗員の休息状態、睡眠状態、睡眠の質等を検出する。
<作用・効果>
以上、説明したように、本実施形態に係る乗員状態検出システム1Dでは、第2の乗員監視装置10bがミリ波レーダを備えているために、乗員の詳細な生体情報を取得することができる。
そのため、乗員の詳細な生体情報を用いることにより、精度よく乗員の身体状態を検出することができる。
また、本実施形態に係る乗員状態検出システム1Dでは、第2の乗員監視装置10bがミリ波レーダを備えているために、カメラでは捕捉できない位置にいる乗員の監視情報を取得することができる。
そのため、カメラでは取得できなかった乗員監視情報を、ミリ波レーダから取得した乗員監視情報により補間することができるために、精度よく乗員の身体状態を検出することができる。
<変形例>
例えば、上記実施形態においては、乗員状態検出装置200内に、監視割当部212、乗員状態検出部213を設けることを例示したが、乗員監視装置10からの情報を車両に接続されたサーバに転送し、サーバにおいて、監視割当部212の処理、乗員状態検出部213の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理して、車両の停車状態における乗員の身体状態等を、常に、正確に検出することができる。
なお、プロセッサ210,210A,210B,210C、210Dの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをプロセッサ210,210A,210B,210C,210Dに読み込ませ、実行することによって本発明の乗員状態検出システム1,1A,1B,1C,1Dを実現することができる。ここでいうコンピュータシステムとは、OSや周辺装置等のハードウェアを含む。
また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、所謂、差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1;乗員状態検出システム
1A;乗員状態検出システム
1B;乗員状態検出システム
1C;乗員状態検出システム
1D;乗員状態検出システム
10;乗員監視装置
10a;第1の乗員監視装置
10b;第2の乗員監視装置
100;判別装置
200;乗員状態検出装置
200A;乗員状態検出装置
200B;乗員状態検出装置
200C;乗員状態検出装置
200D;乗員状態検出装置
210;プロセッサ
210A;プロセッサ
210B;プロセッサ
210C;プロセッサ
210D;プロセッサ
211;情報受信部
211A;情報受信部
211B;情報受信部
211C;情報受信部
211D;情報受信部
212;監視割当部
212A;監視割当部
212B;監視割当部
212C;監視割当部
212D;監視割当部
213;乗員状態検出部
213A;乗員状態検出部
213B;乗員状態検出部
213C;乗員状態検出部
213D;乗員状態検出部
220;メモリ

Claims (5)

  1. 車両の乗員の身体状態を監視する乗員監視装置と、
    前記乗員監視装置からの乗員監視情報に基づいて前記車両の乗員の身体状態を検出する乗員状態検出装置と、
    前記車両の走行状態と停車状態とを判別する判別装置と、
    を備え、
    前記乗員状態検出装置は、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサに通信可能に接続される1つまたは複数のメモリと、を備え、
    前記1つまたは複数のプロセッサは、前記乗員監視情報と前記判別装置からの判別情報とを受信し、該受信した乗員監視情報と前記判別情報とを前記1つまたは複数のメモリに格納し、前記判別情報に基づいて、前記乗員監視装置が監視する前記車両の乗員の監視部位を割当て、乗員の身体状態を検出する乗員状態検出システム。
  2. 前記判別装置は、イグニッション情報を取得し、イグニッションがOFF状態であるときに、前記1つまたは複数のプロセッサに前記車両が前記停車状態である旨の前記判別情報を送信し、イグニッションがON状態であるときに、前記1つまたは複数のプロセッサに前記車両が前記走行状態である旨の前記判別情報を送信する請求項1に記載の乗員状態検出システム。
  3. 前記乗員監視装置が前記車両の乗員の画像を撮像するカメラを含み、
    前記車両の乗員の表情、挙動を含む前記乗員監視情報を取得し、前記1つまたは複数のプロセッサに送信する請求項1または2に記載の乗員状態検出システム。
  4. 前記1つまたは複数のプロセッサは、前記判別情報が前記停車状態であるときに、前記乗員監視情報に基づいて前記乗員が睡眠状態であると判定した場合には、前記監視部位を前記車両の乗員の全身に割当て、前記車両の乗員の身体状態を検出する請求項3に記載の乗員状態検出システム。
  5. 前記1つまたは複数のプロセッサは、前記判別情報が前記停車状態であるときに、前記乗員監視情報に基づいて前記乗員が睡眠状態であると判定した場合には、前記監視部位を前記車両の乗員の顔以外に割当て、前記車両の乗員の身体状態を検出する請求項3に記載の乗員状態検出システム。
JP2021058860A 2021-03-30 2021-03-30 乗員状態検出システム Pending JP2022155397A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021058860A JP2022155397A (ja) 2021-03-30 2021-03-30 乗員状態検出システム
US17/698,377 US20220315031A1 (en) 2021-03-30 2022-03-18 Occupant state detection system
DE102022106810.2A DE102022106810A1 (de) 2021-03-30 2022-03-23 Insassen-zustands-erfassungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021058860A JP2022155397A (ja) 2021-03-30 2021-03-30 乗員状態検出システム

Publications (1)

Publication Number Publication Date
JP2022155397A true JP2022155397A (ja) 2022-10-13

Family

ID=83282830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021058860A Pending JP2022155397A (ja) 2021-03-30 2021-03-30 乗員状態検出システム

Country Status (3)

Country Link
US (1) US20220315031A1 (ja)
JP (1) JP2022155397A (ja)
DE (1) DE102022106810A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211673B2 (ja) 2018-05-25 2023-01-24 株式会社Subaru 車両の乗員監視装置

Also Published As

Publication number Publication date
DE102022106810A1 (de) 2022-10-06
US20220315031A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11027608B2 (en) Driving assistance apparatus and driving assistance method
JP6264492B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
US10635101B2 (en) Methods and systems for preventing an autonomous vehicle from transitioning from an autonomous driving mode to a manual driving mode based on a risk model
Shaikh et al. Abnormal fixational eye movements in amblyopia
EP1799106B1 (en) Method for generating an indication of a level of vigilance of an individual
JP5007975B2 (ja) 居眠り検知装置
US20080212828A1 (en) Device, program, and method for determining sleepiness
US11751784B2 (en) Systems and methods for detecting drowsiness in a driver of a vehicle
WO2020145161A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR101926921B1 (ko) 운전자 모니터링 장치 및 방법
JP2023093454A (ja) 異常検知装置
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
JP2023518364A (ja) 日中の眠気及び夜間の閉塞性睡眠時無呼吸(osa)の重症度を使用する未診断の睡眠呼吸障害の検出
JP2022155397A (ja) 乗員状態検出システム
JP2022155451A (ja) 乗員状態検出システム
JP2022155398A (ja) 乗員状態検出システム
WO2021020449A1 (ja) 車両用表示制御装置
WO2020158720A1 (ja) 心身の状態の判定システム、判定装置、方法、コンピュータプログラム
US11750775B2 (en) Occupant state detection system
JP7392536B2 (ja) 画像記憶制御装置及び画像記憶制御方法
JP2006130046A (ja) 覚醒度判定装置
JP2022155395A (ja) 運転支援システム
Agarkar et al. Driver Drowsiness Detection and Warning using Facial Features and Hand Gestures
EP4177852A1 (en) Method for automatically controlling in-cabin environment for passenger and system therefor
CN117022291A (zh) 用于确定驾驶者执行驾驶任务的本领的驾驶者评估系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240211