JP2023139931A - 車両状態認識装置 - Google Patents

Abstract

【課題】車両に搭乗する乗員の状態を正確に認識できる車両状態認識装置を提供する。
【解決手段】車両状態認識装置１１は、撮影部２１と、反射部１７と、演算制御部２６と、を主要に具備する。撮影部２１は、車両１０の車室１６の内部を撮影する。反射部１７は、車室１６に配設され、撮影部２１により検出できる光線を反射することで、車室１６の車室前部に配置された車両部材を映し出す。撮影部２１は、反射部１７を含む車室１６を撮影することにより車室画像２４を生成する。演算制御部２６は、車室画像２４に含まれる反射部１７を撮影した部分に基づいて、車室１６の内部の状態を認識する。
【選択図】図１Ｂ

Description

本発明は、車両状態認識装置に関する。

従来の車両または乗員の状態を監視する装置として、例えば、以下の特許文献に記載の構造が知られている。

特許文献１に記載された車載監視制御装置は、車両の内部にミラー部を設け、撮像取得部により、車両内部及びミラー部に映る画像を取得する。操作者特定部は、撮像取得部が取得する撮像映像に基づいて、車両の乗員の視線、顔向き、または手を検知する。更に、操作者特定部は、撮像取得部が取得する撮像映像及び検知部が検知する視線、顔向き、または手に基づいて、車両の内部の操作機器を操作する乗員を特定する。

特許文献２に記載された車載カメラ装置では、平面ミラーまたは凸面ミラーに映し出された景色をカメラによって撮影する。ミラーは、平面ミラーに備えられた支持部材を介してモータによって駆動されることで、撮影範囲が変更される。カメラで撮影された画像のデータは制御部に出力される。制御部は、カメラから入力されるミラーを介して撮影された車室内の画像のデータに基づき、運転者の脇見運転防止処理、防犯処理、エマージェンシー処理がなされる。

特開２０２０－１５７９３８号公報 特開２００５－２０６０２５号公報

しかしながら、前述した各特許文献に記載された発明では、車両または乗員の状態をより正確に認識する観点から改善の余地があった。

具体的には、前述した各特許文献に記載された発明では、ミラーを介して撮影することで、車両走行中における車室内または乗員の状態を監視することを実現している。しかしながら、ダッシュボードまたはその近傍に配置された機器を、係る発明により直接的に検知することは簡単ではない。よって、前述した各特許文献に記載された発明では、車両走行中に於いて乗員が注視する状況を、正確に把握することが難しい課題があった。

本発明は、このような問題点を鑑みてなされたものであり、本発明の目的は、車両に搭乗する乗員の状態を正確に認識できる車両状態認識装置を提供することにある。

本発明の車両状態認識装置は、車両の車室の内部を撮影する撮影部と、前記車室に配設され、前記撮影部により検出できる光線を反射することで、前記車室の前部に配置された車両部材を映し出す反射部と、演算制御部と、を具備し、前記撮影部は、前記反射部を含む前記車室を撮影することにより車室画像を生成し、前記演算制御部は、前記車室画像に含まれる前記反射部を撮影した部分に基づいて、前記車室前部の状態を認識することを特徴とする。

本発明の車両状態認識装置によれば、車室画像に含まれる反射部を撮影した部分に基づいて、車室前部に配設された車両部材の状態を認識することにより、撮影部の死角となる部分の車両部材の状態を認識することができる。例えば、乗員が、車両のダッシュボード等に配設された携行機器を注視して脇見を行った場合に、当該脇見を検知して報知することにより、車両走行時の安全性を向上できる。

本発明の実施形態に係る車両状態認識装置を備えた車両を示す側面図である。 本発明の実施形態に係る車両状態認識装置を備えた車両の車室の内部を示す斜視図である。 本発明の実施形態に係る車両状態認識装置の接続構成を示すブロック図である。 本発明の実施形態に係る車両状態認識装置において乗員の状態を示す模式図である。 本発明の実施形態に係る車両状態認識装置において、乗員の状態を監視する方法を示すフローチャートである。 本発明の実施形態に係る車両状態認識装置において、乗車前車室画像の一例を示す図である。 本発明の実施形態に係る車両状態認識装置において、乗車後車室画像の一例を示す図である。 本発明の実施形態に係る車両状態認識装置において配置領域および非配置領域の一例を示す図である。 本発明の他形態に係る車両状態認識装置において配置領域および非配置領域の一例を示す図である。

以下、本発明の実施形態に係る車両状態認識装置１１を図面に基づき詳細に説明する。以下の説明では、同一の部材には原則的に同一の符号を付し、繰り返しの説明は省略する。

図１Ａは、車両状態認識装置１１を備えた車両１０を示す側面図である。図１Ｂは、車両状態認識装置１１を備えた車両１０の車室内前部を示す図である。

車両状態認識装置１１は、車両１０の車室１６の前部および乗員１８の状態を認識するための装置である。車両状態認識装置１１は、撮影部２１と、反射部１７と、演算制御部２６と、を主要に具備する。車両状態認識装置１１の具体的な機能および構成は、図２以降の図を参照して後述する。ここで、車室１６の前部とは、例えば、ダッシュボード１９およびその近傍を含む。

車両１０は、例えば、自動車や電車等である。具体的には、車両１０は、例えば、エンジン搭載車両、ＥＶ（Ｅｌｅｃｔｒｉｃａｌ Ｖｅｈｉｃｌｅ）、ＨＥＶ（Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃａｌ Ｖｅｈｉｃｌｅ）またはＰＨＥＶ（Ｐｌｕｇ－ｉｎ Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃａｌ Ｖｅｈｉｃｌｅ）である。

運転席であるシート１３には、車両１０を運転する乗員１８が着座している。乗員１８は、ステアリングハンドル１４、図示しないブレーキペダルおよびアクセルペダル等を操作することで、車両１０を運転する。

車体２８の前方部分にはフロントガラス１２が配設されている。

図１Ｂに示すように、車室１６の前部を構成するダッシュボード１９の左右方向中央付近には、ディスプレイ１５が配設されている。ディスプレイ１５は、車外気温、エアコンの作動状況などの車両１０に関する情報を一括して表示するマルチファンクションディスプレイであり、後述する警報を表示する報知部２７としても機能している。ここで、報知部２７としては、警報音を発するスピーカが採用されてもよい。

撮影部２１は、車両１０の車室１６の内部を撮影する。撮影部２１は、ディスプレイ１５よりも上方のダッシュボード１９に、車両１０を運転する乗員１８の頭部３１等を撮像できるように配設される。撮影部２１は、ＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）と称される。撮影部２１は、例えば赤外線カメラ等である。

反射部１７は、車室１６に配設され、撮影部２１により検出できる光線を反射することで、車室１６の車室前部に配置された車両部材を映し出す。反射部１７は、ここでは、乗員１８またはシート１３の後方側において、車室１６の天井またはその近傍に配設される。反射部１７は、前面部分に反射面を有する。反射部１７は、車室１６の前部、即ちダッシュボード１９およびその近傍を映し出すことができるように配設される。反射部１７は、撮影部２１が受光できる光線、例えば赤外線を反射する。

ステアリングハンドル１４の上方部分の奥側にはメータ類２３が配設される。メータ類２３には、車速、エンジンの回転速度等が表示される。

車両状態認識装置１１は、車両１０を運転する乗員１８の状態を撮影部２１で認識し、乗員１８が脇見等をしていると判断したら、その旨を乗員１８に報知する。このようにすることで、乗員１８は、後述する報知部２７からの報知により、自らの状態を認識することができ、脇見をしている状態から、運転動作に集中している通常状態に復帰することができる。かかる動作に関しては、図４のフローチャート等を参照して後述する。

図２は、車両状態認識装置１１の接続構成を示すブロック図である。

車両状態認識装置１１は、演算制御部２６、撮影部２１、記憶部２５、ディスプレイ１５および報知部２７を、主に有する。

演算制御部２６は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を有する。演算制御部２６の入力側端子は、撮影部２１および記憶部２５に接続される。演算制御部２６の出力側端子は、ディスプレイ１５および報知部２７に接続される。後述するように、演算制御部２６は、車室画像２４に基づいて、乗員１８の状態を認識する。

撮影部２１は、反射部１７を含む車室１６を撮影することにより車室画像２４を生成する。また、撮影部２１は、車両１０に搭乗する乗員１８も撮影する。撮影部２１は、例えば赤外線カメラであり、日中および夜間において乗員１８および反射部１７を撮影することができる。

記憶部２５は、例えば、ＲＡＭおよびＲＯＭを有する半導体記憶装置であり、車室画像２４を記憶する。車室画像２４は、乗車前車室画像２４１と、乗車後車室画像２４２とを含む。車室画像２４は、撮影部２１により車室１６を撮影した画像である。乗車前車室画像２４１は、撮影部２１により、乗員１８が搭乗する前の車室１６を撮影した画像である。乗車後車室画像２４２は、撮影部２１により、乗員１８が搭乗した後の車室１６を撮影した画像である。

記憶部２５が、車両状態認識装置１１の動作に先行して、乗車前車室画像２４１を記憶することで、携行機器２２がダッシュボード１９に載置されていない状態を学習した効果が得られる。また、記憶部２５は、乗員１８がダッシュボード１９に携行機器２２を載置する動作を示す映像を記憶することもできる。

ディスプレイ１５は、前述したとおり、車両１０に関連する各種情報等を映し出す表示装置である。

報知部２７は、例えば、車体２８に配設されたスピーカであり、乗員１８が脇見をしていると判断したら、その旨を発音することにより乗員１８に報知する。

以上が車両状態認識装置１１の概略構成である。後述するように、車両状態認識装置１１によれば、車室画像２４に含まれる反射部１７を撮影した部分に基づいて車室１６の内部の状態を認識することにより、撮影部２１の死角となる部分に配置された携行機器２２を認識することができる。よって、後述するように、乗員１８が携行機器２２を凝視することで脇見をしている状態を容易に検知して報知することができる。

図３は、車両１０のシート１３に着座する乗員１８の状態を示す模式図である。前述した撮影部２１は、乗員１８の頭部３１に備えられた眼球２０を撮影する。更に、前述した演算制御部２６は、頭部３１または眼球２０を撮影した映像から、乗員１８が注視している注視方向や、その視点の三次元座標等を算出する。例えば、演算制御部２６は、撮影部２１で撮影した眼球２０の瞳の位置等から、注視方向や三次元座標等を算出する。

図４は、車両状態認識装置１１において、乗員１８の状態を監視する方法を示すフローチャートである。図４に基づき、前述した各図を参照しつつ、車両状態認識装置１１により乗員１８の状態としての脇見等を認識する方法を説明する。

ステップＳ１０では、乗員１８が、車両１０に搭乗し、シート１３に着座する。ここで、図２を参照して説明したように、乗員１８が着座する前に、撮影部２１は、反射部１７を含む車室１６の内部を撮影し、乗車前車室画像２４１として記憶部２５に記憶する。乗車前車室画像２４１の一例を図５Ａに示す。

ステップＳ１１では、車両１０が走行を開始する。即ち、乗員１８が、ステアリングハンドル１４等を操作して運転動作を実行することで、車両１０が走行する。

ステップＳ１２では、演算制御部２６は、撮影部２１により車室１６およびシート１３を撮影する。図５Ｂに、撮影部２１で撮影することにより生成される乗車後車室画像２４２を示す。乗車後車室画像２４２には、反射部１７および乗員１８が映り込んでいる。乗車前車室画像２４１の反射部１７が映り込んだ部分には、反射部１７により反射する車両前部であるダッシュボード１９およびその近傍の状態が反映される。よって、乗車前車室画像２４１の反射部１７が映り込んだ部分を解析することにより、車室１６のダッシュボード１９およびその近傍の状態を検知できる。

ステップＳ１３では、乗車前車室画像２４１と乗車後車室画像２４２とを比較する。具体的には、乗車前車室画像２４１の反射部１７が映り込んだ部分と、乗車後車室画像２４２の反射部１７が映り込んだ部分との差分を取る。前述したように、反射部１７は、車室１６の車両前部であるダッシュボード１９およびその近傍を反射している。よって、乗車前車室画像２４１の反射部１７が映り込んだ部分と、乗車後車室画像２４２の反射部１７が映り込んだ部分との差分を取ることで、ダッシュボード１９およびその近傍における状態の変化を検知できる。本ステップでは、乗車前車室画像２４１と乗車後車室画像２４２とを比較することにより、ダッシュボード１９における携行機器２２の有無を判断することができる。

ステップＳ１４では、機器である携行機器２２がダッシュボード１９の近傍に存在するか否かを判断する。例えば、乗員１８がシート１３に着座した後に、ダッシュボード１９およびその近傍に、スマートフォン等の携行機器２２を配置することがある。この場合、図５Ａの乗車前車室画像２４１の反射部１７と、図５Ｂの乗車前車室画像２４１の反射部１７とで、映し出されるダッシュボード１９およびその近傍の状況が異なる。即ち、乗車前車室画像２４１の反射部１７には携行機器２２が存在せず、乗車前車室画像２４１の反射部１７には携行機器２２が存在する。よって、乗車前車室画像２４１と乗車後車室画像２４２との差分を取ることより、ダッシュボード１９に携行機器２２が存在するか否かを判断できる。

ステップＳ１４でＹＥＳの場合、即ち、携行機器２２が存在すると判断したら、演算制御部２６はステップＳ１６に移行する。

ステップＳ１４でＮＯの場合、即ち、携行機器２２が存在しないと判断したら、演算制御部２６はステップＳ１５に移行する。

ステップＳ１５では、演算制御部２６は、脇見の有無を判断する際の判断基準を均一とする。即ち、演算制御部２６は、図５Ｂに示した乗車前車室画像２４１に映り込んだ乗員１８の状況に基づいて、脇見の有無を判断する際に、特定の範囲に於いて、脇見の可能性を変化させることはない。このようにすることで、携行機器２２がダッシュボード１９に設置されない際に、脇見を正確に検知できる。

ステップＳ１６では、演算制御部２６は、脇見の有無を判断する際の判断基準を非均一とする。

図６を参照して、ステップＳ１６を詳述する。図６は、携行機器２２が載置された場合に於いて、ダッシュボード１９およびその近傍を映し出す画像である。

本実施形態では、ダッシュボード１９に携行機器２２が確認された場合、演算制御部２６は、携行機器２２の二次元または三次元における座標を算出する。更に、演算制御部２６は、車両前方を撮影した視野を、配置領域２９と、非配置領域３０に区分する。配置領域２９は、携行機器２２が配置される領域およびその近傍である。非配置領域３０は、携行機器２２が配置されない領域である。図６では、配置領域２９を点線で囲んだ領域として示しており、それ以外の領域が非配置領域３０に該当する。

演算制御部２６は、乗員１８の状態を判断する基準を異ならせる。具体的には、演算制御部２６は、配置領域２９では、脇見を検出する確率を高くする。脇見を検知する方法として、乗員１８の視線を用いる方法がある。即ち、乗員１８の眼球２０の位置を解析し、算出される乗員１８の視線の方向が、配置領域２９を向けば、乗員１８は脇見をしていると判断する。また、別の方法として、乗員１８が配置領域２９を凝視する時間が閾値時間を超えると脇見と判断する方法がある。この方法により脇見を検知する場合、演算制御部２６は、配置領域２９において当該閾値時間を短くする。このようにすることで、配置領域２９において、より効果的に乗員１８の脇見を検知し、これに基づいて後述するように報知することで、脇見の続行を抑制して運転時の安全性を向上できる。

一方、演算制御部２６は、非配置領域３０では、脇見を検出する確率を低くする。例えば、演算制御部２６は、算出される乗員１８の視線が、非配置領域３０を向いていれば、脇見をしていないと判断することができる。また、前述した閾値時間を用いて脇見を判断する場合は、演算制御部２６は、非配置領域３０において当該閾値時間を長くする。このようにすることで、非配置領域３０において、脇見を検知する確率が低くなる。よって、演算制御部２６が脇見を誤検出することを抑制し、総合的には脇見を精度高く検知することができる。

ステップＳ１７では、演算制御部２６は、乗員１８が脇見を行っているか否かを判断する。例えば、演算制御部２６は、撮影部２１により乗員１８を含む車室１６の画像を撮影する。更に、演算制御部２６は、眼球２０を撮影した画像部分に基づいて、乗員１８の視線の方向を推定する。更に、演算制御部２６は、乗員１８の視線が、車外前方等を向いていれば、乗員１８は脇見をしていないと判断する。一方、演算制御部２６は、乗員１８の視線が、車外前方以外の部分、例えば携行機器２２を含む配置領域２９を向いていれば、乗員１８は脇見をしていると判断する。当該判断を行う際に、前述したように、ステップＳ１５の場合と、ステップＳ１６の場合とで、判断基準を異ならせている。

ステップＳ１７でＹＥＳの場合、即ち、乗員１８が脇見をしていると判断した場合は、演算制御部２６は、ステップＳ１８に移行する。

ステップＳ１７でＮＯの場合、即ち、乗員１８が脇見をしていないと判断した場合は、演算制御部２６は、ステップＳ２１に移行し、報知は行わない。

ステップＳ１８では、演算制御部２６は、乗員１８に報知する。具体的には、演算制御部２６は、報知部２７であるスピーカ等から、脇見を是正するための音声や警告音を発音する。また、報知部２７としては、ディスプレイ１５を採用することもでき、この場合は、脇見を是正するための画像が、ディスプレイ１５に表示される。報知部２７を介して乗員１８に報知することで、乗員１８が脇見することを是正することができ、運転時の安全性を向上できる。

ステップＳ１９では、演算制御部２６は、乗員１８が脇見を継続しているかを判断する。ステップＳ１９における処理は、前述したステップＳ１７と同様である。

ステップＳ１９でＹＥＳの場合、即ち、乗員１８が脇見を続行している場合は、演算制御部２６は、ステップＳ１８に戻り、報知を続行する。

ステップＳ１９でＮＯの場合、即ち、乗員１８が脇見を止めた場合は、演算制御部２６は、ステップＳ２０に移行する。

ステップＳ２０では、演算制御部２６は、報知部２７による報知を終了する。

ステップＳ２１では、乗員１８は、車両１０の走行を終了する。即ち、乗員１８は、車両１０を停止させる。

以上が、車両状態認識装置１１を用いて、乗員１８の状態の一例である脇見を検知する方法に関する説明である。

車両状態認識装置１１によれば、車室画像２４に含まれる乗員１８、および、反射部１７により検知した車両部材の状態に基づいて、乗員１８の状態を正確に認識することが出来る。具体的には、演算制御部２６により、乗員１８が脇見をしているか否かを認識し、脇見をしている場合は報知部２７により報知することで、車両１０の運転中における乗員１８の脇見を防止できる。また、反射部１７の反射画像を用いることで、撮影部２１の死角であるダッシュボード１９に配置された携行機器２２の存在を認識し、携行機器２２の有無に基づいて、最適化された脇見検知を実行することができる。よって、車両１０が乗員１８を運転する際の安全性を向上できる。

図７を参照して、他の形態に係る車両状態認識装置１１の動作を説明する。

前述した図６に示した例では、ダッシュボード１９に配置された携行機器２２を乗員１８が見る場合を、脇見の一例として示した。一方、図７に示したように、図示しない乗員１８の目線とフロントガラス１２との間に、携行機器２２が存在する場合がある。即ち、フロントガラス１２に吸着する治具等を介して、携行機器２２が、ダッシュボード１９の上端よりも上方に配置される場合がある。

本実施形態では、係る場合であっても、乗員１８の脇見を検知することができる。具体的な制御の一例を説明すると、乗員１８がフロントガラス１２を介して前方を見ている場合であっても、前述した反射部１７および撮影部２１を介して、携行機器２２の有無を確認する（前述したステップＳ１４）。携行機器２２が存在する場合は、脇見の判断基準を非均一とする（前述したステップＳ１６）。そして、脇見の有無を判断し（ステップＳ１７）、乗員１８が脇見をしている場合は報知を行う（ステップＳ１７ないしステップＳ２０）。このようにすることで、乗員１８の目線とフロントガラス１２との間に、携行機器２２が存在する場合であっても、携行機器２２を凝視する乗員１８の脇見を検知し、車両走行時の安全性を向上できる。

以上、本発明の実施形態について説明したが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲で変更が可能である。また、前述した各形態は相互に組み合わせることが可能である。

例えば、前述した実施形態では、演算制御部２６が認識する状態として脇見を採用したが、他の状態を認識対象にすることもできる。例えば、乗員１８が極端に体勢を崩した状態等を、演算制御部２６の認識対象にすることもできる。

１０ 車両
１１ 車両状態認識装置
１２ フロントガラス
１３ シート
１４ ステアリングハンドル
１５ ディスプレイ
１６ 車室
１７ 反射部
１８ 乗員
１９ ダッシュボード
２０ 眼球
２１ 撮影部
２２ 携行機器
２３ メータ類
２４ 車室画像
２４１ 乗車前車室画像
２４２ 乗車後車室画像
２５ 記憶部
２６ 演算制御部
２７ 報知部
２８ 車体
２９ 配置領域
３０ 非配置領域
３１ 頭部

Claims (5)

1. 車両の車室の内部を撮影する撮影部と、
   前記車室に配設され、前記撮影部により検出できる光線を反射することで、前記車室の前部に配置された車両部材を映し出す反射部と、
   演算制御部と、を具備し、
   前記撮影部は、前記反射部を含む前記車室を撮影することにより車室画像を生成し、
   前記演算制御部は、前記車室画像に含まれる前記反射部を撮影した部分に基づいて、前記車室の前部の状態を認識することを特徴とする車両状態認識装置。
2. 前記撮影部は、前記車室に着座した乗員を撮影することで前記車室画像を生成し、
   前記演算制御部は、前記車室画像に基づいて、前記乗員の状態を認識することを特徴とする請求項１に記載の車両状態認識装置。
3. 記憶部を更に具備し、
   前記記憶部は、前記乗員が搭乗する前の前記車室を撮影した画像である乗車前車室画像を記憶し、
   前記撮影部は、前記乗員が搭乗した後の前記車室を撮影した画像である乗車後車室画像を撮影し、
   前記演算制御部は、前記乗車前車室画像と、前記乗車後車室画像とを比較することで、機器の有無を判断することを特徴とする請求項２に記載の車両状態認識装置。
4. 前記演算制御部は、前記車室画像に基づいて、前記乗員の状態を認識し、
   前記機器の存在が確認された場合、前記機器が配置される領域である配置領域と、前記機器が配置されない領域である非配置領域とで、前記乗員の状態を判断する基準を異ならせることを特徴とする請求項３に記載の車両状態認識装置。
5. 報知部を更に具備し、
   前記演算制御部は、前記車室画像に基づいて、前記乗員が脇見をしている状態を認識し、
   更に、前記演算制御部は、前記乗員が前記脇見をしていると判断したら、前記報知部により報知することを特徴とする請求項２から請求項４の何れかに記載の車両状態認識装置。
   
   
   
   
   

Images