JP2020144573A - 運転者監視装置 - Google Patents

Abstract

【課題】測距機能がなくても運転者の不適正な姿勢を簡単に検出できる運転者監視装置を提供する。【解決手段】カメラ１は、運転者が車両に搭乗していない状態で撮像した第１基準画像と、運転者が適正な姿勢で搭乗した状態で撮像した第２基準画像と、運転者が運転をしている状態で撮像した運転時画像とを生成する。差分演算部３１は、第１基準画像と第２基準画像との差分である基準差分画像と、第１基準画像と運転時画像との差分である運転時差分画像とを生成する。差分総計算出部３２は、２値化された基準差分画像における閾値以上の画素の総数を第１差分総計として算出し、２値化された運転時差分画像における閾値以上の画素の総数を第２差分総計として算出する。姿勢判定部３４は、第１差分総計と第２差分総計との比較結果に基づいて、運転者の姿勢が適正か否かを判定する。警報出力部３５は、運転者の姿勢が不適正と判定された場合に警報を出力する。【選択図】図１

Description

本発明は、車両の運転者の状態を監視する装置に関し、特に、運転者の姿勢が適正か否かを判定する技術に関する。

居眠り運転や脇見運転などによる交通事故を未然に防止するために、運転者をカメラで撮像して監視するドライバモニタが知られている。ドライバモニタは、車両の運転席に装備され、カメラの撮像画像から運転者の異常が検出された場合は、警報を出力して運転者に注意を喚起したり、車両に対して所定の制御を行ったりする。運転者の異常としては、居眠りや脇見などのほか、運転姿勢が適正でない場合も挙げられる。たとえば、運転者が後方へ大きく傾いたリクライニング姿勢をとっている場合は、顔が上向きとなって車両前方の視界が悪くなるため、前方の車両と異常接近した場合や他の車両が急に割り込んできた場合のような、危険な状況が発生した際に、すぐに危険回避のための運転に移行することができず、安全上問題がある。また、運転者が前方へ大きく傾いた前かがみ姿勢をとっている場合も、顔が下向きとなるので同様の問題が生じる。そこで、運転者の姿勢をカメラやセンサにより監視し、姿勢が適正でない場合は警報を出力するなどの処置を行う装置が提案されている（特許文献１〜３）。

特許文献１では、運転者の不適正な姿勢（姿勢崩れ）の検出にあたって、カメラの撮像画像に基づいて、姿勢崩れ量を算出する。たとえば、ヘッドレストやステアリングなどの中心を基準点とし、運転者の顔の中心と基準点との距離を姿勢崩れ量として算出する。そして、算出した姿勢崩れ量が閾値よりも大きい場合に、運転者が姿勢崩れの状態にあると判定する。

特許文献２では、カメラの撮像画像から運転者の姿勢情報（肘の角度、膝の角度、上体の角度など）を取得し、この姿勢情報の分散度から運転者の運転に対する自信度を算出する。そして、算出した自信度が所定値未満であれば、運転者の運転姿勢と適正な運転姿勢とを表示することにより、運転者に運転姿勢の改善を促すようにしている。

特許文献３では、運転姿勢に応じた運転者の身体信号を検出する手段として、運転者の体圧分布を検出する体圧分布センサを運転席のシート内に設け、このセンサが検出した体圧分布に基づいて運転者の運転姿勢を判定する。そして、運転者の運転姿勢と適正な運転姿勢とを対比可能な態様で表示するとともに、運転者の運転姿勢を適正な運転姿勢に矯正するのに必要な身体部位の動作を報知するようにしている。

特開２０１６−３８７９３号公報 特開２０１５−１９３２７４号公報 特開２０１５−２０６８１号公報

特許文献１では、姿勢崩れの検出のために運転者の顔中心と基準点との距離を測定する必要があるので、ドライバモニタに測距機能が備わっていなければならない。特許文献２では、撮像画像を解析して肘、膝、上体などの角度を定量化することで姿勢情報を取得するため、演算処理が複雑となる。特許文献３では、ドライバモニタとは別に体圧分布センサのような身体信号検出手段が必要となり、構成が複雑となる。

本発明の課題は、測距機能がなくても運転者の不適正な姿勢を簡単に検出できる運転者監視装置を提供することにある。

本発明に係る運転者監視装置は、運転者を撮像するカメラと、このカメラの撮像画像に基づいて運転者の姿勢を判定する姿勢判定部と、運転者の姿勢が不適正と判定された場合に警報を出力する警報出力部と、カメラが撮像した２つの画像の差分を演算する差分演算部と、この差分演算部の演算によって得られる差分画像を閾値を用いて２値化し、当該２値化された差分画像における閾値以上の画素の総数を差分総計として算出する差分総計算出部とを備える。カメラは、運転者が車両に搭乗していない状態で撮像した第１基準画像と、運転者が車両に搭乗しかつ当該運転者の姿勢が適正である状態で撮像した第２基準画像と、運転者が運転をしている状態で撮像した運転時画像とを生成する。差分演算部は、第１基準画像と第２基準画像との差分を演算して、当該２つの画像の差分である基準差分画像を生成し、また、第１基準画像と運転時画像との差分を演算して、当該２つの画像の差分である運転時差分画像を生成する。差分総計算出部は、２値化された基準差分画像における閾値以上の画素の総数を第１差分総計Ｘとして算出し、２値化された運転時差分画像における閾値以上の画素の総数を第２差分総計Ｙとして算出する。姿勢判定部は、第１差分総計Ｘと第２差分総計Ｙとの比較結果に基づいて、運転者の姿勢が適正か否かを判定する。

このような運転者監視装置によると、第１基準画像、第２基準画像、および運転時画像の３つの画像から、基準差分画像と運転時差分画像が生成される。そして、基準差分画像を２値化して得られる差分総計と、運転時差分画像を２値化して得られる差分総計とを比較することで、運転者の姿勢の適否が判定される。このため、測距機能が備わっていない運転者監視装置であっても、簡単な演算処理によって、運転者の姿勢が適正か否かを容易に判定することができる。

本発明において、第１差分総計Ｘと第２差分総計Ｙとの差を｜Ｘ−Ｙ｜、第１基準値をＰとしたとき、姿勢判定部は、｜Ｘ−Ｙ｜≦Ｐである場合は、運転者の姿勢が適正であると判定し、｜Ｘ−Ｙ｜＞Ｐである場合は、運転者の姿勢が不適正であると判定してもよい。

本発明において、２値化された基準差分画像における閾値以上の画素領域の重心位置を第１重心位置Ｍとして算出するとともに、２値化された運転時差分画像における閾値以上の画素領域の重心位置を第２重心位置Ｎとして算出する重心算出部を設けてもよい。そして、姿勢判定部は、第１差分総計Ｘと第２差分総計Ｙとの比較結果、および第１重心位置Ｍと第２重心位置Ｎとの比較結果に基づいて、運転者の姿勢が適正か否かを判定してもよい。

この場合、第１差分総計Ｘと第２差分総計Ｙとの差を｜Ｘ−Ｙ｜、第１基準値をＰ、第１重心位置Ｍと第２重心位置Ｎとの差を｜Ｍ−Ｎ｜、第２基準値をＱとしたとき、姿勢判定部は、｜Ｘ−Ｙ｜≦Ｐであり、かつ｜Ｍ−Ｎ｜≦Ｑである場合は、運転者の姿勢が適正であると判定し、｜Ｘ−Ｙ｜＞Ｐである場合、または｜Ｍ−Ｎ｜＞Ｑである場合は、運転者の姿勢が不適正であると判定してもよい。

本発明において、姿勢判定部は、運転者の姿勢が不適正であると判定した場合に、当該不適正姿勢が継続する時間を継続時間として計測し、警報出力部は、当該継続時間が所定の基準時間を経過したときに警報を出力してもよい。

本発明において、姿勢判定部は、カメラが第２基準画像を生成するに際して、車両に搭乗した運転者の姿勢が適正であるか否かを、当該運転者の顔情報および当該車両の車両情報に基づいて判定してもよい。

この場合、姿勢判定部は、顔情報および車両情報に加えて、運転者の姿勢に関する個人学習データを参酌して、車両に搭乗した運転者の姿勢が適正であるか否かを判定してもよい。

本発明において、カメラは、車両のドアを開閉するための電子キーを所持した運転者が当該車両に接近したことが確認されたときに、第１基準画像を撮像してもよい。

本発明によれば、測距機能がなくても運転者の不適正な姿勢を簡単に検出できる運転者監視装置を提供することができる。

本発明の第１実施形態による運転者監視装置のブロック図である。 カメラにより運転者を撮像する様子を示す図である。 カメラの設置例を示す図である。 運転者の不適正姿勢の例を示す図である。 運転者の不適正姿勢の他の例を示す図である。 運転者がいない状態で撮像した基準画像Ａを示す図である。 運転者が搭乗した状態で撮像した基準画像Ｂを示す図である。 基準画像Ａ、Ｂの差分である基準差分画像Ｇを示す図である。 基準差分画像Ｇの２値化を模式的に示す図である。 車両の運転中に撮像した運転時画像Ｃ１を示す図である。 基準画像Ａと運転時画像Ｃ１の差分である運転時差分画像Ｈ１を示す図である。 運転時差分画像Ｈ１の２値化を模式的に示す図である。 車両の運転中に撮像した他の運転時画像Ｃ２を示す図である。 基準画像Ａと運転時画像Ｃ２の差分である運転時差分画像Ｈ２を示す図である。 運転時差分画像Ｈ２の２値化を模式的に示す図である。 第１実施形態における姿勢判定手順を詳細に示したフローチャートである。 運転者の左右方向への移動を説明する図である。 本発明の第２実施形態の原理を模式的に示す図である。 第２実施形態による運転者監視装置のブロック図である。 第２実施形態における姿勢判定手順を詳細に示したフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。図中、同一の部分または対応する部分には、同一の符号を付してある。

図１は、第１実施形態による運転者監視装置（以下、「ドライバモニタ」という。）の構成を示している。図１において、ドライバモニタ１００は、車両に搭載されて運転者の状態を監視する装置であって、カメラ１、画像処理部２、制御部３、記憶部４、通信部５、および電源回路６を備えている。

カメラ１は、たとえば図２に示すように、車両５０の車室５１内において運転者ＤＲと対向するように設けられ、シート５４に着座した運転者ＤＲを撮像する。破線はカメラ１の撮像範囲を示しており、運転者ＤＲの顔・首・肩を含む上半身がカメラ１により撮像される。車両５０は、たとえば自動四輪車である。図２の符号５５は、シート５４の上部に設けられたヘッドレストを表している。

図３は、車室５１内から車両５０の進行方向に向って、フロントガラスＷおよびインストルメントパネル５２を見た図である。カメラ１は、インストルメントパネル５２における運転者ＤＲと対面する箇所に設置されており、ステアリング５３を通して運転者ＤＲを撮像する。なお、カメラ１の設置箇所は、図３の例に限るものではなく、たとえば、インストルメントパネル５２に配置されたメータ５６やディスプレイ５７などの近傍に設置してもよく、あるいはフロントガラスＷの上部に位置するルームミラー５８の近傍に設置してもよい。

カメラ１には、図１に示すように、被写体である運転者ＤＲを撮像する撮像部１１と、運転者ＤＲに光を照射する発光部１２とが備わっている。撮像部１１は、たとえばＣＭＯＳイメージセンサのような撮像素子を有しており、発光部１２は、たとえば赤外光を発する発光ダイオードのような発光素子を有している。そのほか、カメラ１にはレンズなどの光学系も備わっている（図示省略）。

画像処理部２は、カメラ１の撮像部１１で撮像された画像を処理して、運転者ＤＲの顔を抽出するとともに、顔における目・鼻・口などの特徴点を抽出する。そして、これらを解析して、運転者ＤＲの顔の向き、視線の方向、瞼の開閉状態などを検出する。

制御部３は、ＣＰＵなどから構成されており、差分演算部３１、差分総計算出部３２、車両状態判定部３３、姿勢判定部３４、および警報出力部３５を備えている。これらの各部の機能は、実際にはソフトウェア処理により実現されるものであるが、ここでは便宜上ハードウェアのブロックとして図示してある。

差分演算部３１は、カメラ１が撮像した２つの画像（後述）の差分を演算して、差分画像を生成する。差分総計算出部３２は、その差分画像を閾値により“０”と“１”に２値化して、閾値以上である“１”の画素の総数（差分総計）を算出する。車両状態判定部３３は、ドライバモニタ１００に外部から入力される車速やヨーレートなどの車両情報に基づいて、車両５０の状態（停止状態、走行状態、旋回状態など）を判定する。姿勢判定部３４は、差分総計算出部３２で算出された差分総計に基づいて、運転者ＤＲの姿勢が適正か否かを判定する。警報出力部３５は、姿勢判定部３４で運転者ＤＲの姿勢が不適正と判定された場合に、警報を出力する。これらの各ブロック３１〜３５における処理の詳細については、後でさらに詳細に説明する。

なお、制御部３には、上述したブロック３１〜３５のほかに、運転者ＤＲが居眠り運転をしているか否かを判定する居眠り判定部や、運転者ＤＲが脇見運転をしているか否かを判定する脇見判定部などが備わっているが、それらは本発明と直接関係しないので、図示を省略してある。

記憶部４は、半導体メモリなどから構成されており、制御部３での処理に必要な各種のパラメータが記憶されている。本発明に関連するパラメータとしては、差分総計算出部３２で差分画像を２値化する場合の２値化閾値、姿勢判定部３４で運転者ＤＲの姿勢判定に用いられる基準値Ｐおよび基準時間Ｔｏ、運転者ＤＲの姿勢の癖などの学習結果から得られた個人学習データなどがある。また、記憶部４には、制御部３でのソフトウェア処理に用いられるプログラムを格納したエリアや、制御部３での演算結果や判定結果などが一時的に記憶されるエリアも設けられている（図示省略）。

通信部５は、車両５０に搭載されているＥＣＵ（Electronic Control Unit）２００との間で信号やデータの授受を行うとともに、制御部３との間でも信号やデータの授受を行う。また、通信部５は、車両５０に備わる各種のセンサからの信号を、前述した車両情報として受け取る。通信部５とＥＣＵ２００とは、ＣＡＮ（Controller Area Network）を介して接続されている。ＥＣＵ２００は、制御対象ごとに設けられた複数のＥＣＵから構成されるが、図１では、それらをまとめて１つのブロックで示している。電子キー３００は、車両５０のドアの開閉を遠隔操作するための携帯端末であって、ＥＣＵ２００との間で無線通信を行う。

電源回路６は、制御部３の制御の下で、ドライバモニタ１００の各部に電源を供給する。電源回路６には、車両５０に搭載されたバッテリ（図示省略）から電力が供給される。

図４は、車両５０に搭乗した運転者ＤＲの不適正な姿勢の例を示している。ここでは、運転者ＤＲが、シート５４をリクライニングさせて、後方へ大きく傾いた姿勢（リクライニング姿勢）をとっている。この場合、運転者ＤＲの顔が上向きとなって、車両５０の前方の視界が悪くなるため、前方車両との異常接近や他の車両の急な割り込みなどがあった場合に、すぐに危険回避のための運転に移行することができず、脇見運転と同様に前方不注意による事故のおそれがあり、安全上問題がある。

図５は、運転者ＤＲの不適正な姿勢の他の例を示している。ここでは、運転者ＤＲが、前方へ大きく傾いた姿勢（前かがみ姿勢）をとっている。この場合、運転者ＤＲの顔が下向きとなって、やはり車両５０の前方の視界が悪くなるため、前記のような異常接近や急な割り込みなどに対して、すぐに危険回避のための運転に移行することができず、脇見運転と同様に前方不注意による事故のおそれがあり、安全上問題がある。

そこで、運転者ＤＲがこのような不適正な姿勢をとっている場合は、これを検出して運転者ＤＲに警告することで、安全を確保する必要がある。この不適正な姿勢を検出する方法として、カメラ１の撮像画像に基づいて、カメラ１から運転者ＤＲの顔までの距離を測定し、この距離の長短により姿勢の適否を判定する方法が考えられる。これによると、カメラ１から運転者ＤＲの顔までの距離が長すぎる場合は、図４のように運転者ＤＲがリクライニング姿勢をとっていると判定され、カメラ１から運転者ＤＲの顔までの距離が短すぎる場合は、図５のように運転者ＤＲが前かがみ姿勢をとっていると判定される。しかしながら、この方法は、ドライバモニタ１００に測距機能が備わっていなければ、採用することができない。

本発明は、測距機能のないドライバモニタ１００であっても、運転者ＤＲの姿勢の適否を判定できるようにしたものである。以下、本発明の原理について説明する。

本発明では、まず、図６に示す基準画像Ａ（第１基準画像）と、図７に示す基準画像Ｂ（第２基準画像）とを、カメラ１により撮像する。図６の基準画像Ａは、運転者ＤＲが車両５０に搭乗していない状態で撮像した画像であり、図７の基準画像Ｂは、運転者ＤＲが車両５０に搭乗し、かつ運転者ＤＲの姿勢が適正である状態で撮像した画像である。この基準画像Ｂは、運転者ＤＲが車両５０の運転を開始した後に撮像される。

次に、差分演算部３１において、基準画像Ａと基準画像Ｂとの差分を演算して、２つの画像Ａ、Ｂの差分である図８に示すような基準差分画像Ｇを生成する。この基準差分画像Ｇでは、運転者ＤＲ以外の背景部分は差分演算によって暗くなり、運転者ＤＲの部分が明るくなっている。実際の基準差分画像Ｇは、このような単純な明暗の画像とはならないが、図８では簡単化するために、運転者ＤＲの部分だけを明るく描いてある（図１１および図１４においても同様）。この基準差分画像Ｇにおける運転者ＤＲの姿勢は、図７の基準画像Ｂにおける運転者ＤＲの姿勢と同じであって、適正な姿勢である。

差分総計算出部３２は、上記の基準差分画像Ｇを、記憶部４（図１）に記憶されている２値化閾値を用いて、図９のように２値化する。図９は、基準差分画像Ｇを構成する画素を模式的に表したもので、白色の画素は輝度が閾値未満の“０”の画素、黒色の画素は輝度が閾値以上の“１”の画素である（図１２、図１５、および図１８においても同様）。なお、画素の白色と黒色は“０”と“１”を区別するために便宜上塗り分けたものであって、実際の輝度とは関係がない。差分総計算出部３２は、図９の２値化された基準差分画像Ｇにおける“１”の画素の総数を、差分総計Ｘ（第１差分総計）として算出する。

その後、車両５０が走行を続ける間、カメラ１は常時、運転者ＤＲを撮影して、運転者ＤＲが運転をしている状態で撮像した運転時画像を生成する。運転者ＤＲの姿勢が適正であれば、撮像された運転時画像は、図７に示した基準画像Ｂと同様の画像となる。これに対して、運転者ＤＲの姿勢が不適正であれば、撮像された運転時画像は、図１０や図１３のような画像となる。

図１０は、運転者ＤＲが図４に示したリクライニング姿勢をとっている場合の、運転時画像Ｃ１を示している。この運転時画像Ｃ１においては、運転者ＤＲがカメラ１からみて後方に退いているため、運転者ＤＲは図７の基準画像Ｂに比べて小さく撮像されている。

差分演算部３１は、図６の基準画像Ａと、図１０の運転時画像Ｃ１との差分を演算して、２つの画像Ａ、Ｃ１の差分である図１１に示すような運転時差分画像Ｈ１を生成する。差分総計算出部３２は、この運転時差分画像Ｈ１を、２値化閾値を用いて図１２のように２値化する。そして、差分総計算出部３２は、２値化された運転時差分画像Ｈ１における“１”の画素の総数を、差分総計Ｙ（第２差分総計）として算出する。

姿勢判定部３４は、図９の基準差分画像Ｇについて算出された差分総計Ｘと、図１２の運転時差分画像Ｈ１について算出された差分総計Ｙと、記憶部４に記憶されている基準値Ｐ（第１基準値）とに基づいて、運転者ＤＲの姿勢が適正か否かを判定する。具体的には、姿勢判定部３４は、差分総計Ｘと差分総計Ｙとの差を｜Ｘ−Ｙ｜（絶対値）として算出し、この｜Ｘ−Ｙ｜を基準値Ｐと比較する。そして、｜Ｘ−Ｙ｜≦Ｐであれば、運転者ＤＲの姿勢が適正であると判定し、｜Ｘ−Ｙ｜＞Ｐであれば、運転者ＤＲの姿勢が不適正であると判定する。

運転者ＤＲの姿勢が適正である場合は、運転者ＤＲの顔がカメラ１から離れすぎたり、カメラ１に近づきすぎたりしないので、差分総計Ｘと差分総計Ｙとの差｜Ｘ−Ｙ｜は、基準値Ｐ以下の値となる。一方、運転者ＤＲの姿勢がリクライニング姿勢（図４）である場合は、運転者ＤＲの顔がカメラ１から離れすぎるので、運転者ＤＲの画像が小さくなった分だけ差分総計Ｙも小さくなる。このため、差分総計Ｘと差分総計Ｙとの差｜Ｘ−Ｙ｜は、基準値Ｐを超える値となる。

図１３は、運転者ＤＲが図５に示した前かがみ姿勢をとっている場合の、運転時画像Ｃ２を示している。この運転時画像Ｃ２においては、運転者ＤＲがカメラ１からみて前方に接近しているため、運転者ＤＲは図７の基準画像Ｂに比べて大きく撮像されている。

差分演算部３１は、図６の基準画像Ａと、図１３の運転時画像Ｃ２との差分を演算して、２つの画像Ａ、Ｃ２の差分である図１４に示すような運転時差分画像Ｈ２を生成する。差分総計算出部３２は、この運転時差分画像Ｈ２を、２値化閾値を用いて図１５のように２値化する。そして、差分総計算出部３２は、２値化された運転時差分画像Ｈ２における“１”の画素の総数を、差分総計Ｙ（第２差分総計）として算出する。

姿勢判定部３４は、図９の基準差分画像Ｇについて算出された差分総計Ｘと、図１５の運転時差分画像Ｈ２について算出された差分総計Ｙと、記憶部４に記憶されている基準値Ｐ（第１基準値）とに基づいて、運転者ＤＲの姿勢が適正か否かを判定する。具体的には、前記と同様、差分総計Ｘと差分総計Ｙとの差を｜Ｘ−Ｙ｜（絶対値）として算出し、｜Ｘ−Ｙ｜≦Ｐであれば、運転者ＤＲの姿勢が適正であると判定し、｜Ｘ−Ｙ｜＞Ｐであれば、運転者ＤＲの姿勢が不適正であると判定する。

運転者ＤＲの姿勢が前かがみ姿勢（図５）である場合は、運転者ＤＲの顔がカメラ１に近づきすぎるので、運転者ＤＲの画像が大きくなった分だけ差分総計Ｙも大きくなる。したがって、この場合も、差分総計Ｘと差分総計Ｙとの差｜Ｘ−Ｙ｜は、基準値Ｐを超える値となる。

姿勢判定部３４で運転者ＤＲの姿勢が不適正と判定された場合は、警報出力部３５から警報が出力される。この警報は、たとえば「運転姿勢が適正ではありません。正しい姿勢に戻って下さい。」といった音声ガイダンスとして、車両５０に備わるスピーカ（図示省略）から出力される。

このように、本発明の第１実施形態では、運転者ＤＲがいないときの基準画像Ａと、運転者ＤＲが搭乗しかつ姿勢が適正である状態での基準画像Ｂと、運転中の運転者ＤＲを撮像した運転時画像Ｃ（Ｃ１、Ｃ２）の３つの画像を撮像し、画像Ａ、Ｂの差分である基準差分画像Ｇと、画像Ａ、Ｃの差分である運転時差分画像Ｈ（Ｈ１、Ｈ２）とを生成する。そして、基準差分画像Ｇを２値化して得られる差分総計Ｘと、運転時差分画像Ｈを２値化して得られる差分総計Ｙとの差｜Ｘ−Ｙ｜が、基準値Ｐ以下であるか否かによって、運転者ＤＲの姿勢の適否を判定する。このため、ドライバモニタ１００に測距機能が備わっていなくても、簡単な演算処理によって、運転者ＤＲの姿勢がリクライニング姿勢や前かがみ姿勢であることを容易に判定することができる。

図１６は、第１実施形態のドライバモニタ１００における姿勢判定手順をさらに詳細に示したフローチャートである。

ステップＳ１では、電子キー３００（図１）を所持した運転者ＤＲが車両５０に接近するのを待つ。ＥＣＵ２００は、電子キー３００との間で通信を行い、電子キー３００から送信された応答信号を受信することに基づいて、当該電子キー３００が車両５０に接近したことを検出する。これにより、図示しないドア開閉部が車両５０のドアのロックを解除する。

また、電子キー３００の接近が検出されたことに基づき、ステップＳ２において、制御部３が電源回路６を駆動して、ドライバモニタ１００の電源をオン状態にする。これに続いてステップＳ３では、カメラ１が、運転者ＤＲのいない状態で基準画像Ａ（図６）を撮像する。

次に、ステップＳ４において、運転者ＤＲが車両５０に搭乗したか否かを判定する。この判定は、たとえば運転席のドアが開かれたことを検出するドアセンサ（図示省略）や、運転席のシート５４に運転者ＤＲが着座したことを検出する着座センサ（図示省略）などの出力に基づいて行われる。

運転者ＤＲが車両５０に搭乗して、車両５０の運転が開始されると、ステップＳ５に進んで、運転者ＤＲの姿勢が適正か否かを判定する。この判定は、たとえば、画像処理部２での画像処理により得られる運転者ＤＲの顔情報（顔の向きや視線方向など）と、通信部５を介して入力される車両５０の車両情報とに基づいて行われる。前述のように、車両情報としては車速やヨーレートなどが入力され、車両状態判定部３３は、これらに基づいて、車両５０の状態（走行状態、停止状態、旋回状態など）を判別する。

姿勢判定部３４は、運転者ＤＲの顔が横を向いているような場合は、運転者ＤＲの姿勢が適正でないと判定し、また、車両５０が旋回中である場合なども、運転者ＤＲに揺れが生じるおそれがあるので、姿勢が適正でないと判定する。一方、運転者ＤＲの顔が正面を向いていて、車両５０がまっすぐ走行しているような場合は、姿勢判定部３４は、運転者ＤＲの姿勢が適正であると判定する。

また、姿勢判定部３４は、上述した顔情報と車両情報に加えて、記憶部４に記憶されている運転者ＤＲの姿勢に関する個人学習データも参酌して、運転者ＤＲの姿勢が適正であるか否かを判定する。

ステップＳ５で運転者ＤＲの姿勢が適正でないと判定されると、適正な姿勢になるまで待つ。そして、運転者ＤＲの姿勢が適正であると判定されると、ステップＳ６に進んで、カメラ１が運転者ＤＲを含む基準画像Ｂ（図７）を撮像する。

次に、ステップＳ７において、差分演算部３１は、基準画像Ａと基準画像Ｂとの差分を演算して基準差分画像Ｇ（図８）を生成する。さらに、差分演算部３１は、ステップＳ８において、基準差分画像Ｇを２値化し（図９）、ステップＳ９において、２値化した基準差分画像Ｇの“１”の画素を総計して、差分総計Ｘを算出する。

その後、ステップＳ１０に進んで、カメラ１は、運転中の運転者ＤＲを常時撮影して、運転時画像Ｃ（図１０のＣ１、図１３のＣ２）を撮像する。

次に、ステップＳ１１において、差分演算部３１は、基準画像Ａと運転時画像Ｃとの差分を演算して運転時差分画像Ｈ（図１１のＨ１、図１４のＨ２）を生成する。さらに、差分演算部３１は、ステップＳ１２において、運転時差分画像Ｈを２値化し（図１２、図１５）、ステップＳ１３において、２値化した基準差分画像Ｈの“１”の画素を総計して、差分総計Ｙを算出する。

次に、ステップＳ１４において、姿勢判定部３４は、ステップＳ９で算出した差分総計Ｘと、ステップＳ１３で算出した差分総計Ｙとの差｜Ｘ−Ｙ｜を基準値Ｐと比較する。そして、｜Ｘ−Ｙ｜≦Ｐの場合（ステップＳ１４の判定：ＮＯ）は、運転者ＤＲの姿勢は適正であると判断して、ステップＳ１５〜Ｓ１８を実行することなく最初に戻る。以後は、ステップＳ１以降の動作が行われる。また、｜Ｘ−Ｙ｜＞Ｐの場合（ステップＳ１４の判定：ＹＥＳ）は、運転者ＤＲの姿勢は不適正であると判断して、ステップＳ１５へ進む。

ステップＳ１５では、姿勢判定部３４は、運転者ＤＲの不適正姿勢が継続する時間を、継続時間Ｔｃとして計測する。これは、運転者ＤＲの姿勢が一時的に不適正な姿勢となっても、ごく短時間で適正な姿勢に戻れば、実質的に安全上の問題はなく、このような場合に警報が乱発されるのを回避するためである。なお、継続時間Ｔｃの計測においては、車両情報も考慮される。たとえば、車両５０を後進させるためにギアがＲ（Reverse）レンジにあるときは、後方を確認する動作が頻発するため、運転者ＤＲの姿勢が崩れるが、安全上は問題がない。したがって、このような場合は、運転者ＤＲの後方確認中の時間を、不適正姿勢の継続時間Ｔｃから除外する。

姿勢判定部３４は、続くステップＳ１６において、計測した継続時間Ｔｃを記憶部４に記憶されている基準時間Ｔｏと比較する。その結果、継続時間Ｔｃ≦基準時間Ｔｏの場合（ステップＳ１６の判定：ＮＯ）は、不適正な姿勢は一時的なものと判断し、ステップＳ１５〜Ｓ１８を実行することなく、最初に戻る。以後は、ステップＳ１以降の動作が行われる。一方、継続時間Ｔｃ＞基準時間Ｔｏの場合（ステップＳ１６の判定：ＹＥＳ）は、不適正な姿勢が長時間続いていると判断して、ステップＳ１７へ進む。

ステップＳ１７において、警報出力部３５は、不適正な姿勢を運転者ＤＲへ報知して姿勢の是正を促すための警報を、前述したような音声メッセージとして出力する。

次のステップＳ１８では、車両５０のエンジンがオフ（停止）したか否かが、制御部３により判定される。この判定は、イグニッションスイッチ（図示省略）がオフされたかどうかに基づいて行われる。エンジンがオフしない間（ステップＳ１８の判定：ＮＯ）は、ステップＳ１０に戻って、カメラ１による運転者ＤＲの撮影が継続され、以後のステップＳ１１〜Ｓ１８が繰り返し実行される。そして、エンジンがオフになると（ステップＳ１８の判定：ＹＥＳ）、最初に戻って、ステップＳ１以降の動作が行われる。

次に、本発明の第２実施形態について説明する。上述した第１実施形態では、運転者ＤＲのリクライニング姿勢や前かがみ姿勢、つまりカメラ１からみて前後方向の不適正姿勢を検出したが、カメラ１からみて左右方向や上下方向、あるいは斜め方向の不適正姿勢を検出するのは困難である。たとえば、図１７に示すように、適正姿勢の運転者ＤＲが、カメラ１からみて左右方向（図では左方向）に動いて、破線で示す位置に来た場合、運転者ＤＲ’は正規の着席位置からずれた位置にいるので、左右方向に不適正な姿勢となっている。

しかるに、不適正な姿勢の運転者ＤＲ’の画像上の大きさは、適正な姿勢の運転者ＤＲの画像上の大きさと殆ど変わらないので、双方の場合の運転時差分画像における差分総計Ｙに大きな差は生じない。このため、第１実施形態のように、差分総計Ｘと差分総計Ｙとの差だけに基づいて姿勢の適否を判定すると、運転者ＤＲも運転者ＤＲ’も共に、適正な姿勢と判定されてしまうおそれがある。第２実施形態は、この問題を解決するものである。

図１８は、第２実施形態の原理を模式的に示す図である。図１８（ａ）は、図１７の運転者ＤＲに対応する基準差分画像の２値化画像を示し、図１８（ｂ）は、図１７の運転者ＤＲ’に対応する運転時差分画像の２値化画像を示している。これらの２値化画像における差分総計（黒色の画素の総数）は殆ど同じであるため、上述したように差分総計だけでは姿勢の適否を判定できない。

そこで、第２実施形態では、基準差分画像と運転時差分画像における“１”の画素領域（図１８の黒塗りの領域）の重心位置を算出する。図１８（ａ）には、基準差分画像Ｇの重心位置Ｍ（第１重心位置）が×印で示されており、図１８（ｂ）には、運転時差分画像Ｈの重心位置Ｎが×印で示されている。これらの重心位置Ｍ、Ｎは、マトリクス状に配列された各画素にＸ座標とＹ座標を割り当て、これらの座標値を用いて算出することができる。

ここで、重心位置ＭのＸ座標と重心位置ＮのＸ座標との差を｜Ｍｘ−Ｎｘ｜、重心位置ＭのＹ座標と重心位置ＮのＹ座標との差を｜Ｍｙ−Ｎｙ｜とし、これらをまとめて｜Ｍ−Ｎ｜と表記するものとする。重心位置Ｎが重心位置Ｍに対して移動した場合、重心位置の差｜Ｍ−Ｎ｜を演算することによって、重心位置Ｎの移動距離を知ることができる。

図１８では、簡単化のために、重心位置Ｎが重心位置Ｍに対して左へ水平に距離δだけ移動した例を示している。重心位置ＮのＸ座標は重心位置ＭのＸ座標から変化しているが、重心位置ＮのＹ座標は重心位置ＭのＹ座標と同じである。すなわち、｜Ｍｘ−Ｎｘ｜＝δ、｜Ｍｙ−Ｎｙ｜＝０である。この重心位置Ｎの移動距離δを、記憶部４に記憶されている基準値Ｑ（第２基準値）と比較することにより、運転者ＤＲが水平方向に動いて不適正な姿勢をとっているか否かを判定することができる。具体的には、移動距離δが基準値Ｑ以下であれば（δ≦Ｑ）、運転者ＤＲの姿勢は適正であり、移動距離δが基準値Ｑを超えていれば（δ＞Ｑ）、運転者ＤＲの姿勢は不適正と判定される。

基準差分画像Ｇの重心位置Ｍと、運転時差分画像Ｈの重心位置Ｎとを比較した場合、運転者ＤＲの姿勢が適正であるときは、重心位置Ｎの移動量が小さいので、｜Ｍ−Ｎ｜（ここでは｜Ｍｘ−Ｎｘ｜すなわちδ）は基準値Ｑ以下の値となる。一方、運転者ＤＲが左右方向に動いて不適正な姿勢をとっているときは、重心位置Ｎの移動量が大きいので、｜Ｍ−Ｎ｜（同上）は基準値Ｑを超える値となる。

運転者ＤＲが上下方向に動いた場合や、斜め方向に動いた場合も、上記と同じ原理に基づいて、重心位置の移動量｜Ｍ−Ｎ｜を基準値Ｑと比較することによって、運転者ＤＲの姿勢の適否を判定することができる。なお、左右・上下・斜めの各方向に対して個別の基準値Ｑ１、Ｑ２、Ｑ３を設定してもよい。

このように、第２実施形態では、第１実施形態における差分総数Ｘ、Ｙに加え、画像上の運転者の重心位置Ｍ、Ｎも考慮に入れて姿勢の適否を判定するようにしたので、運転者ＤＲの前後方向の不適正姿勢だけでなく、運転者ＤＲの左右・上下・斜め方向の不適正姿勢も検出することが可能となる。

図１９は、第２実施形態によるドライバモニタ１００の構成を示している。図１９では、図１と同じ部分に同じ符号を付してある。図１９において、図１と異なる点は、制御部３に重心算出部３６が設けられていること、および、記憶部４に基準値Ｑが記憶されていることである。これら以外の構成については、図１と同じであるので説明を省略する。

図２０は、第２実施形態のドライバモニタ１００における姿勢判定手順をさらに詳細に示したフローチャートである。図２０では、図１６と同じ処理を行うステップに同じ符号を付してある。

図２０のステップＳ１〜Ｓ９、Ｓ１０〜Ｓ１３、およびＳ１５〜Ｓ１８については、図１６の場合と同じ処理であるので、説明を省略する。

ステップＳ９ａでは、重心算出部３６が、２値化した基準差分画像Ｇにおける“１”の画素領域の重心位置Ｍ（図１８（ａ））を算出する。ステップＳ１３ａでは、重心算出部３６が、２値化した運転時差分画像Ｈにおける“１”の画素領域の重心位置Ｎ（図１８（ｂ））を算出する。

ステップＳ１４ａでは、姿勢判定部３４が、差分総計の差｜Ｘ−Ｙ｜を基準値Ｐと比較するとともに、重心位置の差｜Ｍ−Ｎ｜を基準値Ｑと比較する。そして、｜Ｘ−Ｙ｜≦Ｐであって、かつ｜Ｍ−Ｎ｜≦Ｑである場合（ステップＳ１４ａの判定：ＮＯ）は、姿勢判定部３４は運転者ＤＲの姿勢が適正であると判定する。この場合は、ステップＳ１５〜Ｓ１８を実行することなく、最初に戻る。一方、｜Ｘ−Ｙ｜＞Ｐである場合、または｜Ｍ−Ｎ｜＞Ｑである場合（ステップＳ１４ａの判定：ＹＥＳ）は、姿勢判定部３４は運転者ＤＲの姿勢が不適正であると判定する。この場合は、ステップＳ１５へ進んで、第１実施形態と同様にステップＳ１５〜Ｓ１８の処理が実行される。

本発明では、上述した実施形態以外にも、以下のような種々の実施形態を採用することができる。

前記の実施形態では、差分総計Ｘと差分総計Ｙとの差｜Ｘ−Ｙ｜を基準値Ｐと比較したが、差分総計Ｘと差分総計Ｙとの比Ｙ／Ｘ（またはＸ／Ｙ）を所定の基準値と比較してもよい。要するに、差分総計Ｘと差分総計Ｙとの比較結果に基づいて、運転者ＤＲの姿勢の適否を判定すればよい。

前記の実施形態では、重心位置Ｍと重心位置Ｎとの差｜Ｍ−Ｎ｜を基準値Ｑと比較したが、重心位置Ｍと重心位置Ｎとの比Ｍ／Ｎ（またはＮ／Ｍ）を所定の基準値と比較してもよい。要するに、重心位置Ｍと重心位置Ｎとの比較結果に基づいて、運転者ＤＲの姿勢の適否を判定すればよい。

前記の実施形態では、運転者ＤＲが車両５０の運転を開始した後に、カメラ１が基準画像Ｂを撮像したが、運転者ＤＲが車両５０に搭乗してから運転を開始するまでの間に、カメラ１が基準画像Ｂを撮像してもよい。

前記の実施形態では、画像処理部２を制御部３とは独立して設けた例を挙げたが、画像処理部２は制御部３に組み込んでもよい。同様に、前記の実施形態では、記憶部４を制御部３とは独立して設けた例を挙げたが、記憶部４は制御部３に組み込んでもよい。

前記の実施形態では、ドライバモニタ１００を自動四輪車に搭載した例を挙げたが、本発明は、トラックやバスなどの他の車両に搭載されるドライバモニタにも適用することができる。

１ カメラ
２ 画像処理部
３ 制御部
４ 記憶部
５ 通信部
６ 電源回路
１１ 撮像部
１２ 発光部
３１ 差分演算部
３２ 差分総計算出部
３３ 車両状態判定部
３４ 姿勢判定部
３５ 警報出力部
３６ 重心算出部
５０ 車両
１００ ドライバモニタ（運転者監視装置）
２００ ＥＣＵ
３００ 電子キー
ＤＲ 運転者

Claims (8)

1. 車両の運転者と対向するように設けられ、前記車両に搭乗した運転者を撮像するカメラと、
   前記カメラが撮像した画像に基づいて前記運転者の姿勢を判定する姿勢判定部と、
   前記姿勢判定部で前記運転者の姿勢が不適正と判定された場合に警報を出力する警報出力部と、を備えた運転者監視装置において、
   前記カメラが撮像した２つの画像の差分を演算する差分演算部と、
   前記差分演算部の演算によって得られる差分画像を所定の閾値を用いて２値化し、当該２値化された差分画像における前記閾値以上の画素の総数を差分総計として算出する差分総計算出部と、をさらに備え、
   前記カメラは、
   前記運転者が前記車両に搭乗していない状態で撮像した第１基準画像と、
   前記運転者が前記車両に搭乗し、かつ当該運転者の姿勢が適正である状態で撮像した第２基準画像と、
   前記運転者が運転をしている状態で撮像した運転時画像と、を生成し、
   前記差分演算部は、
   前記第１基準画像と前記第２基準画像との差分を演算して、当該２つの画像の差分である基準差分画像を生成し、
   前記第１基準画像と前記運転時画像との差分を演算して、当該２つの画像の差分である運転時差分画像を生成し、
   前記差分総計算出部は、
   ２値化された前記基準差分画像における前記閾値以上の画素の総数を第１差分総計Ｘとして算出し、
   ２値化された前記運転時差分画像における前記閾値以上の画素の総数を第２差分総計Ｙとして算出し、
   前記姿勢判定部は、前記第１差分総計Ｘと前記第２差分総計Ｙとの比較結果に基づいて、前記運転者の姿勢が適正か否かを判定する、ことを特徴とする運転者監視装置。
2. 請求項１に記載の運転者監視装置において、
   前記姿勢判定部は、
   前記第１差分総計Ｘと前記第２差分総計Ｙとの差を｜Ｘ−Ｙ｜、第１基準値をＰとしたとき、
   ｜Ｘ−Ｙ｜≦Ｐである場合は、前記運転者の姿勢が適正であると判定し、
   ｜Ｘ−Ｙ｜＞Ｐである場合は、前記運転者の姿勢が不適正であると判定する、ことを特徴とする運転者監視装置。
3. 請求項１に記載の運転者監視装置において、
   ２値化された前記基準差分画像における前記閾値以上の画素領域の重心位置を第１重心位置Ｍとして算出するとともに、２値化された前記運転時差分画像における前記閾値以上の画素領域の重心位置を第２重心位置Ｎとして算出する重心算出部をさらに備え、
   前記姿勢判定部は、前記第１差分総計Ｘと前記第２差分総計Ｙとの比較結果、および前記第１重心位置Ｍと前記第２重心位置Ｎとの比較結果に基づいて、前記運転者の姿勢が適正か否かを判定する、ことを特徴とする運転者監視装置。
4. 請求項３に記載の運転者監視装置において、
   前記姿勢判定部は、
   前記第１差分総計Ｘと前記第２差分総計Ｙとの差を｜Ｘ−Ｙ｜、前記第１重心位置Ｍと前記第２重心位置Ｎとの差を｜Ｍ−Ｎ｜、第１基準値をＰ、第２基準値をＱとしたとき、
   ｜Ｘ−Ｙ｜≦Ｐであり、かつ｜Ｍ−Ｎ｜≦Ｑである場合は、前記運転者の姿勢が適正であると判定し、
   ｜Ｘ−Ｙ｜＞Ｐである場合、または｜Ｍ−Ｎ｜＞Ｑである場合は、前記運転者の姿勢が不適正であると判定する、ことを特徴とする運転者監視装置。
5. 請求項１ないし請求項４のいずれかに記載の運転者監視装置において、
   前記姿勢判定部は、前記運転者の姿勢が不適正であると判定した場合に、当該不適正姿勢が継続する時間を継続時間として計測し、
   前記警報出力部は、前記継続時間が所定の基準時間を経過したときに警報を出力する、ことを特徴とする運転者監視装置。
6. 請求項１ないし請求項５のいずれかに記載の運転者監視装置において、
   前記姿勢判定部は、前記カメラが前記第２基準画像を生成するに際して、前記車両に搭乗した前記運転者の姿勢が適正であるか否かを、当該運転者の顔情報および当該車両の車両情報に基づいて判定する、ことを特徴とする運転者監視装置。
7. 請求項６に記載の運転者監視装置において、
   前記姿勢判定部は、前記顔情報および前記車両情報に加えて、前記運転者の姿勢に関する個人学習データを参酌して、前記車両に搭乗した前記運転者の姿勢が適正であるか否かを判定する、ことを特徴とする運転者監視装置。
8. 請求項１ないし請求項７のいずれかに記載の運転者監視装置において、
   前記カメラは、前記車両のドアを開閉するための電子キーを所持した前記運転者が当該車両に接近したことが確認されたときに、前記第１基準画像を撮像する、ことを特徴とする運転者監視装置。

Images