JP2008199515A - 同乗者着座姿勢検出・判定装置及び方法 - Google Patents

Abstract

【課題】同乗者の着座姿勢を自動的に監視する。
【解決手段】カメラ２５は同乗者の顔画像を撮像する。検出部２６は顔画像検出部３４、着座位置検出手段４４、装着判定手段４９、姿勢変化検出手段４６及び判定手段４５，４７を備える。顔画像検出部３４は、カメラ２５で撮像した画像データを所定時間ごとに取得し、取得した画像データに基づいて顔画像領域を抽出する。装着判定手段４９は、シートベルト装着センサ群４８から得られる信号と顔画像領域とに基づいて同乗者がシートベルトを装着しているか否かを判定する。着座位置検出手段４４及び判定手段４５は、顔画像領域と予め決めた顔画像領域許容範囲と比較して着座位置が正常か否かを判定する。姿勢変化検出手段４６及び判定手段４７は、走行中に顔画像領域が急に移動することを監視し、その移動が予め決めた移動許容範囲を超えたときに危険であると判定する。
【選択図】図３

Description

本発明は、同乗者が安全な姿勢であるか否かを判定するために、同乗者を撮像センサで撮像した画像データに基づいて同乗者の姿勢を検出する同乗者着座姿勢検出・判定装置及び方法に関するものである。

多機能車載カメラシステムとしては、車両の周囲の状況に加えて、車内の状況も監視することができるものが知られている（特許文献１）。このシステムは、車外、特に運転車の死角になるエリアを撮像する撮像装置と、車内、特に後部座席に着座する同乗者を撮像する撮像装置との２種類の撮像装置を備え、各撮像装置から得られる画像データに基づいて車外のパノラマ的な画像と車内の画像とを作成し、その画像を運転支援画像として運転席の近傍に設けたモニタに表示する。後部座席の各シートには、シートベルトを着用したことを検出する装着センサと、人が着座したことを検出する着座センサとが内蔵されている。それらセンサから得られる信号を監視し、着座しているのにシートベルトを装着していないことを検出した場合には、モニタに映る運転支援画像の所定位置に、人間の顔に類似した形のマーク画像を重ねて表示して危険である旨の報知を行うようにしている。
国際公開第ＷＯ２００３／０３４７３８号パンフレット

しかしながら、上記文献に記載の発明では、着座センサからの着座情報に基づいて着座しているシートを検出し、そのシートベルトが未装着の場合のみモニタ上に警告マークを表示するだけである。これでは、モニタを注視する必要があるので、わき見運転となるおそれがある。したがって、車内の状況を確実に監視するまでには至らない欠点がある。また、シートベルトは正しい姿勢で装着する必要があるためである。というのは、例えば、同乗者がバックレストを倒して頭を後ろに倒した姿勢になっている場合には衝突の時に体がシートベルトに潜り込み、シートベルトが役目を果たさないおそれがある。このようなケースは、深い眠りについて頭が前のめりになる姿勢や横に倒れる姿勢になっていても同様である。さらに、シートベルトを装着していても子供などは突発的に窓から顔や手を出すことがある。

そこで、本発明では、同乗者がシートベルトを正しい姿勢で装着していることを自動的に検出することで、モニタを注視するようなわき見運転を確実に防止することができるとともに、危険な姿勢を確実に検出することができる同乗者着座姿勢検出・判定装置及び方法を提供することを目的とする。

上記目的を達成するために、本発明では、撮像センサから得られる画像信号から１フレーム分の画像データを所定時間ごとに取得し、取得した画像データに基づいて顔画像領域を抽出する顔画像検出手段と；今回抽出した顔画像領域の位置又は位置と、予め決められている許容値とを比較して、今回抽出した顔画像領域の位置又は位置の変化が危険であるか否かを判定する検出・判定手段と；前記検出・判定手段が危険であると判定したときに視覚又は聴覚或いは触覚を通じて危険である旨を表示する報知手段と；を備えたものである。

ところで、車両には、シートベルト未装着検出手段を備えている。この手段の構成は、各シートベルトに設けたシートベルト装着センサと、各シートに内蔵した重量センサ又は圧力センサなどの着座センサとからの信号に基づいて着座しているシートを特定し、特定したシートのシートベルトが未装着である場合に未装着の旨の表示を行っている。しかしながら、本発明では、顔画像領域を抽出することで着座するシートを特定することができるため、着座センサを省略することができる。すなわち、各シートベルトに設けられシートベルトの装着有り又は無しの信号を送出する装着センサと；各装着センサから得られる信号と、前記顔画像領域とに基づいてシートに着座する同乗者がシートベルトを装着しているか否かを判定する装着判定手段と；を備えればよい。

モニタには、同乗者の全ての顔が映る。このとき、顔画像領域を正しく抽出しているか否かが分かるようにするのが望ましい。そこで、スルー画像のうちの顔画像領域に対応する位置に合成するための枠画像を生成するオン・スクリーン・ディスプレイ回路を備えるのが好適である。

シートから体が下方にずれ落ちる姿勢や体を横に倒す姿勢では、シートベルトの装着が意味をなさない。そこで、今回抽出した顔画像領域と、着座位置が正常と見なされる範囲に基づいて予め決められている基準の顔画像領域許容範囲とを比較し、基準の顔画像領域許容範囲に対して今回抽出した顔画像領域のずれ量を検出する着座位置検出手段と；今回抽出した顔画像領域の少なくとも一部が基準の顔画像領域許容範囲からはみ出しているか否かを判定する判定手段と；で検出・判定手段を構成するのが好適である。なお、このような検出・判定手段の動作は、走行中又は停止中若しくは両方で行っても良い。また、基準の顔画像領域許容範囲の情報としては、シートの配置、車内の広さ、開閉可能な窓の位置、サンルーフの有無などが車種ごとで異なるため、車種ごとに用意しておくのが好適である。

また、走行中に突然シートから立ち上がったり、窓から顔を出すような突発的な危険動作も検出することができるのが望ましい、そこで、今回抽出した顔画像領域と前回抽出した顔画像領域との情報を記憶する記憶手段を備え、今回抽出した顔画像領域と前回抽出した顔画像領域とを比較して顔画像領域の動き方向及び動き量を検出する姿勢変化検出手段と、前記検出した動き方向及び動き量が予め決められている移動許容範囲を越えているか否かを判定する判定手段と、で検出・判定手段を構成するのが好適である。この検出・判定手段の動作も、走行中又は停止中若しくは両方で行っても良い。また、基準の移動許容範囲の情報としても、シートの配置、車内の広さ、開閉可能な窓の位置、サンルーフの有無などが車種ごとで異なるため、車種ごとに用意しておくのが好適である。

本発明によれば、撮像センサから所定時間ごとに得られる画像データに基づいて顔画像検出手段が顔画像領域を抽出し、抽出した顔画像領域と予め決めた許容値とを比較して今回抽出した顔画像領域の位置又は位置の変化が危険であるか否かを検出・判定手段が判定し、危険であると判定したときに報知手段が視覚又は聴覚或いは触覚を通じて危険である旨を表示するため、従来技術で説明したようにモニタの注視によるわき見運転をする必要がなくなり、よって、同乗者がシートベルトを正しい姿勢で装着していることを安全かつ確実に検出することができる。

本発明を採用した車両１０は、図１に示すように、１列目シート１１に２人、２列目シート１２に３人、及び、３列目シート１３に３人が乗車することができる３列シートタイプの８人乗り箱型（ワゴン）形状の乗用車である。ルームミラー１４又はその近傍には、同乗者着座姿勢検出・判定装置１５が取り付けられている。運転席と助手席との間には、スピーカー付きのモニタ１６が組み込まれている。

同乗者着座姿勢検出・判定装置１５は、カメラと検出部とを一体的に組み込んだ形態になっており、例えば図２に示すように、後付けルームミラー２３に組み込んだ形態で提供されている。後付けルームミラー２３は、背後にフックが付いており、車両に標準で取り付けられているルームミラーに被せて取り付けるタイプである。これには、撮影レンズ（ズームレンズ）１７、照明機構１８，電源ランプ用のＬＥＤ１９、報知用のＬＥＤ２０、操作ボタン２１、及び、外部接続端子部２２などが外部に露呈して設けられている。なお、後付ルームミラーに設ける代わりに、標準で付いているルームミラーに取り付ける形態にしてもよい。

同乗者着座姿勢検出・判定装置１５は、外部接続端子部２２を通してモニタ１６に音声信号や画像信号を出力し、カメラで撮影するスルー画像や報知用音声をモニタ１６に表示する。スルー画像には、例えば２列目シート１２及び３列目シート１３に着座する同乗者の顔の画像が映る。なお、スピーカー付きのモニタ１６としては、車載用位置認識誘導装置（カーナビゲーションシステム）で利用するスピーカー付きのＬＣＤを兼用してもよい。

図３に示すようにカメラ２５は、ズームレンズ１７、絞り兼用シャッタ２８、ＣＣＤ等の撮像センサ２９、画像処理部３０、フレームメモリ３１、ＡＥ・ＡＦ回路３２、及び、画像出力部３３等で構成されている。検出部２６は、顔画像検出部３４、ＣＰＵ３５、ＲＯＭ３６、ＲＡＭ３７、操作部３８、ドライバ部３９、ＬＥＤ群４０、及び、外部接続端子部２２等で構成されている。画像処理部３０、フレームメモリ３１、画像出力部３３、ＣＰＵ３５、ＡＥ・ＡＦ回路３２、及び、顔画像検出部３４は、内部バス４１により接続されている。ＬＥＤ群は、ＬＥＤ１９，２０で構成される。操作部３８は、５つの操作ボタン２１で構成される。

撮像センサ２９は、ズームレンズ１７で結像した被写体像を撮像し、画像信号を送出する。画像処理部３０は、撮像センサ２９から出力される画像信号をデジタルの画像データに変換して出力する。フレームメモリ３１は、１画面分の画像データを記憶する。画像出力部３３には、フレームメモリ３１から読み出した画像データをコンポジット信号又はコンポーネント信号などの映像信号に変換してモニタ１６に出力する。ＡＥ・ＡＦ回路３２は、フレームメモリ３１から１画面分の画像データを所定時間ごとに取得し、取得した画像データのコントラスト情報に基づいてズームレンズのピント、絞り兼用シャッタ２８、及び、撮像センサ２９の電子シャッタを制御する。なお、ＡＥ・ＡＦ回路３２には、自動ホワイトバランス調整回路が含くまれている。

自動ホワイトバランス調整回路は、適正な色状態を再現するために、画像処理部３０から得られる画像データに基づいて撮影対象の光の状況を予め決められた晴天時、曇天時、蛍光灯、及び、赤外光などの光源種類の中から選択し、その情報を画像処理部３０にフィードバックする。

本実施形態の撮像センサ２９は、近赤外線まで感度分布を持つ。照明機構１８は、撮影範囲に赤外光を投射する複数の赤外線ＬＥＤランプで構成されている。ＡＥ・ＡＦ回路３２が所定値以下の明るさ（夜間）であると判断した場合には、ＣＰＵ３５が照明機構１８を作動して赤外光を利用した撮影を行う。この場合、撮像センサ２９から得られる画像信号は白黒の信号になる。

顔画像検出部３４は、一定時間ごとにフレームメモリ３１から画像データを読み出し、読み出した画像データに基づいて顔画像の領域を抽出する。抽出した顔画像領域の情報はＣＰＵ３５に送られる。ＣＰＵ３５には、オン・スクリーン・ディスプレイ（ＯＳＤ）回路４３が内蔵されている。ＣＰＵ３５は、顔画像領域の情報をいったんＲＡＭ３７に記憶する。その後、ＯＳＤ回路４３を作動させて、ＲＡＭ３７から読み出した顔画像領域の情報に基づいて顔画像領域に枠画像を映出する枠画像情報を生成する。この枠画像情報は、画像出力部３３に送られる。画像出力部３３は、枠画像情報を取り込むことで、画像データ（スルー画像）の上に枠画像を重ねた合成画像を作り、その合成画像を映像信号として出力する。これにより、モニタ１６には、詳しくは図４に示すように、スルー画像５０の顔画像領域ごとに枠画像５１が重ねて表示される。

顔画像領域の抽出としては、周知のパターンマッチング法を利用してもよい。しかし、この方法では、髪形や髭などの影響を受けやすく、人によって特徴を抽出できない場合が考えられる。また、肌色情報を用いる方法もあるが、照明環境の変動に弱く、一般的な環境下で動作させる場合、安定した性能を期待できない。そこで、顔画像を各画素の濃淡値の特徴ベクトルとして考え、特徴ベクトルを抽出し、その特徴ベクトルに対してマッチングによって顔か否かの識別を行なう方法が望ましい。例えば、鼻筋が目領域(目と眉の部分)に比べ相対的に明るく、目領域は頬部に比べ相対的に暗い、という明暗関係のパターンに注目し、顔の眉間を中心に６分割した長方形の枠内の画素の輝度の総和を比較して画像全体から眉間候補点を抽出し、眉間候補点から真の眉間を検出するために、候補点を切り出してテンプレートとのマッチング評価を行って顔画像領域を抽出する。この方法は、目周辺部から口の上の部分までの情報しか利用しないため髪形や髭などの影響を受けにくい。また、色情報は利用せずに濃淡情報の相対的な明暗関係を利用するので、赤外光照明による撮影でも検出が可能である。

ＣＰＵ３５は、顔画像領域の情報を利用して着座位置判定処理と姿勢判定処理とを行う。着座位置判定処理は、同乗者の着座姿勢が正しい姿勢か否かを判定するものであり、停止中に行われる。この処理は、ＣＰＵ３５に設けた着座位置検出手段４４、及び、判定手段４５で行われる。着座位置検出手段４４は、今回抽出した顔画像領域と予め決めた顔画像領域許容範囲とを比較し、その結果を判定手段４５に送る。判定手段４５は、顔画像領域の少なくとも一部が顔画像領域許容範囲からはみ出しているか否かを判定し、はみ出している場合に報知信号を生成する。ＣＰＵ３５は、報知信号を受け取ることで音声や画像表示によりモニタ１６に報知する信号を送出する。この報知用音声としては、「席についてください」等の音声が望ましい。画像での報知としては、危険と判断した顔画像領域に表示される枠画像を赤色で点滅表示するなどが好適である。この報知用のデータは予めＲＯＭ３６に記憶されている。なお、報知としては、ＬＥＤ２０も点灯又は点滅させる。このＬＥＤ２０としては赤色が望ましい。

顔画像領域許容範囲の情報は、車種ごとで異なっている。例えば８人乗りの箱型の車種では、３列目シート１３のうちの左側のシート、中央のシート、右側のシートごとに顔画像領域許容範囲が決められ、また、２列目シート１２も同様に左側のシート、中央のシート、右側のシートごとに顔画像領域許容範囲が決められている。

というのは、窓側のシートに対する顔画像領域許容範囲は、窓から顔や手を出しているおそれがあるため、基準の顔画像領域に対して窓寄りの許容範囲が中央寄りの許容範囲よりも狭くなっている。また、サンルーフから顔を出すおそれがあるため、２列目の中央シートに対する顔画像領域許容範囲は、左右シートの顔画像領域許容範囲に対して高さ方向の許容範囲が狭くなっている。この顔画像領域許容範囲の情報は、車種ごとに関連付けして予めＲＯＭ３６に記憶されている。このような着座位置判定処理を行うことで、シートベルトが正しく作動する着座姿勢であるか否かを停止中、例えば走行前に監視することができる。

例えば図５では、顔画像領域を抽出することで、３列目シート１３の左右シート、及び、２列目シート１２の左右シートとの４つのシートに着座した旨を特定し、特定した各シートに対して顔画像領域許容範囲を設定する。なお、図５では、顔画像領域５１ａ〜５１ｄを示す枠画像（太線枠）５１と顔画像領域許容範囲を示す枠（細線枠）５２ａ〜５２ｄとをスルー画像上に記載しているが、実際には顔画像領域許容範囲を示す枠５２ａ〜５２ｄは表示されず、概念的に記載しているだけである。各顔画像領域許容範囲を示す枠５２ａ〜５２ｄはシート位置に対して予め設定されており、その時点の顔画像領域５１ａ〜５１ｄに対して比較される。図５に示す実施形態の場合には、２列目の左シートと３列目右シートとに着座する同乗者の顔画像領域５１ａ，５１ｄの一部が顔画像領域許容範囲を示す枠５２ａ，５２ｄを越えているため、報知が行われる。

姿勢判定処理は、走行中の姿勢の変化を監視して危険か否かを判定する処理であり、ＣＰＵ３５に設けた姿勢変化検出手段（動きベクトル検出手段）４６、及び、判定手段４７で行われる。この処理を行うに当たって、ＣＰＵ３５は、ＲＡＭ３７を制御して、今回抽出した顔画像領域と前回抽出した顔画像領域との少なくとも２つの情報を記憶する。顔画像領域の情報は、新たに顔画像領域を抽出するごとに新たなものが記憶され、かつ、古いものから順に消去される。

姿勢変化検出手段４６は、今回抽出した顔画像領域の情報と前回抽出した顔画像領域の情報とをＲＡＭ３７から読み出し、これらをフレーム画像単位で比較して顔画像領域の動き方向、及び、動き量を演算する。判定手段４７は、姿勢変化検出手段４６で演算した動き方向及び動き量と、予め決められた移動許容範囲とを比較して危険であるか否かを判定し、危険であると判定した場合に報知信号を生成する。ＣＰＵ３５は、報知信号を得ることで画像又は音声により報知する信号をモニタ１６に送出し、かつＬＥＤ２０を点滅又は点灯する。移動許容範囲のデータは、車種ごとにＲＯＭ３６に記憶されており、また、報知用の音声データ及び画像データも予めＲＯＭ３６に記憶されている。

移動許容範囲の情報は、動き方向に対する動き量で構成されており、例えば８人乗りの箱型の車種では、３列目シート１３のうちの左側のシート、中央のシート、右側のシートごとで異なり、また、２列目シート１２も同様に左側のシート、中央のシート、右側のシートごとで異なる。例えば、３列目の右側シートに着座する同乗者は窓から顔や手を出すおそれがあるため、図６に示すように、シートに対して窓側に向けて移動する動き方向５５での許容動き量Ｂが、中央側に向けて移動する方向５６に対する許容動き量Ａよりも狭く設定してある。図６では、窓側に向けて移動する動き方向５５に対して動き量Ｂを越えて動き量Ｃに達した場合に危険であると判断され、報知が行われる。なお、この許容動き量Ｂは、動き方向５５の一方向に限らず、同図に示す角度θ１の範囲に含まれる方向の全てに設定されている。角度θ１は、シートごとに決められた基準の顔画像領域の中心に対して設定した角度である。

また、図７に示すように、サンルーフから顔を出したり通路に立ち上がったりするおそれがある上方向５８に向けて移動する許容動き量Ｅも、中央側に向けて移動する方向５６の許容動き量Ａよりも狭く設定してある。図７では、中央天井にあるサンルーフに向けて移動する動き方向５８に対して動き量Ｄ、及び、動き量Ｅ未満であれば許容量以内であるが、動き量Ｅを越えて動き量Ｆに達した場合に危険であると判断され、報知が行われる。なお、この許容動き量Ｅは、動き方向５８の一方向に限らず、同図に示す角度θ２の範囲に含まれる方向の全てに設定されている。さらに、２列目のシートに対しても同様になっている。このように各シートに対して動き方向ごとに許容する動き量を決めた移動許容範囲の情報は、予めＲＯＭ３６に車種に対応付けして記憶されている。このような姿勢判定処理を走行中に行うことで、突発的に起こりうる危険な状況を自動的に監視することができる。

なお、車種ごとで車内の広さが異なることから、後部座席のシートに着座する同乗者全員の顔が撮影範囲に収まるように車種に応じてカメラ２５の撮影画角を変える必要がある。そこで、車種ごとにズームレンズ１７の焦点距離の情報を予め決めて用意しておくのが好適である。車種の指定は、ＣＰＵ３５に接続した操作部３８で行う。これにより、ＣＰＵ３５が適宜ＲＯＭ３６から焦点距離、顔画像領域許容範囲、及び、移動許容範囲などの設定情報を読み出し、危険判定処理の前にズームレンズ１７の焦点距離を変え、また、判定処理時には車種に対応する顔画像位置許容範囲や移動許容範囲を閾値情報として設定する。車種の指定は、初期のみの設定で行うようにすれば、手間がかかることはない。

停止中の危険判定処理としては、シートベルトの装着判定処理がある。この処理は、ＣＰＵ３５に接続されている装着センサ群４８と、ＣＰＵ３５に設けた装着判定手段４９とで構成されている。装着センサ群４８は各シートに各々設けられており、各装着センサはシートベルトが装着されているか否かを検出する。装着判定手段４９は、抽出した顔画像領域の情報に基づいてその時点で着座しているシートを特定し、そのシートに対応する装着センサを監視し、着座しているシートのシートベルトが未装着の場合に危険であると判断して報知信号を生成する。ＣＰＵ３５は、報知信号を得ることで、画像又は音声によりその旨を報知する信号をモニタ１６に送出し、かつＬＥＤ２０を点灯又は点滅する。このシートベルトの装着判定処理は、停止中に行われる。

走行中か停止中かを検出する運転状況検出手段６０は、ＣＰＵ３５に設けられている。運転状況検出手段６０には、走行中か停止中かを判断するために、車速パルス、パーキングブレーキのオン／オフ信号などが入力される。

次に図８を参照しながら上記構成の作用を簡単に説明する。ＣＰＵ３５は、エンジン・キーのオンに連動してＲＯＭ３６からプログラムを読み出して立ち上げる。プログラムは、初期設定、停止中の危険判定処理、及び、走行中の危険判定処理の順で処理する。

プログラムが立ち上がると、初期設定の画面をモニタ１６に表示する。初期設定の項目には、車種の指定がある。車種の指定は、ＣＰＵ３５に接続されている操作部３８から入力する。なお、操作部３８としてモニタ１６に設けたタッチパネルとしてもよい。指定した車種の情報はＲＡＭ３７に初期値として記憶され、次回からは入力する必要がない。なお、操作部３８からの操作により車種を変更することもできる。

車種が指定されると、ＣＰＵ３５は、ＲＯＭ３６から指定車種に応じて予め決められている設定情報を読み出す。この設定情報は、ズームレンズの焦点距離、顔画像領域許容範囲、及び、移動許容範囲などである。読み出した情報は、ＲＡＭ３７に記憶される。

ＣＰＵは、初期設定完了後にカメラ２５を作動する。これにより、モニタ１６には、カメラ２５で撮影したスルー画像、すなわち、後部座席の画像が表示される。そして、設定情報を読み出し後に、カメラ２５を制御して車種に応じたズーム倍率にズームレンズ１７をセットする。これにより、カメラ２５は、車種の車内に応じた撮影画角で撮影を行い、スルー画像には、後部座席に着座する同乗者の全員の顔の画像が含まれることになる。

カメラ作動後にＣＰＵ３５はフレームメモリ３１から画像データを取得して顔画像領域を抽出するように顔画像検出部３４を制御する。顔画像検出部３４は、抽出した顔画像領域の情報をＣＰＵ３４に送る。今回抽出した顔画像領域の情報は、ＲＡＭ３７に記憶される。ここで、運転状況検出手段６０が停止中であると判断している場合、停止中の危険判定処理を行う。

停止中の危険判定処理は、シートベルトの装着判定と着座位置正常判定との処理である。シートベルトの装着判定処理は、今回抽出した顔画像領域の情報から顔画像領域の位置に対応するシートと特定し、特定したシートに対応する装着センサから得られる装着信号を監視し、後部座席に着座したシートのシートベルトが未装着の信号になっている場合に報知する。なお、モニタ１６には、顔画像領域を抽出した全ての顔画像領域に枠画像５１が表示される。

着座位置正常判定処理は、抽出した顔画像領域が顔画像領域許容範囲に収まっているか否かを判断し、収まっていない場合に報知する。顔画像領域許容範囲は、車種ごとで異なっており、また、シートごとで異なっている。顔画像領域許容範囲は、顔の位置が動いてもシートベルトが正しく作動する姿勢に基づいて決められている。

走行前の危険判定処理は、抽出した顔画像領域の全てに対して処理を行う。顔画像の領域を抽出する処理は、所定時間ごとに行われる。よって、所定時間経過後に未だ停止中であれば、再びシートベルトの装着判定処理と着座位置正常判定処理とが行われる。これにより、走行前の停止中では、シートに落ち着いて着座するまでは報知が継続されるが、落ち着くと報知がなくなることになる。

走行中か否かを検出する処理は、車速パルスが入力されていることを条件に走行中であると認識する。停止中は、車速パルスのパルスが無で、かつ、パーキングブレーキ信号がオンしていることを条件に停止中であると認識する。

走行中であると判断すると、走行中の危険判定処理が行われる。この処理は、姿勢変化検出手段４６、及び、判定手段４７により、今回抽出した顔画像領域と前回抽出した顔画像領域との情報を比較し、比較して得られる顔画像領域の動き量、及び、動き方向が予め決めた移動許容範囲を越えるか否かを判定し、越えた場合に危険であると判定し、危険であると判定した場合には、ＣＰＵ３５が画像又は音声により報知するように制御する。

全ての顔画像領域に対して走行中の危険判定処理を行った後には、走行中か否かを判断し、走行中である場合には、所定時間経過後に再び画像データを取り込んで顔画像領域を抽出して走行中の危険判定処理を行う。停止中と判断した場合には、停止中の危険判定処理が行われる。そして、エンジン・キーのオフに連動してＣＰＵ３５はプログラムを終了する。

上記実施形態では、車速パルスが無で、かつパーキングブレーキがオフしている状態、すなわち、信号待ちなどで停止する一時的な停止中のときには、危険判定処理が行われないようになっているが、その一時的な停止中にも停止中の危険判定処理を行うようにしてもよい。また、一時的な停止中を特定するために、ブレーキランプ信号を入力するように構成してもよい。

上記各実施形態では、停止中と走行中とで異なる危険判定処理を行うようにしているが、本発明ではこれに限らず、前述した危険判定処理の全てを走行中のみ行うように構成してもよい。この場合には、停止中にはそれら危険判定処理を行わないようにするのが望ましい。停止中を特定する手段としては、パーキングブレーキ信号やブレーキランプ信号の他に、ギヤのポジション信号を入力し、その信号がニュートラル（Ｎ）或いはパーキング（Ｐ）位置の場合に、停止中であると判断するようにしてもよい。

また、停止中及び走行中の危険判定処理とのうちのいずれか一方又は両方の処理を停止中又は走行中に係わらず常に行うようにしてもよい。

同乗者に子供が居る場合、顔画像領域が大人よりも下方に位置するため、大人が顔を下に垂らしている場合と比較することができない。この場合、顔画像領域許容範囲の位置を修正するように構成してもよい。顔画像領域許容範囲を子供用の範囲に修正する構成としては、操作部から顔画像領域の枠画像を選択し、子供である旨の情報を入力させることで行える。勿論、予めシートごとに子供用の顔画像領域許容範囲を決めておけばよい。

上記各実施形態では、報知手段が行う報知として画像や音声若しくはＬＥＤ表示などを用いて行うようにしているが、本発明ではこれらに限らず、視覚又は聴覚若しくは触覚を通じて報知することができる周知のものであればいずれを用いても良い。触覚を通じて行う表示には、バイブレータなどの振動がある。なお、報知は運転者に対して行うものであるので、視覚を通じた報知以外、つまり、聴覚又は触覚を通じた報知で行うのが安全上望ましい。

上記各実施形態では、カメラ２５と検出部２６と一体的に設け、これらを後付けルームミラー２３に組み込んだ形態として説明しているが、本発明ではこれに限らず、ルームミラー２３とは別に設けても良いし、カメラ２５をルームミラーの近傍に設け、検出部２６を例えば座席に下に設けるようにカメラ２５と検出部２６とを別々に設ける構成にしてもよい。また、検出部２６を車載用位置認識誘導装置に設け、カメラ２５を車載用位置認識誘導装置に接続する構成にしてもよい。

また、１個のカメラ２５から得られる画像データに基づいて顔画像領域を抽出しているが、本発明ではこれに限らす、複数のカメラから得られる画像データごとに顔画像領域を抽出し、抽出した顔画像領域に基づいて画面データごとに乗客が危険であるか否かを判定するように構成してもよい。この場合、広い乗客席でも複数のカメラで全てを撮像することができるので、電車、旅客機、高速艇、及び、ジェットコースターなどに採用するのが好適である。運転室や車掌室、監視室などに表示するモニタには、全てのカメラで撮像したスルー画像をサムネイル画像のように縮小して１画面にマトリックス状に並べて表示するのが好適である。

上記各実施形態では、モニタ１６を別に設けているが、モニタ１６も一緒に設けてもよい。また、モニタとしては、ＬＣＤに限らず、ＣＲＴでもよい。また、モニタに映像信号を出力する手段としては、有線に限らず、無線にしてもよい。

本発明の利用可能性としては、車や電車などの車両に利用するに限らず、例えば旅客機、高速艇、及び、ジェットコースターなどにも採用することができる。

本発明を採用した車両の室内を示す説明図である。 本発明を設けた後付けルームミラーを示す斜視図である。 本発明の電気的な概略を示すブロック図である。 顔画像検出手段が抽出した顔画像領域に枠画像を合成表示した状態を示す説明図である。 予め設定した顔画像領域許容範囲に対して着座位置検出手段がその時点の顔画像領域と比較して着座位置が正常か否かを判定する処理を概念的に示す説明図である。 姿勢判定手段が顔画像領域を走行中に監視し、顔画像領域が予め決めた移動許容範囲を超えて危険な位置に動いたことを検出する処理を概念的に示す説明図であり、この図では、窓側のシートに着座する同乗者の顔が窓に向けて移動するときの移動許容範囲を示している。 窓側のシートに着座する同乗者の顔が中央天井に向けて移動するときの移動許容範囲を示す説明図である。 本発明の装置の動作手順を示すフローチャート図である。

符号の説明

１５ 同乗者着座姿勢検出・判定装置
１６ 表示部
１７ カメラ
１８ 照明機構
１９，２０ ＬＥＤ
２１ 操作ボタン

Claims (8)

1. 同乗者を撮像する撮像センサから得られる画像信号をモニタに表示するための映像信号に変換し、変換した映像信号をスルー画像として出力する同乗者着座姿勢検出・判定装置において、
   前記画像信号から１フレーム分の画像データを所定時間ごとに取得し、取得した画像データに基づいて顔画像領域を抽出する顔画像検出手段と、
   今回抽出した顔画像領域の位置又は位置の変化と、予め決められている許容値とを比較し、今回抽出した顔画像領域の位置又は位置の変化が危険であるか否かを判定する検出・判定手段と、
   前記検出・判定手段が危険であると判定したときに、視覚又は聴覚或いは触覚若しくはこれらの組合せを通じて危険である旨を表示する報知手段と、
   を備えたことを特徴とする同乗者着座姿勢検出・判定装置。
2. 各シートベルトに設けられ、シートベルトの装着有り又は無しの信号を送出する装着センサと、
   前記各装着センサから得られる信号と前記顔画像領域とに基づいて、シートに着座する同乗者がシートベルトを装着しているか否か判定する装着判定手段と、を備えることを特徴とする請求項１記載の同乗者着座姿勢検出・判定装置。
3. 前記スルー画像のうちの前記顔画像領域に対応する位置に合成するための枠画像を生成するオン・スクリーン・ディスプレイ回路を備えていることを特徴とする請求項１又は２記載の同乗者着座姿勢検出・判定装置。
4. 前記検出・判定手段は、今回抽出した顔画像領域と、着座姿勢が正常と見なされる範囲に基づいて予め決められている基準の顔画像領域許容範囲とを比較し、基準の顔画像領域許容範囲に対して今回抽出した顔画像領域のずれ量を検出する着座位置検出手段と、
   今回抽出した顔画像領域の少なくとも一部が基準の顔画像領域許容範囲からはみ出しているか否かを判定する判定手段と、で構成されていることを特徴とする請求項１ないし３いずれか記載の同乗者着座姿勢検出・判定装置。
5. 今回抽出した顔画像領域と前回抽出した顔画像領域との情報を記憶する記憶手段を備え、
   前記検出・判定手段は、今回抽出した顔画像領域と前回抽出した顔画像領域とを比較して顔画像領域の動き方向及び動き量を検出する姿勢変化検出手段と、
   前記検出した顔画像領域の動き方向及び動き量が予め決められている移動許容範囲を越えているか否かを判定する判定手段と、で構成されていることを特徴とする請求項１ないし３いずれか記載の同乗者着座姿勢検出・判定装置。
6. 同乗者を撮像する撮像センサから得られる画像信号をモニタに表示するための映像信号に変換し、変換した映像信号をスルー画像として出力する同乗者着座姿勢検出・判定方法において、
   撮像センサから得られる画像信号から１フレーム分の画像データを所定時間ごとに取得し、取得した画像データに基づいて顔画像検出手段が顔画像領域を抽出する第１ステップと、
   今回抽出した顔画像領域と予め決めた許容値とを比較して今回抽出した顔画像領域の位置又は位置の変化が危険であるか否かを検出・判定手段が判定する第２ステップと、
   危険であると判定したときに報知手段が視覚又は聴覚或いは触覚若しくはこれらの組合せを通じて危険である旨を表示する第３ステップと、を含むことを特徴とする同乗者着座姿勢検出・判定方法。
7. 前記第２ステップは、今回抽出した顔画像領域と、着座姿勢が正常に見なされる範囲に基づいて予め決められている基準の顔画像領域許容範囲とを比較し、基準の顔画像領域許容範囲に対して今回抽出した顔画像領域のずれ量を着座位置検出手段が検出するステップと、
   今回抽出した顔画像領域の少なくとも一部が基準の顔画像領域許容範囲からはみ出しているか否かを判定手段が判定するステップと、を含むことを特徴とする請求項６記載の同乗者着座姿勢検出・判定方法。
8. 今回抽出した顔画像領域と前回抽出した顔画像領域との情報を記憶手段が記憶するステップを前記第１ステップと第２ステップとの間に含み、
   前記第２ステップは、今回抽出した顔画像領域と前回抽出した顔画像領域とを比較して顔画像領域の動き方向及び動き量を姿勢変化検出手段が検出するステップと、
   前記検出した動き方向及び動き量が予め決められている移動許容範囲を越えているか否かを判定手段が判定するステップと、を含むことを特徴とする請求項６記載の同乗者着座姿勢検出・判定方法。

Images