JP2010203837A - 車室内状態の認識装置 - Google Patents

Abstract

【課題】高さ調整可能なヘッドレストを備えたシートを含む車室内の状態をより適正に認識する。
【解決手段】本発明の車室内状態の認識装置は、高さ調整可能なヘッドレスト５１〜５６を備えたシート２〜６を含む車室内に赤外線を照射する赤外線照射手段１５と、この赤外線照射手段１５から赤外線が照射された車室内を撮像する撮像手段１６と、この撮像手段１６により撮像された画像に基づき所定の情報を認識する画像認識手段１８とを備えている。上記撮像手段１６による撮像対象には、上記ヘッドレスト５１〜５６を含むシート２〜６の上部と、該シート２〜６に着座した着座乗員（Ａ〜Ｄ等）とが含まれ、上記画像認識手段１８は、上記撮像手段２により撮像された上記ヘッドレスト５１〜５６の画像に基づいて、上記着座乗員に対するヘッドレスト５１〜５６の高さを判定する
【選択図】図６

Description

本発明は、高さ調整可能なヘッドレストを備えたシートを含む車室内に赤外線を照射する赤外線照射手段と、この赤外線照射手段から赤外線が照射された車室内を撮像する撮像手段と、この撮像手段により撮像された画像に基づき所定の情報を認識する画像認識手段とを備えた車室内状態の認識装置に関する。

従来から、例えばエアバッグの展開の要否等を判断するために、シートに着座している乗員の有無を検知することが行われている。よく知られている技術として、シートの座面に圧力センサまたは歪みセンサを設け、当該センサの検出値に基づいて着座乗員の有無を検知するというものがある。

しかしながら、上記のように、座面に設けられた圧力センサまたは歪センサにより着座乗員の有無を検知するようにした場合には、乗員の姿勢の乱れや走行時の揺れ等によりセンサの検出値が変動することに起因して、乗員の有無を精度よく検知できないおそれがある。また、乗員の有無は検知できても、乗員がどの程度の体格であるのかが判断できないため、エアバッグの展開制御を適正に実行できないおそれがある。例えば、乗員が体格の小さい子供であるにもかかわらずエアバッグを勢いよく展開させてしまうと、かえって乗員の安全性が損なわれることが想定される。

そこで、最近では、車室内の撮像画像に基づいて、乗員の有無だけでなくその体格等を判断することが行われている。そのための装置として、例えば下記特許文献１には、車室の天井部から運転席や助手席等のシートに向けて赤外線を照射する照射装置と、上記シートの前部上方に位置する天井部に設けられ、上記照射装置から赤外線が照射されたシート等を撮像する撮像装置と、この撮像装置により撮像された画像に基づいて、上記シートに着座した乗員の状態等を示す情報を生成する制御装置とを備えた車両内状態検知システムが開示されている。

また、下記特許文献２には、光源ポジショナにより配置された光カーテンにより物体上に投射された光ストライプの連続画像を取り込み、これから背景画像を差し引くことで得られた画像に対し所定の画像処理を施す等により３Ｄ表面モデルを生成し、この３Ｄ表面モデルを用いて車両内の乗員の検出やその体格の判断等を行う乗員検出システムが開示されている。

特開２００７−１９８９２９号公報 特表２００８−５１８１９５号公報

上記特許文献１や特許文献２に開示されたシステムによれば、シートに着座した乗員の有無だけでなく、その体格（つまり大人か子供かなど）をも判断できるため、その結果を反映してエアバッグの展開制御等を適正に実行できるという利点がある。しかしながら、上記のようなシステムを用いることで着座乗員の体格を正確に判断できたとしても、例えば乗員が着座しているシートの上部に高さ調整可能なヘッドレストが設けられている場合において、このヘッドレストの高さが適切な範囲に設定されていなければ、車両の後突時に乗員の後頭部が適正にサポートされず、乗員の安全性が十分に確保されないおそれがある。

本発明は、上記のような事情に鑑みてなされたものであり、高さ調整可能なヘッドレストを備えたシートを含む車室内の状態をより適正に認識することが可能な車室内状態の認識装置を提供することを目的とする。

上記課題を解決するためのものとして、本発明は、高さ調整可能なヘッドレストを備えたシートを含む車室内に赤外線を照射する赤外線照射手段と、この赤外線照射手段から赤外線が照射された車室内を撮像する撮像手段と、この撮像手段により撮像された画像に基づき所定の情報を認識する画像認識手段とを備えた車室内状態の認識装置であって、上記撮像手段による撮像対象に、上記ヘッドレストを含むシートの上部と、該シートに着座した着座乗員とが含まれ、上記画像認識手段は、上記撮像手段により撮像された上記ヘッドレストの画像に基づいて、上記着座乗員に対するヘッドレストの高さを判定することを特徴とするものである（請求項１）。

本発明によれば、赤外線が照射された車室内を撮像手段によって撮像する際に、高さ調整可能なヘッドレストを備えたシートの上部やその着座乗員を含めて撮像するようにしたため、その撮像画像に基づいて、着座乗員に対する上記ヘッドレストの高さを適正に判定することができる。そして、その判定結果に応じ、例えば乗員に警告を発する等の必要な措置を採るようにすれば、上記ヘッドレストの高さを適正な範囲に維持して衝突時（特に後突時）の安全性を効果的に向上させることができる。

本発明において、好ましくは、上記シートのヘッドレストを斜め前方から臨む車室内の所定部位に上記撮像手段が設けられる（請求項２）。

この構成によれば、着座乗員の頭部に邪魔されることなく上記ヘッドレストの外形を撮像できるため、このヘッドレストの高さを上記頭部の存在にかかわらず適正に判定できるという利点がある。

上記シートが車幅方向に少なくとも２つ並べて設けられる場合、これら２つのシートの各ヘッドレストを斜め前方から同時に撮像可能な車室側方の所定部位に上記撮像手段が設けられることが好ましい（請求項３）。

この構成によれば、撮像視野を極端に拡大した特殊なカメラ（例えば魚眼レンズや超広角レンズ等を備えたカメラ）を上記撮像手段として用いなくても、車幅方向に並ぶ複数のヘッドレストを同時に撮像することができ、その撮像画像として歪みの少ない適正な画像が得られるという利点がある。

この場合の好適例として、上記撮像手段は、車室側壁に沿って上下方向に延びるピラー部材もしくはその近傍に設けられる（請求項４）。

この構成によれば、ピラー部材を利用して上記撮像手段の設置場所を適正に確保できるという利点がある。

上記撮像手段によりヘッドレストが撮像されるシートに、少なくとも運転席シートおよび助手席シートが含まれる場合、上記ピラー部材としてのフロントピラーの上端部付近に上記撮像手段が設けられることが好ましい（請求項５）。

この構成によれば、フロントピラーに設置された撮像手段により運転席シートおよび助手席シートの各ヘッドレストを適正に撮像できるという利点がある。

上記運転席シートおよび助手席シートの後方側に後席シートが設けられる場合、この後席シートのヘッドレストと、上記運転席シートおよび助手席シートの各ヘッドレストとが上記撮像手段により同時に撮像可能とされることが好ましい（請求項６）。

この構成によれば、車室内の前後左右に配置された多数のシートのヘッドレストを１つの撮像手段を用いて撮像することができ、その撮像画像に基づいて各ヘッドレストの高さを効率的かつ適正に判定できるという利点がある。

この場合のより好ましい形態として、上記撮像手段による撮像対象に、上記運転席シートに着座した運転席乗員の頭部が含まれ、この運転席乗員の頭部の撮像画像に基づいて、当該乗員の運転操作に対する集中度を判定する処理が上記画像認識手段により実行される（請求項７）。

この構成によれば、上記撮像手段による撮像画像に基づきヘッドレストの高さを判定しつつ、同じ画像を用いて運転席乗員の集中度を適正に判定することができ、その判定結果に応じて必要な警告を行う等により、わき見や居眠りによる事故を未然に防止できるという利点がある。

本発明において、好ましくは、上記画像認識手段が、上記シートのヘッドレストと該シートに着座した着座乗員の頭部との高さの差を算出してその大小を判定する（請求項８）。

この構成によれば、着座乗員の頭部を適正にサポートできる位置に上記ヘッドレストの高さがセットされているか否かを容易かつ確実に判定できるとともに、その判定結果に応じて必要な警告を行う等により、衝突時の安全性をより効果的に向上させることができるという利点がある。

以上説明したように、本発明の車室内状態の認識装置によれば、高さ調整可能なヘッドレストを備えたシートを含む車室内の状態をより適正に認識することができる。

本発明の一実施形態にかかる車室内状態の認識装置が適用される車両の全体構成を示す側面図である。 上記車両の平面図である。 上記車両の車室内の平面図である。 フロントピラーの上部を中心に示す斜視図である。 図４のＶ−Ｖ線に沿った断面図である。 撮像手段により撮像された画像の一例を示す図である。 上記車室内状態の認識装置の制御系を示すブロック図である。 上記車室内状態の認識装置において行われる制御動作の内容を示すフローチャートである。 ヘッドレストの高さをどのように判定するかを説明するための図である。 運転席乗員の集中度をその頭部の画像からどのように判定するかを説明するための図であり、（ａ）は集中しているときの頭部の画像、（ｂ）はわき見しているときの頭部の画像、（ｃ）は居眠りしているときの頭部の画像をそれぞれ示している。 上記実施形態の効果を説明するための比較例を示す図である。 本発明の変形実施例を説明するための図である。 本発明の別の変形実施例を説明するための図である。

図１〜図３は、本発明の一実施形態にかかる車室内状態の認識装置が適用される車両の全体構成を示す図である。これらの図に示される車両は、いわゆるミニバンタイプの自動車であり、その車室フロア１上には合計３列のシートが配設されている。具体的には、車室フロア１の前方部に、運転席シート２および助手席シート３が配設されているとともに、その後方側には、互いに独立した左右一対の第１後席シート４，５と、車幅方向に延びる一体のシートからなる（いわゆるベンチシートタイプの）第２後席シート６とが順に配設されている。なお、上記運転席シート２および助手席シート３は、車室フロア１上に設けられたシートスライドレール１４に沿って前後方向に移動可能に支持されている。

上記運転席シートおよび助手席２，３の各シートバック４１，４２の上部には、乗員の後頭部をサポートするためのヘッドレスト５１，５２が設けられている。これら各ヘッドレスト５１，５２は、上記シートバック４１，４２に対し上下方向にスライド可能に設けられたスライド支柱Ｋ１（図１）を介してそれぞれ支持されており、このスライド支柱Ｋ１の上下動に応じて上記各ヘッドレスト５１，５２の高さを所定範囲内で調整し得るように構成されている。

上記第１後席シート４，５および第２後席シート６についても、上記運転席シート２等と同様の構造が採用されている。すなわち、上記第１後席シート４，５の各シートバック４３，４４に、それぞれヘッドレスト５３，５４がスライド支柱Ｋ２を介して支持されることにより、上記各ヘッドレスト５３，５４の高さが所定範囲内で調整可能とされている。また、第２後席シート６については、一体型のシートバック４５の左右２箇所に、それぞれヘッドレスト５５，５６がスライド支柱Ｋ３を介して支持されており、各スライド支柱Ｋ３の上下動に応じて上記２つのヘッドレスト５５，５６の高さが所定範囲内で調整可能とされている。

なお、図示の例において、上記第１・第２後席シート４〜６のヘッドレスト５３〜５６は、上記運転席シート２および助手席シート３に備わる通常のヘッドレスト５１，５２（いわゆる枕型のヘッドレスト）と異なり、側面視での形状が略逆Ｌ字状を呈したいわゆる鞍型のヘッドレストとされているが、これは、上記各後席シート４〜６のシートバック４３〜４５を前倒させてフルフラット化する際に上記ヘッドレスト５３〜５６が邪魔にならないように、これらヘッドレスト５３〜５６等を含むシートの上下寸法を抑制するための措置である。したがって、このようなことが必要なければ、上記各後席シート４〜６のヘッドレスト５３〜５６を、上記運転席シート２および助手席シート３と同様の枕型の形状に形成してもよい。

上記運転席シート２および助手席シート３の前方側には、車幅方向に延びるインストルメントパネル７が設置されており、このインストルメントパネル７における運転席寄りの位置には、操舵用のステアリングホイール８が設けられている。また、上記インストルメントパネル７の上方にはフロントガラス９が設置され、その左右両側部（つまり車室前端の側壁部）には、フロントガラス９と同じ傾斜角度で上下方向に延びる左右一対のフロントピラー１０が設置されている。さらに、このフロントピラー１０の所定距離後方側には、車室フロア１からルーフ部１３までの範囲に亘って上下方向に延びるセンターピラー１１が設置されており、このセンターピラー１１と上記フロントピラー１０との間に、フロントドア用のサイドガラス１２が位置している。

上記ルーフ部１３の前端部付近であって上記運転席・助手席シート２，３の各シートバック２ａ，３ａよりやや前方側に位置する部位には、車室内に赤外線を照射する赤外線照射手段１５が設けられている。具体的に、当実施形態における赤外線照射手段１５は、赤外線の一種として、可視光に近くかつ肉眼では見えない波長を有する近赤外線を照射するものであり、例えば複数の赤外線ＬＥＤによって構成されている。

また、上記左右一対のフロントピラー１０のうち、運転席側にあたる車両右側のフロントピラー１０には、車室内を撮像するための撮像手段１６が設けられている。この撮像手段１６は、上記赤外線照射手段１５から照射される近赤外線の波長領域に対応した感度をもつＣＣＤカメラからなり、車室内に差し込む自然光（例えば太陽光）の光量にかかわらず、上記赤外線照射手段１５による赤外線の照射領域をほぼ一定の明度で撮像し得るように構成されている。

図４は、上記撮像手段１６が設置されるフロントピラー１０（車両右側のフロントピラー１０）の上部を中心に示す斜視図であり、図５は、上記撮像手段１６の設置部の詳細を示す断面図である。このうち、特に図５に示すように、上記フロントピラー１０は、金属製パネル材からなるアウタパネル２０およびインナパネル２１と、インナパネル２１の車室内側面を覆う樹脂製パネル材からなるピラートリム２２とを有している。上記フロントピラー１０の上端部付近（ルーフ部１３に近い部分）に対応するピラートリム２２の壁部には、車室内側に突出する突出部２２ａが設けられており、この突出部２２ａに収納されるように上記撮像手段１６が配置されている。

上記ピラートリム２２は、上記インナパネル２１に係止用のクリップ３３（図５）を介して係脱自在に取り付けられており、これらピラートリム２２とインナパネル２１との間には、車両の側突時に展開するカーテンエアバッグ２３が、フロントピラー１０の下側の側辺部に沿って延びるように配設されている。そして、車両の側突時には、上記カーテンエアバッグ２３の拡張展開に応じ、上記クリップ２４による係合が解除されてピラートリム２２が図５の矢印Ｘのように変位し、これによって生じた隙間から上記カーテンエアバッグ２３が外部に展開して上記サイドガラス１２を覆うように構成されている。

上記ピラートリム２２の突出部２２ａに収納された上記撮像手段１６は、上記カーテンエアバッグ２３よりもフロントガラス９寄りの位置に配設されている。すなわち、上記カーテンエアバッグ２３が、サイドガラス１２の前辺部に一致するフロントピラー１０の下側の側辺部に沿って設けられている一方、上記突出部２２ａおよび撮像手段１６は、上記カーテンエアバッグ２３よりも上方かつ前方に位置するフロントガラス９の近傍部に設けられている。

また、上記撮像手段１６は、図３に示すように、その撮像視野Ｒの中に運転席シート２や助手席シート３等を含む車室内の複数のシートが収まるように、車両の斜め後方かつ下方を指向して配置されている。このような撮像手段１６により撮像された車室内の画像を図６に示す。なお、この図６では、車室内に着座した乗員を想像線で示している。具体的に、図示の例では、運転席シート２、助手席シート３、車両左側の第１後席シート５、および第２後席シート６にそれぞれ１人ずつ乗員が着座しており、これらの乗員を順番にＡ，Ｂ，Ｃ，Ｄで表わしている。以下において、これらの乗員を区別して指すときは、運転席シート２に着座した乗員Ａを運転席乗員、助手席シート３に着座した乗員Ｂを助手席乗員、その他の乗員Ｃ，Ｄを後席乗員と称する。また、図中の符号３０はシートベルトであり、各乗員Ａ〜Ｄは、このシートベルト３０によって各シートに拘束されている。

図６に示すように、上記撮像手段１６による撮像画像には、運転席シート２および助手席シート３を始めとした車室内の複数のシートや、各シートに着座した着座乗員等が含まれる。具体的に、図６の例では、運転席シート２、助手席シート３、第１後席シート４，５、および第２後席シート６の各ヘッドレスト５１〜５６やその下側のシートバック４１〜４５の一部（つまりヘッドレスト５１〜５６を少なくとも含む各シート２〜６の上部）と、上記各シート２〜６に着座した着座乗員（図例では乗員Ａ〜Ｄ）とを含む車室内の所定領域が、上記撮像手段１６によって撮像されるようになっている。

また、同じく図６に示すように、上記助手席シート３のシートバック４２における車幅方向内側の側面には、上記赤外線照射手段１５から照射される近赤外線を反射する材質からなる帯状の識別部材３２が設けられている。なお、詳細は後述するが、この識別部材３２は、上記助手席シート３に着座した助手席乗員Ｂに対して行われる体格判定を容易化するために設けられている。このため、識別部材３２は、上記シートバック４２の側面に沿って所定の高さ範囲にわたって設けられており、その上下方向の複数個所には、上記助手席乗員Ｂの体格を判定する際の目安となる目盛３２ａが表示されている。なお、目盛３２ａを表示するには、識別部材３２の表面に実際にラインを描く必要はなく、例えば近赤外線の反射率を相対的に低下させる表面処理等を部分的に施せば、人目に目立たないように目盛３２ａを表示することができる。

図７は、当実施形態の車室内状態の認識装置の制御系を示すブロック図である。本図における制御ユニット１７は、車両の各部を統括的に制御するための装置であり、周知のＣＰＵやＲＯＭ、ＲＡＭ、ＨＤＤ等から構成されている。この制御ユニット１７には、上記赤外線照射手段１５および撮像手段１６の他、エアバッグ装置２４、警報装置２５、イグニッションセンサ２６、シフトポジションセンサ２７、バックルセンサ２８、および衝突センサ２９が電気的に接続されている。

上記エアバッグ装置２４は、車室内の各部に設けられたエアバッグ、およびこれを展開させるためのインフレータ等を含む装置である。このエアバッグ装置２４には、上述したカーテンエアバッグ２３（図４、図５）の他、ステアリングホイール８に設けられた運転席用のエアバッグや、助手席シート３前方のインストルメントパネル７に設けられた助手席用のエアバッグ等（いずれも図示省略）が含まれる。

上記警報装置２５は、車両の運行上好ましくない状態が発生したときに、乗員に対して各種警告を行うものである。詳細は後述するが、例えば上記撮像手段１６により撮像された車室内の画像（図６）に基づいて、ヘッドレスト５１〜５６の高さが適切でないことが確認された場合に、上記警報装置２５が作動して乗員への警報が行われる。この警報装置２５は、例えばインストルメントパネル７の表示部等に警告用の画面を表示する機能の他、アラーム音等の所定の音声により乗員に警告を発する機能等を有している。

上記イグニッションセンサ２６は、走行用の駆動源（例えばエンジン）を始動するイグニッション装置のＯＮ／ＯＦＦを検出するためのセンサである。

上記シフトポジションセンサ２７は、図外のシフトレバーのポジション（Ｐレンジ、Ｄレンジ、Ｒレンジ等）を検出するためのセンサである。

上記バックルセンサ２８は、上記シートベルト３０を各シートに固定するためのバックル（図示省略）に設けられたセンサであり、上記シートベルト３０先端のタング部が上記バックルに係合しているか否かを検出することにより、上記シートベルト３０が使用されているか否かを検出するように構成されている。

上記衝突センサ２９は、自車両に衝突事故（前突、後突、または側突事故）が発生したことを検出するためのセンサであり、例えば車両に加わる加速度やその方向を検出するＧセンサ等により構成されている。

また、上記制御ユニット１７は、その機能要素として、画像認識手段１８およびエアバッグ制御手段１９を有している。

上記画像認識手段１８は、上記撮像手段１６から入力される車室内の撮像画像に基づき各種情報を認識するものである。例えば、上記画像認識手段１８は、上記車室内の撮像画像（図６）に基づいて、各シート２〜６のヘッドレスト５１〜５６の高さを判定する機能の他、運転席シート２に着座した運転席乗員Ａの運転操作に対する集中度を判定する機能や、助手席シート３に着座した助手席乗員Ｂの体格を判定する機能等を有している。

上記エアバッグ制御手段１９は、上記エアバッグ装置２４の展開制御を実行するものである。例えば、上記エアバッグ制御手段１９は、上記衝突センサ２９の検出値に基づき車両の衝突事故が検知されたときに、その衝突事故が前突か側突か等に応じて上記エアバッグ装置２４の中の予め定められたエアバッグを展開させる機能、および、上記画像認識手段１８により認識された助手席乗員Ｂの体格に応じて、助手席用のエアバッグの展開を実行もしくは禁止する機能等を有している。

図８は、上記制御ユニット１７により実行される制御動作の内容を示すフローチャートである。なお、この図８では、上記画像認識手段１８が行う画像認識に関する制御動作を中心に示している。本図に示されるフローチャートがスタートすると、まず、上記イグニッションセンサ２６、シフトポジションセンサ２７、およびバックルセンサ２８等の各検出値を読み込む制御が実行される（ステップＳ１）。

次いで、上記ステップＳ１で読み込まれたイグニッションセンサ２６の検出値に基づいて、イグニッションがＯＮであるか否かが判定され（ステップＳ２）、ここでＹＥＳと判定されてイグニッションがＯＮであることが確認されると、上記シフトポジションセンサ２７の検出値に基づいて、シフトポジションがＤレンジであるか否かが判定される（ステップＳ３）。

上記ステップＳ３でＹＥＳと判定されてＤレンジであること（つまり車両が走行中であること）が確認された場合には、上記Ｄレンジへのシフトチェンジから予め定められた所定時間Ｔ１（例えば１〜３秒程度）が経過したか否かが判定される（ステップＳ４）。そして、ここでＹＥＳと判定されて所定時間Ｔ１が経過したことが確認された後に、上記赤外線照射手段１５を作動させて車室内に近赤外線を照射する制御が実行される（ステップＳ５）。

次いで、上記のように車室内に近赤外線が照射された状態で、上記撮像手段１６により車室内を撮像する制御が実行される（ステップＳ６）。この撮像手段１６による撮像画像には、図６に示したように、運転席シート２、助手席シート３、第１後席シート４，５、および第２後席シート６の各ヘッドレスト５１〜５６やその下側のシートバック４１〜４５の一部と、上記各シート２〜６の着座乗員（図例では運転席乗員Ａ、助手席乗員Ｂ、後席乗員Ｃ，Ｄ）とが少なくとも含まれる。そして、このようにして撮像された車室内の画像は、上記画像認識手段１８に送信されて取り込まれ、必要な画像処理が施された後に保存される（ステップＳ７）。

次いで、上記ステップＳ７で取り込まれた画像（図６）に基づいて、上記各シート２〜６のヘッドレスト５１〜５６の高さを判定する制御が、上記画像認識手段１８により実行される（ステップＳ８）。図９は、これらヘッドレスト５１〜５６の高さをどのように判定するかを説明するための図である。なお、この図９では、運転席シート２のヘッドレスト５１の高さを判定する場合を例に挙げて説明を行う。ただし、他のシートにおけるヘッドレストの高さ判定を行う際もその手順は同様である。

図９に示すように、上記運転席シート２のヘッドレスト５１の高さは、その着座乗員（運転席乗員Ａ）の頭部の外形との比較によって判定する。具体的には、上記ヘッドレスト５１の側部下辺Ｆと、上記運転席乗員Ａのあご部Ｇとを画像上で特定し、両者の高さ寸法差Ｙを算出してその値が予め定められた所定範囲内（例えば±５ｃｍ以内）に収まるか否かを判定することにより、上記ヘッドレスト５１の高さが適正であるか否かを判定する。このとき、例えば図９において想像線で示すように、上記ヘッドレスト５１の側部下辺Ｆに識別マークＭを付しておけば、当該部を容易かつ確実に特定することができるため、上記高さ寸法差Ｙをより正確に算出することが可能である。

上記ヘッドレスト５１の側部下辺Ｆと乗員のあご部Ｇとの高さ寸法差Ｙは、例えば、ヘッドレスト５１の高さ寸法Ｈ２との比較により、単位をもった実際の寸法データとして算出することが可能である。すなわち、ヘッドレスト５１の全体の高さ寸法Ｈ２が何ｃｍであるかいった寸法データを制御ユニット１７内の記憶部等に予め記憶させておけば、その記憶値を基準として用いることより、上記高さ寸法差Ｙの実際の寸法データを容易に求めることができる。

そして、上記のような手順によるヘッドレストの高さ判定を、運転席シート２以外のシート（つまり助手席シート３、第１および第２の後席シート４〜６）に対しても同様に実行する。ただし、運転席シート２以外のシートについては、乗員が着座しているシートに対してのみ高さ判定を行う。例えば、図６の例では、助手席シート３、車両左側の第１後席シート５、および第２後席シート６における右側の着座部にのみ乗員が着座しているため、これらの乗員Ｂ，Ｃ，Ｄによって使用されるヘッドレスト５２，５４，５５に対してのみ高さ判定が行われる。

ところで、運転席シート２以外のシートについては、その着座乗員が子供である場合も想定される。着座乗員が子供である場合は、たとえ適正な姿勢で乗員が着座していても、そのあご部がヘッドレストの下辺部よりもかなり大きく下側に位置することになるため、上記と同様の手順による判定を行ったのでは、ヘッドレストの高さが無意味に異常と判定されてしまう。そこで、着座乗員の頭部の大きさや座高（例えば図６に示す座高Ｈ１）等から乗員が子供であると判定された場合には、上記のようなヘッドレストの高さ判定を禁止するとよい。

さらに、上記各シート２〜６のヘッドレスト５１〜５６の高さが適正な位置にセットされていたとしても、乗員が一時的に不適切な姿勢（例えば上体を大きく前傾させた前のめりの姿勢等）をとることにより、上記乗員の頭部との比較において上記ヘッドレスト５１〜５６のいずれかの高さが不適切であると判定される（つまり上記高さ寸法差Ｙが所定範囲から外れる）ことも想定される。したがって、着座乗員の姿勢が上記のような不適切な姿勢であることが車室内の撮像画像等に基づき確認された場合には、その乗員が着座しているシートについてはヘッドレストの高さ判定を禁止するとよい。これにより、乗員が適正な姿勢で着座しているときにのみヘッドレストの高さ判定が行われることになり、着座姿勢の悪化に起因してヘッドレストの高さが無意味に異常と判定されることが回避される。

再び図８に戻ってフローチャートの説明を続ける。上記のようにしてヘッドレストの高さ判定が終了すると、その結果に基づいて、高さが不適切なヘッドレストが存在するか否かを判定する制御が、上記画像認識手段１８により実行される（ステップＳ９）。すなわち、上記ステップＳ８において、図９に示した高さ寸法差Ｙが所定範囲を外れるヘッドレストが１つでも存在すれば、上記ステップＳ９ではＹＥＳと判定される。

上記ステップＳ９でＹＥＳと判定されて高さが不適切なヘッドレストが存在することが確認された場合には、上記警報装置２５を作動させて乗員に警告を発する制御が実行される（ステップＳ１０）。例えば、車両左側の第１後席シート５におけるヘッドレスト５４の高さが不適切であることが確認された場合には、この第１後席シート５のヘッドレスト５４の高さを修正する（つまり当該ヘッドレスト５４のスライド支柱Ｋ２（図１）を上下動させてその高さを調節する）作業を行うべき旨の音声案内等が上記警報装置２５から発せられるか、もしくはその旨を表すエラー画面が上記警報装置２５によって表示される。

次いで、助手席乗員Ｂの体格を判定する制御が上記画像認識手段１８により実行される（ステップＳ１１）。具体的には、上記ステップＳ７で取り込まれた撮像画像（図６）に基づいて、助手席乗員Ｂの座高Ｈ１を、上記助手席シート３のシートバック３ａに設けられた識別部材３２との比較により特定し、その大小によって助手席乗員Ｂの体格を判定する。

上記助手席乗員Ｂの体格の判定結果（ステップＳ１１）は、上記エアバッグ制御手段１９によるエアバッグ装置２４の展開制御に利用される。例えば、上記識別部材３２との比較の結果、上記助手席乗員Ｂの座高Ｈ１が所定値よりも小さく、当該乗員Ｂが小さな子供、もしくは、米国成人女性のうち統計的に最も身長の低い５％以内の人物（ＡＦ０５）に相当すると判定された場合には、たとえ車両の衝突事故が起きたとしても、助手席用のエアバッグの展開が禁止もしくは抑制される。これにより、助手席乗員Ｂがある程度の体格をもった大人である場合にのみ、助手席用のエアバッグが通常通りの速い展開速度で展開することになり、エアバッグの展開によりかえって乗員の安全性が損なわれてしまうということが回避される。

次いで、シートベルト３０がバックルに固定されていてバックルセンサ２８がＯＮになっているシートと、実際に乗員が着座しているシートとを照合する制御が実行される（ステップＳ１２）。具体的には、上記ステップＳ７で取り込まれた車室内の撮像画像に基づいて、車室内のどのシートに乗員が着座しているかを特定するとともに、これによって特定された着座シートと、上記バックルセンサ２８がＯＮのシート（つまりシートベルト３０が使用されているシート）とを照合し、両者の一致、不一致を確認する。

次いで、上記ステップＳ１２での照合結果に基づいて、上記バックセンサ２８がＯＮのシートと乗員が着座しているシートとが完全に一致するか否かを判定する制御が実行される（ステップＳ１３）。そして、ここでＮＯと判定されて１つでも不一致が確認されると、上記警報装置２５を作動させて乗員に警告を発する制御が実行される（ステップＳ１４）。例えば、乗員が着座しているにもかかわらずバックルセンサがＯＦＦになっているシート（つまり着座乗員によりシートベルト３０が使用されていないシート）が１つでも存在すれば、上記ステップＳ１０ではＮＯと判定され、次のステップＳ１１で警告が発せられることになる。

次いで、上記ステップＳ７で取り込まれた車室内の撮像画像に基づいて、使用中のシートベルト３０の状態を認識するとともに（ステップＳ１５）、その認識結果に基づいて、いずれかのシートベルト３０にねじれが存在するか否かを判定する制御が実行される（ステップＳ１６）。そして、ここでＹＥＳと判定されてシートベルト３０にねじれが存在することが確認された場合に、上記警報装置２５を作動させて乗員に警告を発する制御が実行される（ステップＳ１７）。

次いで、上記ステップＳ７で取得された画像に基づいて、上記運転席乗員Ａによる運転操作の集中度を判定する制御が、上記画像認識手段１８により実行される（ステップＳ１８）。

図１０（ａ）〜（ｃ）は、上記運転席乗員Ａの集中度をどのように判定するかを説明するための図である。これらの図において、一点鎖線で示す縦横のラインＬ１，Ｌ２は、運転席乗員Ａの頭部の形状から定まる基準線である。上記画像認識手段１８は、上記運転席乗員Ａの両目および口の位置を上記基準線Ｌ１，Ｌ２との相対的な位置関係で特定することにより、上記運転席乗員Ａの集中度を判定する。例えば、図１０（ａ）は、運転席乗員Ａが運転に集中しているとき（つまり真っ直ぐ前方を向いているとき）の目と口の位置を示している。この場合には、縦方向の基準線Ｌ１を挟んだ左右両側でかつ横方向の基準線Ｌ２よりも上方の領域に両目が配置されるとともに、縦方向の基準線Ｌ１の上に口が配置されることになる。

これに対し、図１０（ｂ）は、運転席乗員Ａがよそ見をしているときの状態を示しており、この場合には、運転席乗員Ａの両目が、上記縦方向の基準線Ｌ１に対し左右いずれかに片寄った位置に配置されることになる。また、図１０（ｃ）は、運転席乗員Ａが居眠りしたときの状態を示しており、この場合には、運転席乗員Ａの両目が、上記横方向の基準線Ｌ２よりも下方に配置されることになる。上記画像認識手段１８は、これら図１０（ｂ）や図１０（ｃ）の状態が所定時間以上継続した場合に、上記運転席乗員Ａの集中度が低い（つまりよそ見や居眠りをしている）と判定する。

再び図８のフローチャートに戻って説明を続ける。上記のようにして運転席乗員Ａの集中度が判定されると、次のステップＳ１９では、運転席乗員Ａの集中度が低いか否か、つまり、図１０（ｂ）（ｃ）に示したようなわき見や居眠りが所定時間以上継続しているか否かを判定する制御が実行される。そして、ここでＹＥＳと判定されて運転席乗員Ａの集中度が低いことが確認された場合に、上記警報装置２５を作動させて運転席乗員Ａに所定の警告を発する制御が実行される（ステップＳ２０）。

次いで、イグニッションセンサ２６の検出値に基づきイグニッションがＯＦＦであるか否かが判定され（ステップＳ２１）、ここでＹＥＳと判定されればフローを終了する。一方、ＮＯと判定されて車両が引き続き走行中であることが確認された場合には、予め定められた所定時間Ｔ２（例えば１０ｍｓｅｃ程度）が経過するのを待ってから（ステップＳ２２）、上述したステップＳ５に戻り、以下同様の処理を繰り返す。これにより、所定時間Ｔ２ごとに、車室内への近赤外線の照射や撮像等の処理が周期的に繰り返される。

以上説明したように、当実施形態の車室内状態の認識装置は、高さ調整可能なヘッドレスト５１〜５６を備えたシート２〜６（運転席シート２、助手席シート３、第１後席シート４，５、および第２後席シート６）を含む車室内に赤外線を照射する赤外線照射手段１５と、この赤外線照射手段１５から赤外線が照射された車室内を撮像する撮像手段１６と、この撮像手段１６により撮像された画像に基づき所定の情報を認識する画像認識手段１８とを備えている。そして、当実施形態では、上記ヘッドレスト５１〜５６を含む上記シート２〜６の上部と、該シート２〜６に着座した着座乗員（例えば図６の乗員Ａ〜Ｄ）とが上記撮像手段１６によって少なくとも撮像され、この撮像手段１６により撮像された上記ヘッドレスト５１〜５６の画像に基づいて、上記着座乗員に対するヘッドレスト５１〜５６の高さが上記画像認識手段１８により判定されるように構成されている。このような構成によれば、高さ調整可能なヘッドレスト５１〜５６を備えたシート２〜６を含む車室内の状態をより適正に認識できるという利点がある。

すなわち、上記実施形態では、赤外線が照射された車室内を撮像手段１６によって撮像する際に、高さ調整可能なヘッドレスト５１〜５６を備えたシート２〜６の上部や、その着座乗員（例えば図６の乗員Ａ〜Ｄ）等を含めて撮像するようにしたため、その撮像画像に基づいて、着座乗員に対する上記ヘッドレスト５１〜５６の高さを適正に判定できるとともに、その判定結果に応じて乗員に警告を発する等の必要な措置を採ることにより、上記ヘッドレスト５１〜５６の高さを適正な範囲に維持して衝突時（特に後突時）の安全性を効果的に向上させることができるという利点がある。

より具体的に、上記実施形態では、上記画像認識手段１８によるヘッドレスト５１〜５６の高さ判定として、上記ヘッドレスト５１〜５６の側部下辺Ｆと着座乗員のあご部Ｇとの高さの差Ｙを算出してその大小を判定するようにした（図９参照）。このような構成によれば、着座乗員の頭部を適正にサポートできる位置にヘッドレスト５１〜５６の高さがセットされているか否かを容易かつ確実に判定できるとともに、その判定結果に応じて必要な警告を行う等により、衝突時の安全性をより効果的に向上させることができるという利点がある。

また、上記実施形態では、車室前端の側壁に沿って上下方向に延びるフロントピラー１０に上記撮像手段１６を設け、この撮像手段１６により、車幅方向に並設された運転席シート２および助手席シート３の各ヘッドレスト５１，５２や、その後方側の第１後席シート４，５および第２後席シート６の各ヘッドレスト５３〜５６等を斜め前方から同時に撮像するようにした。このような構成によれば、撮像視野を極端に拡大した特殊なカメラ（例えば魚眼レンズや超広角レンズ等を備えたカメラ）を上記撮像手段１６として用いなくても、車幅方向に並ぶ複数のヘッドレストを同時に撮像することができ、その撮像画像として歪みの少ない適正な画像が得られるという利点がある。

例えば、図１１に示すように、車室前端に設けられたインストルメントパネル７の車幅方向中央部に撮像手段１１６を設けることも可能であるが、このようにすると、運転席シート２および助手席シート３の各ヘッドレスト５１，５２等を含む撮像対象を同時に撮像するために、上記撮像手段１１６の撮像視野Ｒを大きく拡大する必要が生じる。このため、撮像手段１１６として、魚眼レンズや超広角レンズ等を備えた特殊なカメラを用いる必要が生じるとともに、このようなカメラを用いて車室内を撮像することで、得られる画像が大きく歪んでしまうという問題がある。これに対し、上記実施形態では、車室側方のフロントピラー１０に設けられた撮像手段１６により車室内を撮像するようにしたため、上記のような特殊なカメラを用いることなく、車幅方向に並ぶ上記ヘッドレスト５１，５２等の撮像対象を、同時に、しかも大きな歪みを生じることなく適正に撮像でき、その撮像画像に基づいて上記ヘッドレスト５１，５２等の高さを適正に判定できるという利点がある。

特に、上記実施形態では、車室前方に設けられた運転席シート２および助手席シート３の各ヘッドレスト５１，５２に加えて、その後方側に設けられた第１後席シート４，５や第２後席シート６の各ヘッドレスト５３〜５６についても、上記フロントピラー１０に設けられた撮像手段１６によって同時に撮像し得るように構成されているため、車室内の前後左右に配置された多数のシートのヘッドレストを１つの撮像手段１６を用いて撮像することができ、その撮像画像に基づいて各ヘッドレストの高さを効率的かつ適正に判定できるという利点がある。

さらに、上記構成のように、フロントピラー１０に設けられた撮像手段１６によって各シート２〜６のヘッドレスト５１〜５６を斜め前方から撮像するようにした場合には、上記シート２〜６に着座した着座乗員（例えば図６の乗員Ａ〜Ｄ）の頭部に邪魔されることなく上記ヘッドレスト５１〜５６の外形を撮像できるため、このヘッドレスト５１〜５６の高さを上記頭部の存在にかかわらず適正に判定できるという利点がある。

また、上記実施形態では、図４および図５に示したように、フロントピラー１０の車室内側面を構成するピラートリム２２に突出部２２ａを設け、この突出部２２ａに上記撮像手段１６を収納するようにした。このような構成によれば、上記フロントピラー１０の内部に収納される他の部品（例えばカーテンエアバッグ２３等）の配置を阻害することなく、上記撮像手段１６の設置場所を適正に確保することができる。しかも、フロントピラー１０の上端部付近に上記突出部２２ａを設けたため、フロントガラス９を通じた前方視界が上記突出部２２ａによって大きく阻害されるのを効果的に防止できるという利点がある。

さらに、上記実施形態では、フロントピラー１０の内部（ピラートリム２２とインナパネル２１との間）に収納されるカーテンエアバッグ２３よりもフロントガラス９寄りの位置に、上記突出部２２ａおよび撮像手段１６を設けたため、車両の側突時に上記カーテンエアバッグ２３がサイドガラス１２側に展開しようとしたときに、上記カーテンエアバッグ２３の展開性が上記撮像手段１６等により阻害されるのを効果的に防止でき、上記カーテンエアバッグ２３を側突時に確実に展開させて乗員の安全性をより適正に確保できるという利点がある。

また、上記実施形態では、図１０（ａ）〜（ｃ）に示したように、上記撮像手段１６により撮像された運転席乗員Ａの頭部の形状に基づいて、運転席乗員Ａの運転操作に対する集中度（わき見や居眠りの有無）を判定するようにした。このような構成によれば、撮像手段１６による撮像画像に基づきヘッドレスト５１〜５６の高さを判定しつつ、同じ画像を用いて運転席乗員Ａの集中度を適正に判定することができ、その判定結果に応じて必要な警告を行う等により、わき見や居眠りによる事故を未然に防止できるという利点がある。

なお、上記実施形態では、運転席シート２側にあたる車両右側のフロントピラー１０に撮像手段１６を設け、この１つの撮像手段１６により、車室内の前後左右に配置された全てのシートのヘッドレスト５１〜５６を撮像するようにしたが、図６に示した画像から予想できるように、シートの位置関係等によっては、特に運転席シート２の後方側に位置するヘッドレスト、つまり、車両右側の第１後席シート４のヘッドレスト５３と、第２後席シート６の右側のヘッドレスト５５とが死角に入ってほとんど撮像できなくなるおそれがある。

このような場合の対策として、上記ヘッドレスト５３，５５の幅を、撮像手段１６が設けられる側と同じ車両右側に拡張することが考えられる。図１２には、第１後席シート４のヘッドレスト５３の幅を車両右側に拡張した例が示されている。本図に示されるヘッドレスト５３は、その幅方向の中心Ｐ１が、シートの座面中心Ｐ２に対して車両右側にオフセットしており、上記ヘッドレスト５３のうち座面中心Ｐ２よりも右側にあたる部分の幅寸法が相対的に大きく設定されている。ヘッドレスト５３をこのような形状とすれば、車両右側のフロントピラー１０に設けられた上記撮像手段１６から撮像したときに、上記ヘッドレスト５３がその前方側のシート（つまり運転席シート２）の死角になるのを効果的に防止でき、上記ヘッドレスト５３の高さを適正に判定できるという利点がある。なお、このことは、第２後席シート６の右側のヘッドレスト５５についても同様である。

ただし、上記のように、ヘッドレストを撮像し易い形状にするという対策を行ったとしても、場合によっては、上記第１後席シート４，５および第２後席シート６の各ヘッドレスト５３〜５６を適正に撮像できない場合も想定される。そこで、このような場合には、例えば図１３に示すように、上記撮像手段１６と同様の撮像手段１６’をセンターピラー１１に設ければよい。このように、センターピラー１１に撮像手段１６’を設ければ、運転席シート２や助手席シート３に邪魔されることなく上記第１・第２後席シート４〜６の各ヘッドレスト５３〜５６を撮像でき、その高さを適正に判定することができる。

また、上記実施形態では、ルーフ部１３の前端部付近に赤外線ＬＥＤ等からなる赤外線照射手段１５を設け、この赤外線照射手段１５のみを用いて車室内の全てのシートに近赤外線を照射するようにしたが、全てのシートを十分な明度で撮像するには、例えば上記赤外線照射手段１５としての赤外線ＬＥＤの数を多くすることにより、照射される近赤外線の量をある程度大きい値に設定する必要がある。一方、上記赤外線照射手段１５による近赤外線の照射量を十分に確保できない場合には、同じく図１３に示すように、上記赤外線照射手段１５と同様の赤外線照射手段１５’を、第１後席シート４，５の上方にあたるルーフ部１３の前後方向中央部付近に設け、この赤外線照射手段１５’からの近赤外線を上記第１・第２後席シート４〜６に照射するようにすればよい。

また、上記実施形態では、図１〜図３等に示したように、赤外線照射手段１５をルーフ部１３に、撮像手段１６をフロントピラー１０にそれぞれ設けることにより、これら赤外線照射手段１５と撮像手段１６とを別々に配置するようにしたが、例えば両者を同じフロントピラー１０に一体的に設けることも当然に可能である。しかしながら、このようにすると、赤外線照射手段１５および撮像手段１６の両方の設置スペースを確保するために、フロントピラー１０の突出部２２ａ（図４、図５）をより大きく突出させる必要が生じるとともに、上記両手段１５，１６を取り付けるための構造が複雑化することが懸念される。したがって、上記赤外線照射手段１５を撮像手段１６とは異なる位置に設けた上記実施形態の方が、上記のような不具合を招くことなく上記両手段１５，１６の設置場所を確保できるという点で有利である。

また、上記実施形態では、ヘッドレスト５１〜５６の側部下辺Ｆと着座乗員のあご部Ｇとの高さの差Ｙを算出してその大小を判定するようにしたが、乗員の頭部との関係でヘッドレストの高さを正確に判定できるものであればこのような手法に限られない。例えば、乗員の頭頂部とヘッドレストの上辺部との高さの差を算出してその大小を判定するようにしてもよい。

また、上記実施形態では、いわゆる３列シートを備えたミニバンタイプの車両に本発明の構成を適用した例について説明したが、本発明の構成は、前後２列のシートを備えた車両（例えばセダンタイプの車両）や、運転席シートおよび助手席シートのみを備えた２シータタイプの車両にも当然に適用可能である。

２ 運転席シート
３ 助手席シート
４，５ 第１後席シート（後席シート）
６ 第２後席シート（後席シート）
１０ フロントピラー（ピラー部材）
１５ 赤外線照射手段
１６ 撮像手段
１８ 画像認識手段
５１〜５６ ヘッドレスト
Ａ 運転席乗員（着座乗員）
Ｂ 助手席乗員（着座乗員）
Ｃ，Ｄ 後席乗員（着座乗員）
Ｙ （高さの）差

Claims (8)

1. 高さ調整可能なヘッドレストを備えたシートを含む車室内に赤外線を照射する赤外線照射手段と、この赤外線照射手段から赤外線が照射された車室内を撮像する撮像手段と、この撮像手段により撮像された画像に基づき所定の情報を認識する画像認識手段とを備えた車室内状態の認識装置であって、
   上記撮像手段による撮像対象に、上記ヘッドレストを含むシートの上部と、該シートに着座した着座乗員とが含まれ、
   上記画像認識手段は、上記撮像手段により撮像された上記ヘッドレストの画像に基づいて、上記着座乗員に対するヘッドレストの高さを判定することを特徴とする車室内状態の認識装置。
2. 請求項１記載の車室内状態の認識装置において、
   上記シートのヘッドレストを斜め前方から臨む車室内の所定部位に上記撮像手段が設けられたことを特徴とする車室内状態の認識装置。
3. 請求項２記載の車室内状態の認識装置において、
   上記シートが車幅方向に少なくとも２つ並べて設けられ、これら２つのシートの各ヘッドレストを斜め前方から同時に撮像可能な車室側方の所定部位に上記撮像手段が設けられたことを特徴とする車室内状態の認識装置。
4. 請求項３記載の車室内状態の認識装置において、
   上記撮像手段が、車室側壁に沿って上下方向に延びるピラー部材もしくはその近傍に設けられたことを特徴とする車室内状態の認識装置。
5. 請求項３または４記載の車室内状態の認識装置において、
   上記撮像手段によりヘッドレストが撮像されるシートに、少なくとも運転席シートおよび助手席シートが含まれ、上記ピラー部材としてのフロントピラーの上端部付近に上記撮像手段が設けられたことを特徴とする車室内状態の認識装置。
6. 請求項５記載の車室内状態の認識装置において、
   上記運転席シートおよび助手席シートの後方側に後席シートが設けられ、この後席シートのヘッドレストと、上記運転席シートおよび助手席シートの各ヘッドレストとが上記撮像手段により同時に撮像可能とされたことを特徴とする車室内状態の認識装置。
7. 請求項５または６記載の車室内状態の認識装置において、
   上記撮像手段による撮像対象に、上記運転席シートに着座した運転席乗員の頭部が含まれ、この運転席乗員の頭部の撮像画像に基づいて、当該乗員の運転操作に対する集中度を判定する処理が上記画像認識手段により実行されるように構成されたことを特徴とする車室内状態の認識装置。
8. 請求項１〜７のいずれか１項に記載の車室内状態の認識装置において、
   上記画像認識手段は、上記シートのヘッドレストと該シートに着座した着座乗員の頭部との高さの差を算出してその大小を判定することを特徴とする車室内状態の認識装置。

Images