JP2010203836A - 車室内状態の認識装置 - Google Patents

Abstract

【課題】シートに着座した乗員の体格をより正確に判定する。
【解決手段】本発明の車室内状態の認識装置は、車室内に赤外線を照射する赤外線照射手段１５と、この赤外線照射手段１５から赤外線が照射された車室内を撮像する撮像手段１６と、この撮像手段１６により撮像された画像に基づき所定の情報を認識する画像認識手段１８とを備える。上記撮像手段１６による撮像対象には、車体に対して移動可能なシート（３）と、該シートに着座した着座乗員（Ｂ）とが含まれ、上記画像認識手段１８は、上記シート（３）とその着座乗員（Ｂ）との外形を画像上で比較することにより、上記着座乗員（Ｂ）の体格を判定する
【選択図】図６

Description

本発明は、車室内に赤外線を照射する赤外線照射手段と、この赤外線照射手段から赤外線が照射された車室内を撮像する撮像手段と、この撮像手段により撮像された画像に基づき所定の情報を認識する画像認識手段とを備えた車室内状態の認識装置に関する。

従来から、例えばエアバッグの展開の要否等を判断するために、シートに着座している乗員の有無を検知することが行われている。よく知られている技術として、シートの座面に圧力センサまたは歪みセンサを設け、当該センサの検出値に基づいて着座乗員の有無を検知するというものがある。

しかしながら、上記のように、座面に設けられた圧力センサまたは歪センサにより着座乗員の有無を検知するようにした場合には、乗員の姿勢の乱れや走行時の揺れ等によりセンサの検出値が変動することに起因して、乗員の有無を精度よく検知できないおそれがある。また、乗員の有無は検知できても、乗員がどの程度の体格であるのかが判断できないため、エアバッグの展開制御を適正に実行できないおそれがある。例えば、乗員が体格の小さい子供であるにもかかわらずエアバッグを勢いよく展開させてしまうと、かえって乗員の安全性が損なわれることが想定される。

そこで、最近では、車室内の撮像画像に基づいて、乗員の有無だけでなくその体格等を判断することが行われている。そのための装置として、例えば下記特許文献１には、車室の天井部から運転席や助手席等のシートに向けて赤外線を照射する照射装置と、上記シートの前部上方に位置する天井部に設けられ、上記照射装置から赤外線が照射されたシート等を撮像する撮像装置と、この撮像装置により撮像された画像に基づいて、上記シートに着座した乗員の状態等を示す情報を生成する制御装置とを備えた車両内状態検知システムが開示されている。

また、下記特許文献２には、光源ポジショナにより配置された光カーテンにより物体上に投射された光ストライプの連続画像を取り込み、これから背景画像を差し引くことで得られた画像に対し所定の画像処理を施す等により３Ｄ表面モデルを生成し、この３Ｄ表面モデルを用いて車両内の乗員の検出やその体格の判断等を行う乗員検出システムが開示されている。

特開２００７−１９８９２９号公報 特表２００８−５１８１９５号公報

上記特許文献１や特許文献２に開示されたシステムによれば、シートに着座した乗員の有無だけでなく、その体格（つまり大人か子供かなど）をも判断できるため、その結果を反映してエアバッグの展開制御等を適正に実行できるという利点がある。しかしながら、上記シートが車体に対して移動可能に設置されている場合には、そのシートの位置に応じて撮像装置と被写体との間の距離が変化する等により、同じ乗員でも異なるサイズに写ってしまうことがあり、このような点を考慮しないと、乗員の体格を正確に判定することができなくなる。

本発明は、上記のような事情に鑑みてなされたものであり、シートに着座した乗員の体格をより正確に判定することが可能な車室内状態の認識装置を提供することを目的とする。

上記課題を解決するためのものとして、本発明は、車室内に赤外線を照射する赤外線照射手段と、この赤外線照射手段から赤外線が照射された車室内を撮像する撮像手段と、この撮像手段により撮像された画像に基づき所定の情報を認識する画像認識手段とを備えた車室内状態の認識装置であって、上記撮像手段による撮像対象に、車体に対して移動可能なシートと、該シートに着座した着座乗員とが含まれ、上記画像認識手段は、上記シートとその着座乗員との外形を画像上で比較することにより、上記着座乗員の体格を判定することを特徴とするものである（請求項１）。

本発明によれば、車室内のシートとの外形比較に基づいて着座乗員の体格を判定するようにしたため、上記シートが車体に対し移動したとしても、上記着座乗員の体格を正確に判定することができる。そして、その判定結果を、例えば衝突時のエアバッグの展開制御に利用するようにすれば、上記着座乗員の体格に応じた適正なエアバッグの展開制御を実施でき、衝突時の安全性をより適正に確保できるという利点がある。

上記シートが車幅方向に少なくとも２つ並べて設けられている場合、これらのシートを同時に撮像可能な車室側方の所定部位に上記撮像手段が設けられることが好ましい（請求項２）。

この構成によれば、撮像視野を極端に拡大した特殊なカメラ（例えば魚眼レンズや超広角レンズ等を備えたカメラ）を上記撮像手段として用いなくても、車幅方向に並ぶ複数のシートを同時に撮像することができ、その撮像画像として歪みの少ない適正な画像が得られるという利点がある。

この場合の好適例として、上記撮像手段は、車室側壁に沿って上下方向に延びるピラー部材もしくはその近傍に設けられる（請求項３）。

この構成によれば、ピラー部材を利用して上記撮像手段の設置場所を適正に確保できるという利点がある。

上記撮像手段により撮像されるシートが運転席シートおよび助手席シートである場合、上記ピラー部材としてのフロントピラーの上端部付近に上記撮像手段が設けられることが好ましい（請求項４）。

この構成によれば、フロントピラーに設置された撮像手段により運転席シートおよび助手席シートを適正に撮像できるという利点がある。

この場合、より好ましくは、上記フロントピラーの車室内側面を構成するピラートリムの上端部付近に突出部が設けられ、この突出部に収納されるように上記撮像手段が配置される（請求項５）。

この構成によれば、フロントピラーの内部に収納される他の部品（例えばカーテンエアバッグ等）の配置を阻害することなく、上記撮像手段の設置場所を適正に確保することができる。しかも、フロントピラーの上端部付近に上記突出部を設けたため、フロントガラスを通じた前方視界が上記突出部によって大きく阻害されるのを効果的に防止できるという利点がある。

さらに好ましい形態として、上記画像認識手段は、上記助手席シートと該シートに着座した助手席乗員との外形を画像上で比較することにより、上記助手席乗員の体格を判定するとともに、上記運転席シートに着座した運転席乗員の頭部の形状に基づいて、上記運転席乗員による運転操作の集中度を判定する（請求項６）。

この構成によれば、上記撮像手段による撮像画像に基づき助手席乗員の体格を判定しつつ、同じ画像を用いて運転席乗員の集中度を適正に判定することができ、その判定結果を用いて必要な警告を行う等により、わき見や居眠りによる事故を未然に防止できるという利点がある。

上記撮像手段により撮像されるシートが運転席シートおよび助手席シートである場合、このうち運転席側の車室側方に上記撮像手段が設けられるとともに、上記助手席シートのシートバックにおける車幅方向内側の側面に、乗員の体格と比較可能な識別部材が設けられることが好ましい（請求項７）。

この構成によれば、例えば助手席乗員がかなり大柄であるために助手席シートの前方からの視認性が大きく悪化するような状況でも、その車幅方向内側の側面に設けられた識別部材を、運転席側の側方から撮像する上記撮像手段により良好に認識できるため、上記助手席乗員の体格を状況によらず正確に判定できるという利点がある。

以上説明したように、本発明の車室内状態の認識装置によれば、シートに着座した乗員の体格をより正確に判定できるという利点がある。

本発明の一実施形態にかかる車室内状態の認識装置が適用される車両の全体構成を示す側面図である。 上記車両の平面図である。 上記車両の車室内の平面図である。 フロントピラーの上部を中心に示す斜視図である。 図４のＶ−Ｖ線に沿った断面図である。 撮像手段により撮像された画像の一例を示す図である。 上記車室内状態の認識装置の制御系を示すブロック図である。 上記車室内状態の認識装置において行われる制御動作の内容を示すフローチャートである。 運転席乗員の集中度をその頭部の画像から判定する手順を説明するための図であり、（ａ）は集中しているときの頭部の画像、（ｂ）はわき見しているときの頭部の画像、（ｃ）は居眠りしているときの頭部の画像をそれぞれ示している。 上記実施形態の効果を説明するための比較例を示す図である。 本発明の変形実施例を説明するための図である。

図１〜図３は、本発明の一実施形態にかかる車室内状態の認識装置が適用される車両の全体構成を示す図である。これらの図に示される車両は、いわゆるミニバンタイプの自動車であり、その車室フロア１上には合計３列のシートが配設されている。具体的には、車室フロア１の前方部に、運転席シート２および助手席シート３が配設されているとともに、その後方側には、互いに独立した左右一対の第１後席シート４，５と、車幅方向に延びる一体のシートからなる（いわゆるベンチシートタイプの）第２後席シート６とが順に配設されている。上記運転席シート２および助手席シート３は、車室フロア１上に設けられたシートスライドレール１４に沿って前後方向に移動可能に支持されている。

上記運転席シート２および助手席シート３の前方側には、車幅方向に延びるインストルメントパネル７が設置されており、このインストルメントパネル７における運転席寄りの位置には、操舵用のステアリングホイール８が設けられている。また、上記インストルメントパネル７の上方にはフロントガラス９が設置され、その左右両側部（つまり車室前端の側壁部）には、フロントガラス９と同じ傾斜角度で上下方向に延びる左右一対のフロントピラー１０が設置されている。さらに、このフロントピラー１０の所定距離後方側には、車室フロア１からルーフ部１３までの範囲に亘って上下方向に延びるセンターピラー１１が設置されており、このセンターピラー１１と上記フロントピラー１０との間に、フロントドア用のサイドガラス１２が位置している。

上記ルーフ部１３の前端部付近であって上記運転席・助手席シート２，３の各シートバック２ａ，３ａよりやや前方側に位置する部位には、車室内に赤外線を照射する赤外線照射手段１５が設けられている。具体的に、当実施形態における赤外線照射手段１５は、赤外線の一種として、可視光に近くかつ肉眼では見えない波長を有する近赤外線を照射するものであり、例えば複数の赤外線ＬＥＤによって構成されている。

また、上記左右一対のフロントピラー１０のうち、運転席側にあたる車両右側のフロントピラー１０には、車室内を撮像するための撮像手段１６が設けられている。この撮像手段１６は、上記赤外線照射手段１５から照射される近赤外線の波長領域に対応した感度をもつＣＣＤカメラからなり、車室内に差し込む自然光（例えば太陽光）の光量にかかわらず、上記赤外線照射手段１５による赤外線の照射領域をほぼ一定の明度で撮像し得るように構成されている。

図４は、上記撮像手段１６が設置されるフロントピラー１０（車両右側のフロントピラー１０）の上部を中心に示す斜視図であり、図５は、上記撮像手段１６の設置部の詳細を示す断面図である。このうち、特に図５に示すように、上記フロントピラー１０は、金属製パネル材からなるアウタパネル２０およびインナパネル２１と、インナパネル２１の車室内側面を覆う樹脂製パネル材からなるピラートリム２２とを有している。上記フロントピラー１０の上端部付近（ルーフ部１３に近い部分）に対応するピラートリム２２の壁部には、車室内側に突出する突出部２２ａが設けられており、この突出部２２ａに収納されるように上記撮像手段１６が配置されている。

上記ピラートリム２２は、上記インナパネル２１に係止用のクリップ３３（図５）を介して係脱自在に取り付けられており、これらピラートリム２２とインナパネル２１との間には、車両の側突時に展開するカーテンエアバッグ２３が、フロントピラー１０の下側の側辺部に沿って延びるように配設されている。そして、車両の側突時には、上記カーテンエアバッグ２３の拡張展開に応じ、上記クリップ２４による係合が解除されてピラートリム２２が図５の矢印Ｘのように変位し、これによって生じた隙間から上記カーテンエアバッグ２３が外部に展開して上記サイドガラス１２を覆うように構成されている。

上記ピラートリム２２の突出部２２ａに収納された上記撮像手段１６は、上記カーテンエアバッグ２３よりもフロントガラス９寄りの位置に配設されている。すなわち、上記カーテンエアバッグ２３が、サイドガラス１２の前辺部に一致するフロントピラー１０の下側の側辺部に沿って設けられている一方、上記突出部２２ａおよび撮像手段１６は、上記カーテンエアバッグ２３よりも上方かつ前方に位置するフロントガラス９の近傍部に設けられている。

また、上記撮像手段１６は、図３に示すように、その撮像視野Ｒの中に少なくとも運転席シート２および助手席シート３を含む車室内の複数のシートが収まるように、車両の斜め後方かつ下方を指向して配置されている。このような撮像手段１６により撮像された車室内の画像を図６に示す。なお、この図６では、車室内に着座した乗員を想像線で示している。具体的に、図示の例では、運転席シート２、助手席シート３、車両左側の第１後席シート５、および第２後席シート６にそれぞれ１人ずつ乗員が着座しており、これらの乗員を順番にＡ，Ｂ，Ｃ，Ｄで表わしている。以下では、運転席シート２に着座した乗員Ａを運転席乗員、助手席シート３に着座した乗員Ｂを助手席乗員、その他の乗員Ｃ，Ｄを後席乗員と称する。また、図中の符号３０はシートベルトであり、各乗員Ａ〜Ｄは、このシートベルト３０によって各シートに拘束されている。

図６に示すように、上記撮像手段１６による撮像画像には、運転席シート２および助手席シート３の他、その後方側の第１後席シート４，５や、さらに後方側の第２後席シート６が含まれる。このように、運転席シート２および助手席シート３だけでなく、後席シート４，５，６をも撮像するには、例えば上記赤外線照射手段１５としての赤外線ＬＥＤの数を増やす等により近赤外線の照射量を多くすればよい。これに対し、近赤外線の照射量が相対的に少ない場合には、上記後席シート４，５，６の全部または一部が写らなくなるが、当実施形態では、少なくとも運転席シート２および助手席シート３（およびその着座乗員Ａ，Ｂ）が一定の明度以上で写るように近赤外線の照射量を設定すればよく、その値は適宜設定可能である。

また、同じく図６に示すように、上記助手席シート３のシートバック３ａにおける車幅方向内側の側面には、上記赤外線照射手段１５から照射される近赤外線を反射する材質からなる帯状の識別部材３２が設けられている。なお、詳細は後述するが、この識別部材３２は、上記助手席シート３に着座した助手席乗員Ｂに対して行われる体格判定を容易化するために設けられている。このため、識別部材３２は、上記シートバック３ａの側面に沿って所定の高さ範囲にわたって設けられており、その上下方向の複数個所には、上記助手席乗員Ｂの体格を判定する際の目安となる目盛３２ａが表示されている。なお、目盛３２ａを表示するには、識別部材３２の表面に実際にラインを描く必要はなく、例えば近赤外線の反射率を相対的に低下させる表面処理等を部分的に施せば、人目に目立たないように目盛３２ａを表示することができる。

図７は、当実施形態の車室内状態の認識装置の制御系を示すブロック図である。本図における制御ユニット１７は、車両の各部を統括的に制御するための装置であり、周知のＣＰＵやＲＯＭ、ＲＡＭ、ＨＤＤ等から構成されている。この制御ユニット１７には、上記赤外線照射手段１５および撮像手段１６の他、エアバッグ装置２４、警報装置２５、イグニッションセンサ２６、シフトポジションセンサ２７、バックルセンサ２８、および衝突センサ２９が電気的に接続されている。

上記エアバッグ装置２４は、車室内の各部に設けられたエアバッグ、およびこれを展開させるためのインフレータ等を含む装置である。このエアバッグ装置２４には、上述したカーテンエアバッグ２３（図４、図５）の他、ステアリングホイール８に設けられた運転席用のエアバッグや、助手席シート３前方のインストルメントパネル７に設けられた助手席用のエアバッグ等（いずれも図示省略）が含まれる。

上記警報装置２５は、車両の運行上好ましくない状態が発生したときに、乗員に対して各種警報を行うものである。例えば、後述する画像認識手段１８により運転席乗員Ａがわき見や居眠りをしていることが確認されると、上記警報装置２５が作動して乗員への警報が行われる。この警報装置２５は、例えばインストルメントパネル７の表示部等に警告用の画面を表示する機能の他、アラーム音等の所定の音声により乗員に警告を発する機能等を有している。

上記イグニッションセンサ２６は、走行用の駆動源（例えばエンジン）を始動するイグニッション装置のＯＮ／ＯＦＦを検出するためのセンサである。

上記シフトポジションセンサ２７は、図外のシフトレバーのポジション（Ｐレンジ、Ｄレンジ、Ｒレンジ等）を検出するためのセンサである。

上記バックルセンサ２８は、上記シートベルト３０を各シートに固定するためのバックル（図示省略）に設けられたセンサであり、上記シートベルト３０先端のタング部が上記バックルに係合しているか否かを検出することにより、上記シートベルト３０が使用されているか否かを検出するように構成されている。

上記衝突センサ２９は、自車両に衝突事故（前突事故または側突事故）が発生したことを検出するためのセンサであり、例えば車両に加わる加速度やその方向を検出するＧセンサ等により構成されている。

また、上記制御ユニット１７は、その機能要素として、画像認識手段１８およびエアバッグ制御手段１９を有している。

上記画像認識手段１８は、上記撮像手段１６から入力される車室内の撮像画像に基づいて各種情報を認識するものである。例えば、上記画像認識手段１８は、上記車室内の撮像画像に基づいて、運転席乗員Ａによる運転操作の集中度を判定する機能、および、助手席乗員Ｂの体格を判定する機能等を有している。

上記エアバッグ制御手段１９は、上記エアバッグ装置２４の展開制御を実行するものである。例えば、上記エアバッグ制御手段１９は、上記衝突センサ２９の検出値に基づき車両の衝突事故が検知されたときに、その衝突事故が前突か側突か等に応じて上記エアバッグ装置２４の中の予め定められたエアバッグを展開させる機能、および、上記画像認識手段１８により認識された助手席乗員Ｂの体格に応じて、助手席用のエアバッグの展開を実行もしくは禁止する機能等を有している。

図８は、上記制御ユニット１７により実行される制御動作の内容を示すフローチャートである。なお、この図８では、上記画像認識手段１８が行う画像認識に関する制御動作を中心に示している。本図に示されるフローチャートがスタートすると、まず、上記イグニッションセンサ２６、シフトポジションセンサ２７、およびバックルセンサ２８等の各検出値を読み込む制御が実行される（ステップＳ１）。

次いで、上記ステップＳ１で読み込まれたイグニッションセンサ２６の検出値に基づいて、イグニッションがＯＮであるか否かが判定され（ステップＳ２）、ここでＹＥＳと判定されてイグニッションがＯＮであることが確認されると、上記シフトポジションセンサ２７の検出値に基づいて、シフトポジションがＤレンジであるか否かが判定される（ステップＳ３）。

上記ステップＳ３でＹＥＳと判定されてＤレンジであること（つまり車両が走行中であること）が確認された場合には、上記Ｄレンジへのシフトチェンジから予め定められた所定時間Ｔ１（例えば１〜３秒程度）が経過したか否かが判定される（ステップＳ４）。そして、ここでＹＥＳと判定されて所定時間Ｔ１が経過したことが確認された後に、上記赤外線照射手段１５を作動させて車室内に近赤外線を照射する制御が実行される（ステップＳ５）。

次いで、上記のように車室内に近赤外線が照射された状態で、上記撮像手段１６により車室内を撮像する制御が実行される（ステップＳ６）。この撮像手段１６による撮像画像には、図６に示したように、運転席シート２およびその着座乗員としての運転席乗員Ａと、助手席シート３およびその着座乗員としての助手席乗員Ｂとが少なくとも含まれる。そして、これら各シート２，３等の撮像画像は、上記画像認識手段１８に送信されて取り込まれ、所定の画像処理が施された後に保存される（ステップＳ７）。

次いで、助手席乗員Ｂの体格を判定する制御が上記画像認識手段１８により実行される（ステップＳ８）。具体的には、上記ステップＳ７で取り込まれた撮像画像（図６）に基づいて、助手席乗員Ｂの座高Ｈを、上記助手席シート３のシートバック３ａに設けられた識別部材３２との比較により特定し、その大小によって助手席乗員Ｂの体格を判定する。

上記助手席乗員Ｂの体格の判定結果（ステップＳ８）は、上記エアバッグ制御手段１９によるエアバッグ装置２４の展開制御に利用される。例えば、上記識別部材３２との比較の結果、上記助手席乗員Ｂの座高Ｈが所定値よりも小さく、当該乗員Ｂが小さな子供、もしくは、米国成人女性のうち統計的に最も身長の低い５％以内の人物（ＡＦ０５）に相当すると判定された場合には、たとえ車両の衝突事故が起きたとしても、助手席用のエアバッグの展開が禁止もしくは抑制される。これにより、助手席乗員Ｂがある程度の体格をもった大人である場合にのみ、助手席用のエアバッグが通常通りの速い展開速度で展開することになり、エアバッグの展開によりかえって乗員の安全性が損なわれてしまうということが回避される。

次いで、シートベルト３０がバックルに固定されていてバックルセンサ２８がＯＮになっているシートと、実際に乗員が着座しているシートとを照合する制御が実行される（ステップＳ９）。具体的には、上記ステップＳ７で取り込まれた画像に基づいて、車室内のどのシートに乗員が着座しているかを特定するとともに、これによって特定された着座シートと、上記バックルセンサ２８がＯＮのシート（つまりシートベルト３０が使用されているシート）とを照合し、両者の一致、不一致を確認する。

次いで、上記ステップＳ９での照合結果に基づいて、上記バックセンサ２８がＯＮのシートと乗員が着座しているシートとが完全に一致するか否かを判定する制御が実行される（ステップＳ１０）。そして、ここでＮＯと判定されて１つでも不一致が確認されると、上記警報装置２５を作動させて乗員に警告を発する制御が実行される（ステップＳ１１）。例えば、乗員が着座しているにもかかわらずバックルセンサがＯＦＦになっているシート（つまり着座乗員によりシートベルト３０が使用されていないシート）が１つでも存在すれば、上記ステップＳ１０ではＮＯと判定され、次のステップＳ１１で警告が発せられることになる。

次いで、上記ステップＳ７で取り込まれた車室内の画像に基づいて、使用中のシートベルト３０の状態を認識するとともに（ステップＳ１２）、その認識結果に基づいて、いずれかのシートベルト３０にねじれが存在するか否かを判定する制御が実行される（ステップＳ１３）。そして、ここでＹＥＳと判定されてシートベルト３０にねじれが存在することが確認された場合に、上記警報装置２５を作動させて乗員に警告を発する制御が実行される（ステップＳ１４）。

次いで、上記ステップＳ７で取得された画像に基づいて、上記運転席乗員Ａによる運転操作の集中度を判定する制御が、上記画像認識手段１８により実行される（ステップＳ１５）。

図９（ａ）〜（ｃ）は、上記運転席乗員Ａの集中度をどのように判定するかを説明するための図である。これらの図において、一点鎖線で示す縦横のラインＬ１，Ｌ２は、運転席乗員Ａの頭部の形状から定まる基準線である。上記画像認識手段１８は、上記運転席乗員Ａの両目および口の位置を上記基準線Ｌ１，Ｌ２との相対的な位置関係で特定することにより、上記運転席乗員Ａの集中度を判定する。例えば、図９（ａ）は、運転席乗員Ａが運転に集中しているとき（つまり真っ直ぐ前方を向いているとき）の目と口の位置を示している。この場合には、縦方向の基準線Ｌ１を挟んだ左右両側でかつ横方向の基準線Ｌ２よりも上方の領域に両目が配置されるとともに、縦方向の基準線Ｌ１の上に口が配置されることになる。

これに対し、図９（ｂ）は、運転席乗員Ａがよそ見をしているときの状態を示しており、この場合には、運転席乗員Ａの両目が、上記縦方向の基準線Ｌ１に対し左右いずれかに片寄った位置に配置されることになる。また、図９（ｃ）は、運転席乗員Ａが居眠りしたときの状態を示しており、この場合には、運転席乗員Ａの両目が、上記横方向の基準線Ｌ２よりも下方に配置されることになる。上記画像認識手段１８は、これら図９（ｂ）や図９（ｃ）の状態が所定時間以上継続した場合に、上記運転席乗員Ａの集中度が低い（つまりよそ見や居眠りをしている）と判定する。

再び図８のフローチャートに戻って説明を続ける。上記のようにして運転席乗員Ａの集中度が判定されると、次のステップＳ１６では、運転席乗員Ａの集中度が低いか否か、つまり、図９（ｂ）（ｃ）に示したようなわき見や居眠りが所定時間以上継続しているか否かを判定する制御が実行される。そして、ここでＹＥＳと判定されて運転席乗員Ａの集中度が低いことが確認された場合に、上記警報装置２５を作動させて運転席乗員Ａに警告を発する制御が実行される（ステップＳ１７）。

次いで、イグニッションセンサ２６の検出値に基づきイグニッションがＯＦＦであるか否かが判定され（ステップＳ１８）、ここでＹＥＳと判定されればフローを終了する。一方、ＮＯと判定されて車両が引き続き走行中であることが確認された場合には、予め定められた所定時間Ｔ２（例えば１０ｍｓｅｃ程度）が経過するのを待ってから（ステップＳ１９）、上述したステップＳ５に戻り、以下同様の処理を繰り返す。これにより、所定時間Ｔ２ごとに、車室内への近赤外線の照射や撮像等の処理が周期的に繰り返される。

以上説明したように、当実施形態の車室内状態の認識装置は、車室内に近赤外線を照射する赤外線照射手段１５と、この赤外線照射手段１５から近赤外線が照射された車室内を撮像する撮像手段１６と、この撮像手段１６により撮像された画像に基づき所定の情報を認識する画像認識手段１８とを備えている。そして、当実施形態では、車体に対して移動可能な運転席シート２および助手席シート３等を含む車室内の所定領域が上記撮像手段１６により撮像されるとともに、その撮像画像を取り込んだ上記画像認識手段１８により、上記助手席シート３の識別部材３２と同シートに着座した助手席乗員Ｂとが画像上で比較され、その結果に基づいて上記助手席乗員Ｂの体格が判定されるようになっている。このような構成によれば、助手席乗員Ｂの体格をより正確に判定できるという利点がある。

すなわち、上記実施形態では、運転席シート２および助手席シート３が、車室フロア１上のシートスライドレール１４に沿って前後方向に移動可能に支持されているため、その前後移動に伴い上記両シート２，３と撮像手段１６との間の距離が変化することにより、上記両シート２，３に着座した乗員（運転席乗員Ａおよび助手席乗員Ｂ）の画像上でのサイズが変化することがある。このため、助手席乗員Ｂの外形を単純に画像認識するだけでは、上記助手席シート３の前後移動により助手席乗員Ｂの画像上でのサイズが変化することに起因して、上記助手席乗員Ｂの体格を正確に判定できないおそれがある。これに対し、上記実施形態では、上記助手席シート３に設けられた識別部材３２との比較に基づいて上記助手席乗員Ｂの体格を判定するようにしたため、上記助手席シート３が車体に対し移動したとしても、上記助手席乗員Ｂの体格を正確に判定することができる。そして、その判定結果を、例えば衝突時のエアバッグの展開制御に利用するようにすれば、助手席乗員Ｂの体格に応じた適正なエアバッグの展開制御を実施でき、衝突時の安全性をより適正に確保することができる。

また、上記実施形態では、図９（ａ）〜（ｃ）に示したように、上記撮像手段１６により撮像された運転席乗員Ａの頭部の形状に基づいて、運転席乗員Ａによる運転操作の集中度（わき見や居眠りの有無）を判定するようにした。このような構成によれば、撮像手段１６による撮像画像に基づき上記助手席乗員Ｂの体格を判定しつつ、同じ画像を用いて運転席乗員Ａの集中度を適正に判定することができ、その判定結果を用いて必要な警告を行う等により、わき見や居眠りによる事故を未然に防止できるという利点がある。

また、上記実施形態では、図１〜図３等に示したように、車室前端の側壁に沿って上下方向に延びるフロントピラー１０に上記撮像手段１６を設け、車幅方向に並設された運転席シート２および助手席シート３等からなる撮像対象を上記撮像手段１６により車室側方から同時に撮像するようにした。このような構成によれば、撮像視野を極端に拡大した特殊なカメラ（例えば魚眼レンズや超広角レンズ等を備えたカメラ）を上記撮像手段１６として用いなくても、車幅方向に並ぶ複数のシートを同時に撮像することができ、その撮像画像として歪みの少ない適正な画像が得られるという利点がある。

例えば、図１０に示すように、車室前端に設けられたインストルメントパネル７の車幅方向中央部に撮像手段１１６を設けることも可能であるが、このようにすると、運転席シート２および助手席シート３を含む撮像対象を同時に撮像するために、上記撮像手段１１６の撮像視野Ｒを大きく拡大する必要が生じる。このため、撮像手段１１６として、魚眼レンズや超広角レンズ等を備えた特殊なカメラを用いる必要が生じるとともに、このようなカメラを用いて車室内を撮像することで、得られる画像が大きく歪んでしまうという問題がある。これに対し、上記実施形態では、車室側方のフロントピラー１０に設けられた撮像手段１６により車室内を撮像するようにしたため、上記のような特殊なカメラを用いることなく、上記運転席シート２や助手席シート３等の撮像対象を、同時に、しかも大きな歪みを生じることなく適正に撮像でき、その撮像画像に基づいて上記助手席乗員Ｂの体格や運転席乗員Ａの集中度をより正確に判定できるという利点がある。

特に、上記実施形態では、図４および図５に示したように、フロントピラー１０の車室内側面を構成するピラートリム２２に突出部２２ａを設け、この突出部２２ａに上記撮像手段１６を収納するようにしたため、上記フロントピラー１０の内部に収納される他の部品（例えばカーテンエアバッグ２３等）の配置を阻害することなく、上記撮像手段１６の設置場所を適正に確保することができる。しかも、フロントピラー１０の上端部付近に上記突出部２２ａを設けたため、フロントガラス９を通じた前方視界が上記突出部２２ａによって大きく阻害されるのを効果的に防止できるという利点がある。

さらに、上記実施形態では、フロントピラー１０の内部（ピラートリム２２とインナパネル２１との間）に収納されるカーテンエアバッグ２３よりもフロントガラス９寄りの位置に、上記突出部２２ａおよび撮像手段１６を設けたため、車両の側突時に上記カーテンエアバッグ２３がサイドガラス１２側に展開しようとしたときに、上記カーテンエアバッグ２３の展開性が上記撮像手段１６等により阻害されるのを効果的に防止でき、上記カーテンエアバッグ２３を側突時に確実に展開させて乗員の安全性をより適正に確保できるという利点がある。

また、上記実施形態では、左右一対のフロントピラー１０のうち、運転席側（図例では車両右側）のフロントピラー１０に上記撮像手段１６を設けるとともに、助手席シート３のシートバック３ａにおける車幅方向内側の側面に上記識別部材３２を設け、この識別部材３２との比較によって上記助手席乗員Ｂの体格を判定するようにした。このような構成によれば、例えば助手席乗員Ｂがかなり大柄であるために助手席シート３の前方からの視認性が大きく悪化するような状況でも、その車幅方向内側の側面に設けられた上記識別部材３２を、運転席側の側方から撮像する上記撮像手段１６により良好に認識できるため、上記助手席乗員Ｂの体格を状況によらず正確に判定できるという利点がある。

また、上記シートバッグ３ａの車幅方向外側の側面部には、車両の側突時に展開するサイドエアバッグが設けられることがあるが、このような場合においても、上記シートバック３ａの車幅方内側の側面に識別部材３２を設けた上記構成によれば、上記サイドエアバッグの展開性に影響を及ぼすことなく適正に上記識別部材３２を配置できるという利点がある。

なお、上記実施形態では、フロントピラー１０に設けられた撮像手段１６により運転席シート２および助手席シート３等を撮像し、得られた画像に基づいて、運転席乗員Ａの集中度や助手席乗員Ｂの体格等を判定するようにしたが、例えば後席乗員（図６に示した乗員Ｃや乗員Ｄ）の前方で展開するエアバッグが存在する場合には、このエアバッグの展開の有無等を乗員の体格に応じて判断するために、上記後席乗員Ｃ，Ｄ等の体格を上記助手席乗員Ｂと同様の手順で判定するようにしてもよい。

ただし、上記実施形態のように、フロントピラー１０に設置された撮像手段１６によって車室内を撮像した場合には、その撮像範囲内に上記後席乗員Ｃ，Ｄ等が十分に写らないことが考えられる。そこで、このような場合には、図１１に示すように、上記撮像手段１６と同様の撮像手段１６’をセンターピラー１１に設ければよい。このように、センターピラー１１に撮像手段１６’を設ければ、運転席シート２や助手席シート３に邪魔されることなく上記後席乗員Ｃ，Ｄ等を撮像でき、これらの乗員の体格をより正確に判定することができる。なお、上記後席乗員Ｃ，Ｄ等を適正な明度で撮像するために、上記赤外線照射手段１５と同様の赤外線照射手段１５’を、第１後席シート４，５の上方にあたるルーフ部１３の前後方向中央部付近に設けてもよい。

また、上記実施形態では、図１〜図３等に示したように、赤外線照射手段１５をルーフ部１３に、撮像手段１６をフロントピラー１０にそれぞれ設けることにより、これら赤外線照射手段１５と撮像手段１６とを別々に配置するようにしたが、例えば両者を同じフロントピラー１０に一体的に設けることも当然に可能である。しかしながら、このようにすると、赤外線照射手段１５および撮像手段１６の両方の設置スペースを確保するために、フロントピラー１０の突出部２２ａ（図４、図５）をより大きく突出させる必要が生じるとともに、上記両手段１５，１６を取り付けるための構造が複雑化することが懸念される。したがって、上記赤外線照射手段１５を撮像手段１６とは異なる位置に設けた上記実施形態の方が、上記のような不具合を招くことなく上記両手段１５，１６の設置場所を確保できるという点で有利である。

また、上記実施形態では、助手席乗員Ｂの体格と比較可能な識別部材３２を助手席シート３のシートバック３ａに設け、この識別部材３２と上記助手席乗員Ｂとを画像上で比較することにより、上記助手席乗員Ｂの体格を判定するようにしたが、助手席乗員Ｂの体格を正確に判定するための手法はこれに限られない。例えば、助手席シート３のシートバック３ａの高さをあらかじめ画像認識手段１８に記憶させておき、この記憶されたシートバック３ａの高さとの比較に基づいて、上記助手席乗員Ｂの体格を判定するようにしてもよい。いずれにせよ、助手席シート３と助手席乗員Ｂとの外形を画像上で比較し、このような相対的な外形比較に基づいて助手席乗員Ｂの体格を判定するようにすれば、助手席シート３の位置にかかわらず助手席乗員Ｂの体格を正確に判定することができる。

また、上記実施形態では、運転席シート２および助手席シート３がシートスライドレール１４に沿って前後方向に移動可能に支持されている場合を例に挙げて説明したが、上記両シート２，３には、この他、座面を上下方向に変位させるチルト機構や、シートを車幅方向に移動させる横スライド機構が設けられていてもよい。いずれの方向にシートが移動可能であっても、シートとその着座乗員との外形比較により乗員の体格を判定する本発明の構成によれば、シートの位置にかかわらず乗員の体格を正確に判定することができる。

２ 運転席シート
３ 助手席シート
３ａ （助手席シートの）シートバック
１０ フロントピラー（ピラー部材）
１５ 赤外線照射手段
１６ 撮像手段
１８ 画像認識手段
２２ ピラートリム
２２ａ 突出部
３２ 識別部材
Ａ 運転席乗員
Ｂ 助手席乗員

Claims (7)

1. 車室内に赤外線を照射する赤外線照射手段と、この赤外線照射手段から赤外線が照射された車室内を撮像する撮像手段と、この撮像手段により撮像された画像に基づき所定の情報を認識する画像認識手段とを備えた車室内状態の認識装置であって、
   上記撮像手段による撮像対象に、車体に対して移動可能なシートと、該シートに着座した着座乗員とが含まれ、
   上記画像認識手段は、上記シートとその着座乗員との外形を画像上で比較することにより、上記着座乗員の体格を判定することを特徴とする車室内状態の認識装置。
2. 請求項１記載の車室内状態の認識装置において、
   上記シートが車幅方向に少なくとも２つ並べて設けられ、これらのシートを同時に撮像可能な車室側方の所定部位に上記撮像手段が設けられたことを特徴とする車室内状態の認識装置。
3. 請求項２記載の車室内状態の認識装置において、
   上記撮像手段が、車室側壁に沿って上下方向に延びるピラー部材もしくはその近傍に設けられたことを特徴とする車室内状態の認識装置。
4. 請求項３記載の車室内状態の認識装置において、
   上記撮像手段により撮像されるシートが運転席シートおよび助手席シートであり、上記ピラー部材としてのフロントピラーの上端部付近に上記撮像手段が設けられたことを特徴とする車室内状態の認識装置。
5. 請求項４記載の車室内状態の認識装置において、
   上記フロントピラーの車室内側面を構成するピラートリムの上端部付近に突出部が設けられ、この突出部に収納されるように上記撮像手段が配置されたことを特徴とする車室内状態の認識装置。
6. 請求項４または５記載の車室内状態の認識装置において、
   上記画像認識手段は、上記助手席シートと該シートに着座した助手席乗員との外形を画像上で比較することにより、上記助手席乗員の体格を判定するとともに、上記運転席シートに着座した運転席乗員の頭部の形状に基づいて、上記運転席乗員による運転操作の集中度を判定することを特徴とする車室内状態の認識装置。
7. 請求項２記載の車室内状態の認識装置において、
   上記撮像手段により撮像されるシートが運転席シートおよび助手席シートであり、このうち運転席側の車室側方に上記撮像手段が設けられるとともに、上記助手席シートのシートバックにおける車幅方向内側の側面に、乗員の体格と比較可能な識別部材が設けられたことを特徴とする車室内状態の認識装置。

Images