JP2010195139A - 乗員拘束制御装置および乗員拘束制御方法 - Google Patents

Abstract

【課題】後ろ向きチャイルドシートの場合に乗員拘束装置の作動を抑制し、３歳児以上の乗員、前向きチャイルドシートないしＣＲＳを使用する乗員に対してエアバッグを展開する乗員拘束制御装置および乗員拘束制御方法を提供する。
【解決手段】カメラ２は、車両の座席の前方から、その座席の方向の画像を撮影する。顔特徴検出部１２はカメラ２で撮影した画像から顔の特徴を検出する。乗員判定部１３は、顔特徴検出部１２における顔の特徴の検出の有無に基づいて、エアバッグ作動装置５およびシートベルト作動装置８が、その座席の乗員を拘束するエアバッグおよびシートベルトプリテンショナを作動させる度合いを変更する。それに加えて、またはそれに代えて、警報制御装置３０に対して、乗員に作用する警報装置３０の作動の度合いを変更してもよい。
【選択図】図５

Description

本発明は、車両の乗員を座席に拘束するための乗員拘束制御装置および乗員拘束制御方法に関する。より詳しくは、乗員が着座しているか後ろ向きチャイルドシートなどの物体があるかを識別して、乗員拘束装置の作動を変更する乗員拘束制御装置および乗員拘束制御方法に関する。

車両には、衝突した場合に、乗員を座席に拘束するシートベルトやエアバッグなどが備えられることが多い。エアバッグなどの乗員拘束性能を最大限に提供するために、後ろ向きチャイルドシートに着座した３歳未満の幼児では乗員拘束装置の作動を停止し、前向きチャイルドシートに着座した３歳〜６歳児ではエアバッグをソフトに展開させるエアバッグ制御が求められている。

例えば、特許文献１ないし特許文献５には、後ろ向きチャイルドシート（以下、ＲＦＩＳ（Rear Facing Infant Seat）という）を検出して乗員拘束装置の作動を制御することが記載されている。特許文献１の助手席用乗員検知システムは、複数の距離センサＳ１、Ｓ２を用いて、エアバッグ収容部から助手席までの空間に存在する物体との距離Ｄ１、Ｄ２をそれぞれ検出し、各距離センサＳ１、Ｓ２からの信号に基づきエアバッグ装置の作動の要否を判定する。

特許文献２の搭乗者拘束装置の作動を防止する装置は、重量センサと、距離センサと、シートベルト繰り出しセンサとを備えている。対象物の重量が所定の値以下であり、シート上の対象物までの距離が所定の値以下であり、シートベルトの繰り出しが所定の値以上であることを感知することにより、搭乗者用シート上に後向きの小児用シートが存在することをセンサが感知したとき、コントローラは、エアバッグの作動を防止する。

特許文献３の在席検出装置は、自動車の座席の一部分に固定された少なくとも一つの荷重検出手段と、車室内に設置され受光部が座席前面に相対した少なくとも一つの赤外線検出手段と、前記荷重検出手段から出力される荷重信号と前記赤外線検出手段から出力される赤外線信号とに基づき前記座席が在席か不在かを判定する判定手段とから構成される。

特許文献４の使用状況判定装置は、助手席およびその周囲の所定の複数点に対し、スポット光を照射し、カメラでこれをとらえて、スポット光の照射位置に基づき距離測定を行う（距離算出部）。一方、カメラによりとらえた画像情報から、座席の輪郭やチャイルドシートの輪郭の形状など座席の使用状況ごとの特徴を検出する（輪郭抽出部）。この使用状況ごとの特徴と距離測定された距離情報に基づき、座席使用状況の判定を行う（使用状況判定部）。この判定に基づきエアバッグ装置などの乗員拘束装置の作動制御を行う（作動制御部）。

特許文献５の座席の使用状況判定装置は、座席の少なくとも一部を含む範囲を撮影して得られた画像情報とひな型格納部に格納されている各々のひな型画像との照合を行い、入力画像の画素値に基づいて判定しきい値を変更して座席の使用状況を判定する。そして状況判定部の判定に基づき、所定条件下において車両内部構造体への衝突から乗員を拘束するエアバッグ等に対して作動を制御する信号を出力する。

また、特許文献６には、エアバッグ展開制御のために、人を検出、識別、追跡することが記載されている。特許文献６の車両占有者エアバッグ展開システムは、車両の乗客シートに向かって赤外線を放出する赤外線放出器、シートにある対象からの反射放射を受信する赤外線検出器を使用する。顔面識別ソフトウエアを含む処理回路が、人の顔の特徴を検出し、必要な人の検出および追跡を提供するために使用される。システムは人のいない時および、人がエアバッグに非常に近い場合に発射を防ぎ、人がソフト発射範囲にいる時にソフト発射をする。

その他、特許文献７には、補助光投光装置によって助手席シートを含む車室内所定領域へ補助光としての近赤外線が投光された状態で、撮影装置によって少なくとも可視光の一部がカットされた画像を撮影することが記載されている。このような構成によって、太陽光やヘッドライト、街灯等の光に含まれる可視光の影響が排除されて明るさの安定した画像を得ることができる。そして、このように明るさの安定した画像に画像処理を施すことによって、高い精度で車両座席における乗員状態を検知することができる。

また、特許文献８には、エッジ画像によって顔領域を抽出する技術が記載されている。特許文献８の技術は、原画像からエッジ画像を生成し、抽出されたエッジに挟まれる領域を候補領域として抽出する。次に、抽出された候補領域と所定の条件に合致する隣接する画素とを統合し、候補領域を統合して更新し、記憶部に記憶する。次に、更新された候補領域の特徴量を算出し、候補領域の中から顔領域である蓋然性の高い、注目する候補領域を抽出する。そして、注目する候補領域に対して、一定時間における画面上での移動量および前後関係を判定し、顔領域を抽出する。

特開平０７−１９６００６号公報 特開平０８−５８５２２号公報 特開平０９−３０９３７４号公報 特開平１１−７８６５７号公報 特開２０００−３９４８０号公報 特開２００２−３７０１５号公報 特開２００４−１４４５１２号公報 特開２００６−２６８５６５号公報

実用化されている乗員センサには、重量センサまたは静電容量式センサがある。例えば、重量センサでシートに加わる乗員の重量を検出し、重量の大小からエアバッグを作動させるかどうかを判断する。

静電容量式センサは、シート座面の物体との静電容量を検出し、静電容量の違いによって生体か樹脂などの誘電体かを判定する。そして、生体以外の物体があると判断した場合に、拘束装置の作動をカットオフする。

本発明は、確実に座席上の乗員の有無またはチャイルドシートの座席への設置状態を検出して、乗員の拘束装置を適切に作動させる乗員拘束制御装置および乗員拘束制御方法を提供することを目的とする。

本発明の第１の観点に係る乗員拘束制御装置は、
車両の座席の前方から、その座席の方向の画像を撮影する撮像手段と、
前記撮像手段で撮影した画像から顔の特徴を検出する顔検出手段と、
前記顔検出手段における顔の特徴の検出の有無に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する制御手段と、
を備えることを特徴とする。

好ましくは、前記撮像手段で撮影した画像から、座席および／または車両の内装を検出する内装検出手段を備え、
前記制御手段は、前記顔検出手段における顔の特徴の検出の有無に加えて、前記画像中の顔の特徴の位置、座席および／または車両の内装の特徴の位置に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する、
ことを特徴とする。

好ましくは、前記内装検出手段が前記画像の所定の範囲に座席および車両の内装の特徴を検出し、かつ、前記顔検出手段が前記画像に顔の特徴を検出しない場合に、前記制御手段は、その座席が乗員に占められていないと判断する。

好ましくは、前記内装検出手段が前記画像の所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出手段が前記画像の所定の範囲に、座席および車両の内装の特徴を検出し、かつ、前記顔検出手段が前記画像の所定の範囲に、顔の特徴を検出しない場合に、前記制御手段は、その座席に後ろ向き幼児用シートまたは物体が存在すると判断する。

好ましくは、前記内装検出手段が前記画像の所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出手段が前記画像の所定の範囲に座席または車両の内装の特徴を検出しないか、または、前記顔検出手段が前記画像に顔の特徴を検出した場合に、前記制御手段は、その座席が乗員に占められていると判断する。

好ましくは、前記制御手段は、前記顔検出手段が前記画像に顔の特徴を検出しない場合に、その座席の乗員を拘束する装置の作動を抑制する。

本発明の第２の観点に係る乗員拘束制御方法は、
車両の座席の前方から、その座席の方向の画像を撮影する撮像ステップと、
前記撮像ステップで撮影した画像から顔の特徴を検出する顔検出ステップと、
前記顔検出ステップにおける顔の特徴の検出の有無に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する制御ステップと、
を備えることを特徴とする。

好ましくは、前記撮像ステップで撮影した画像から、座席および／または車両の内装を検出する内装検出ステップを備え、
前記制御ステップは、前記顔検出ステップにおける顔の特徴の検出の有無に加えて、前記画像中の顔の特徴の位置、座席および／または車両の内装の特徴の位置に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する、
ことを特徴とする。

好ましくは、前記内装検出ステップで、前記画像の所定の範囲に座席および車両の内装の特徴を検出し、かつ、前記顔検出ステップで前記画像に顔の特徴を検出しない場合に、前記制御ステップは、その座席が乗員に占められていないと判断する。

好ましくは、前記内装検出ステップで前記画像の所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出ステップで前記画像の所定の範囲に、座席および車両の内装の特徴を検出し、かつ、前記顔検出ステップで前記画像の所定の範囲に顔の特徴を検出しない場合に、前記制御ステップは、その座席に後ろ向き幼児用シートまたは物体が存在すると判断する。

好ましくは、前記内装検出ステップで前記画像の下から所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出ステップで前記画像の所定の範囲に座席または車両の内装の特徴を検出しないか、または、前記顔検出ステップで前記画像に顔の特徴を検出した場合に、前記制御ステップは、その座席が乗員に占められていると判断する。

好ましくは、前記制御ステップは、前記顔検出ステップで前記画像に顔の特徴を検出しない場合に、その座席の乗員を拘束する装置の作動を抑制する。

本発明の乗員拘束制御装置によれば、ＲＦＩＳ乗員の場合に拘束装置の作動を停止し、その他の乗員に対して拘束装置を作動させることができる。

本発明の実施の形態に係る乗員拘束制御システムの構成を示すブロック図である。 後ろ向きチャイルドシートが座席に装着される場合を示す模式図である。 成人の乗員が助手席に着座した場合の様子を示す図である。 後ろ向きチャイルドシートが使用される様子を示す図である。 実施の形態１に係る乗員拘束制御装置の構成を示すブロック図である。 本発明の実施の形態に係る乗員拘束制御装置の物理的な構成例を示すブロック図である。 実施の形態１に係る乗員拘束制御の動作の一例を示すフローチャートである。 本発明の実施の形態２に係る乗員拘束制御装置の構成を示すブロック図である。 後ろ向きチャイルドシートが装着される座席を前方から見た図である。 実施の形態２に係る乗員拘束制御の動作の一例を示すフローチャートである。 実施の形態２に係る画像を判定する動作の一例を示すフローチャートである。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。図１は、本発明の一実施の形態に係る車両の乗員拘束制御システムの構成例を示すブロック図である。図１に示すように、乗員拘束システム１０は、乗員拘束制御装置１、カメラ２、座席３、エアバッグ４、エアバッグ作動装置５、シートベルト６、シートベルトリトラクタに設けられているプリテンショナ７、シートベルト作動装置８、警報制御装置３０および警報装置３１を備える。また、照明光源９を備える場合がある。エアバッグ４、プリテンショナ７および警報装置３１は、かならずしも全てが備えられるとは限らない。車両の座席３によっては、エアバッグ４、プリテンショナ７または警報装置３１を備えない場合があってもよい。

図１は、座席３に乗員Ｐが着座している場合を示す。座席３の前方にエアバッグ４が備えられている。エアバッグ作動装置５は、車両の急激な減速を感知したときに、エアバッグ４を展開して、乗員Ｐを座席３に拘束する。シートベルト６は、強く引かれるとロックしてそれ以上引き出されないが、乗員のゆっくりした動作に追随して引き出されたり巻き取られたりして、乗員を緩やかに拘束する。

シートベルト作動装置８は、車両の急激な減速または車両が衝突する危険を感知したときに、プリテンショナ７を作動させる。プリテンショナ７は、シートベルト作動装置８に起動されるとモータを駆動して、または火薬に着火してシートベルト６を巻き取って乗員Ｐを座席３に拘束する。

シートベルト６の作用、プリテンショナ７およびエアバッグ４の作動によって、車両が衝突した場合でも乗員Ｐが車両から飛び出したり、車両の内装に接触することを防止する。

警報装置３１は、ブザー、スピーカ、ランプ、バイブレータまたはディスプレイ装置などを備える。警報制御装置３０は、例えば、シートベルト６が着用されていないことを、警報装置３１の部座による警告音やランプの点滅、あるいはバイブレータの振動などで表示する。また、エアバッグ４が作動する状態であるか、あるいはその作動が抑制されているかをランプやディスプレイで表示したり、スピーカから音声で出力する。警報制御装置３０は、シートベルト６が着用されていないことを乗員に警告するために、シートベルトリトラクタのモータを駆動して、シートベルト６を繰り出してもよい。

図２は、座席３に後ろ向きチャイルドシート（以下、ＲＦＩＳという）が装着される場合を示す。図２では、乗員拘束制御装置１、エアバッグ作動装置５およびシートベルト作動装置８などを省略している。ＲＦＩＳは、シートベルト６で座席３に装着される。この状態で、エアバッグ４が展開すると、ＲＦＩＳに接触するおそれがある。また、プリテンショナ７が作動すると、ＲＦＩＳの姿勢が変化する可能性がある。シートベルト６がＲＦＩＳの肩部に掛けられる場合には、ＲＦＩＳの上部が座席３に強く引き寄せられることになる。

図３は、車両の助手席に成人の乗員Ｐが着座した様子を示す。成人の乗員Ｐが普通に着座している場合、車両が衝撃を感知するとプリテンショナ７がシートベルト６を巻き取り、エアバッグ４が展開して乗員Ｐは座席３に拘束される。

図４は、助手席にＲＦＩＳが装着された場合を示す。なお、図４ではカメラ２の代表的な位置を実線で示す。カメラ２は、一点鎖線で示すような別の場所に設置されてもよい。また、複数のカメラ２を備えてもよい。助手席を対象とする場合、例えば、ダッシュボードの中央部から助手席の方向を見る位置にカメラ２を設置する。ＲＦＩＳまたはＣＲＳ横置きの乗員の顔が見えず、前向きチャイルドシート（以下、ＦＦＩＳ（Front Facing Infant Seat）という）の乗員または３歳以上の乗員が助手席に着座したときに、顔が見える位置にカメラ２を設置するのが望ましい。

カメラ２の解像度は、３０万画素程度（７２０×４８０ピクセル）以上で、助手席全体を写す視野とする。乗員の顔面積に相当する画素数として、５０×５０程度以上を想定する。顔の画素数は多い方が検出の精度を向上できる。車両内の画像を撮影するには、近赤外線照明と近赤外線カメラを用いることが好ましい。近赤外線を用いることによって太陽光や影の影響を緩和できる。また、近赤外線領域の顔の反射率は０．６〜０．８程度で比較的明るいので、特に夜間の顔の検出に有利である。

図１の乗員拘束制御装置１は、乗員Ｐが前向きに着座しているか、ＲＦＩＳなどが装着されているかを判断して、乗員拘束装置であるエアバッグ４およびプリテンショナ７を作動させるか否かを設定する。乗員拘束制御装置１が乗員拘束装置の作動を停止するよう設定した場合、エアバッグ作動装置５はエアバッグ４の作動を停止し、シートベルト作動装置８はプリテンショナ７の作動を停止する。

乗員拘束制御装置１はまた、警報制御装置３０に対して、エアバッグ４およびプリテンショナ７が作動する状態であるか、その作動が抑制されているかを警報装置３１に表示させてもよい。乗員拘束制御装置１が乗員拘束装置の作動を停止するよう設定した場合、警報制御装置３０は、エアバッグ４およびプリテンショナ７の作動が抑制されていることを、警報装置３１に表示する。この表示によって乗員は、ＲＦＩＳを装着した場合に、エアバッグ４およびプリテンショナ７の作動が抑制されていることを確かめることができる。

カメラ２は、座席３の前方から座席３の方向を撮影する。照明光源９は、例えば近赤外光を座席３の方向に照射する。乗員拘束制御装置１は、カメラ２で撮影した画像から顔の特徴を抽出する。そして、画像中に顔の特徴が有るか否かによって、乗員Ｐが前向きに着座しているか、ＲＦＩＳなどが装着されているかを判断する。

（実施の形態１）
図５は、実施の形態１に係る乗員拘束制御装置の構成を示すブロック図である。乗員拘束制御装置１は、画像入力部１１、顔特徴検出部１２、乗員判定部１３、乗員拘束装置制御部１４およびデータ保持部１５を備える。画像入力部１１は、カメラ２が撮影した画像を入力する。データ保持部１５は、入力した画像データ１６および顔特徴データ１７を保持する。

顔特徴検出部１２は、入力した画像から所定の方法で顔の特徴を抽出する。顔の特徴を抽出するには、例えば、以下のような方法を用いて画像データを処理する。

画像をメジアン平均化処理してノイズを除去し、輝度データのベースライン画像を作成する。メジアン平均化処理は、領域内の濃度の中央値、例えば３行３列の画素の領域であれば、９個の画素の濃度値を低い(または高い)順番に並べ、順序が中央の濃度値を、その領域の中心の画素の新しい濃度値とする。そして、輝度情報でスクリーニングして、明るさレベルが一定以上の画素エリア（島）を抽出する。

また、画像をＭＡＸ−ＭＩＮフィルタまたはソーベルフィルタなどで微分処理して、輝度変化点が連続するエッジラインを検出する。微小なエッジラインを除去し、密集しているエッジラインを結合して目、鼻、口などの候補とする。目、鼻、口よりも長く、その左右で輝度が変化するエッジラインを強調し顔の輪郭の候補とする。これらのルールでエッジ情報を整理し、目、鼻、口および輪郭の候補要素を抽出する。

続いて、あるレベルの輝度の島の周辺にある候補要素を選択し、類似判定の候補を絞る。顔の大きさに相当する矩形領域をスライドするか、選択された要素の位置に置き、その領域に含まれる候補要素が所定の範囲の数にある場合に、顔に類似していると判断する。類似しているか否かだけではなく、類似の度合いを算出してもよい。

顔特徴としては、顔を正面および側面からみた顔の要素の形状と配列を基本に、拡大、縮小、および直交座標の各座標軸で回転した場合の特徴変化を想定して、顔のモデルを設定する。顔のモデルでは、目、鼻、口などの要素の大きさと縦横比、要素の相対位置関係と顔の回転による位置関係の変化を規定する。また、顔の凹凸に伴う輝度ラインおよび輪郭ラインの大きさと方向、ならびに目、鼻、口の要素の包含関係を規定する。

モデルのロバスト性を増すために、矩形領域全体の周波数スペクトル分布や、縦および横方向の線分の数と長さの頻度分布などの統計的特徴を類似度評価に加えてもよい。顔のモデルおよび統計的特徴を顔特徴データ１７としてデータ保持部１５に記憶する。

以上のように定義した顔特徴のモデルに対して、画像から抽出した候補要素の類似度を評価して、類似度が所定の値を超える場合に顔らしいと判断する。

カメラ２で撮影した画像は、光の当たり方で顔全体がはっきり映っていない場合や、他の物体の影が映る場合がある。そのような場合には、撮像素子の感度レベルや輝度のスライスレベルを調節して、画像を再評価することによって改善できる。また、近赤外光を照射してその反射光で撮影すると、周囲の光の影響を抑制することができる。

複数の顔の候補が検出された場合は、その大きさ、類似度、位置を比較し、また１つ前のフレームまでの顔の情報（トラッキング情報）と比較して、顔の候補を絞り込む。顔の位置、大きさ、顔の特徴が最も顔らしいと判断される候補を選択して、顔の特徴を抽出する。

顔の特徴を抽出するには、頭、肩、胴体および腕などの位置関係から候補を絞り込んでもよい。また、頭、肩導体、腕、座席らしさなどの情報を考慮して、顔の特徴を抽出してもよい。

顔特徴の位置が移動する場合には、その位置を追跡することによって、顔が存在する位置を予測することができる。顔特徴の移動の軌跡から人と人形とを区別することも可能である。また、予測した位置を用いて次の画像における顔特徴を抽出する領域を限定することができるので、顔判定の精度が向上する。

顔特徴検出部１２は、以上のような方法で顔特徴を抽出し、乗員判定部１３に送る。乗員判定部１３は、抽出した顔特徴から顔らしさを判定する。そして、乗員が前向きに着座しているか、それ以外の状況であるかを決定し、乗員拘束装置制御部１４に送る。

乗員拘束装置制御部１４は、顔の特徴が抽出されて乗員が前向きに着座していると判断される場合には、エアバッグ作動装置５およびシートベルト作動装置８に対して、乗員高速装置すなわちエアバッグ４およびプリテンショナ７をそれぞれ作動に設定する。また、警報制御装置３０に対して、乗員拘束装置が作動する状態であることを表示させる。顔特徴が充分抽出されず顔らしさの類似度が所定の値以下の場合、乗員拘束装置を非作動に設定する。また、警報制御装置３０に対して、乗員拘束装置が非作動の状態であることを表示させる。座席３にＲＦＩＳが装着されている場合は、画像における顔らしさの類似度が所定の値以下の場合に含まれるので、乗員拘束装置は作動しない。その結果、ＲＦＩＳが装着された場合に拘束装置が作動することを防止できる。

なお、乗員拘束装置制御部１４は、顔の特徴が抽出されて乗員が前向きに着座していると判断した場合に、シートベルト６の着用を促す表示を警報装置３１に表示させてもよい。座席３にエアバッグ４またはプリテンショナ７を備えない場合であっても、乗員Ｐが着座していることを検出したときに、シートベルト６の着用を促すことによって、乗員Ｐを拘束できる可能性が高くなる。

図６は、本発明の実施の形態に係る乗員拘束制御装置の物理的な構成例を示すブロック図である。乗員拘束制御装置１は、図６に示すように、制御部２１、主記憶部２２、外部記憶部２３、入力部２４および出力部２５を備える。主記憶部２２、外部記憶部２３、入力部２４および出力部２５はいずれも内部バス２０を介して制御部２１に接続されている。

制御部２１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部２３に記憶されているプログラムに従って、撮影範囲を調節させるための処理を実行する。

主記憶部２２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部２３に記憶されているプログラムをロードし、制御部２１の作業領域として用いられる。

外部記憶部２３は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部２１に行わせるためのプログラムを予め記憶し、また、制御部２１の指示に従って、このプログラムが記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。

入力部２４は、モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースあるいはＮＴＳＣインタフェース等から構成されている。制御部２１は、入力部２４を介して、カメラ２から画像データを入力する。主記憶部２２は、カメラ２により生成され、入力部２４を経由して入力された画像データを記憶する。

出力部２５は、エアバッグ作動装置５、シートベルト作動装置８および警報制御装置３０と接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。制御部２１は出力部２５を介して、エアバッグ作動装置５、シートベルト作動装置８および警報装置３１にそれぞれ、エアバッグ４の作動の設定およびプリテンショナ７の作動の設定を出力する。また、照明光源９をオンオフする指令を出力する。

図６には記載していないが、乗員拘束制御装置１は警報制御装置３０を兼ねてもよい。その場合、乗員拘束制御装置１は表示部を備える。表示部は、発光ダイオード、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成される表示装置と接続するインタフェースから構成されている。制御部２１は、表示部を介して表示装置に、エアバッグ４またはプリテンショナ７が作動する状態か作動停止状態かを表示してもよい。また、表示装置は、ナビゲーションシステムの表示装置を利用することもできる。

図７は、実施の形態１に係る乗員拘束制御の動作の一例を示すフローチャートである。乗員拘束制御処理は、例えば、車両のドアが閉められたのち、または車両が走り出したのちに起動される。

画像入力部１１は、カメラ２から撮影した画像を入力する（ステップＳ１１）。顔特徴検出部１２は、前述のような方法で画像から顔特徴を抽出する（ステップＳ１２）。乗員判定部１３で、顔特徴が抽出されて乗員が前を向いて着座していると判断すると（ステップＳ１３；ＹＥＳ）、乗員拘束装置制御部１４は、エアバッグ作動装置５およびシートベルト作動装置８をそれぞれ作動に設定する（ステップＳ１４）。また、同時に警報制御装置３０に、乗員拘束装置が作動する状態であることを通知する。

顔特徴が充分抽出されず顔らしさの類似度が所定の値以下であって、乗員判定部１３で、乗員が前を向いて着座している以外の状況と判断すると（ステップＳ１３；ＮＯ）、乗員拘束装置制御部１４は、エアバッグ作動装置５およびシートベルト作動装置８をそれぞれ非作動に設定する（ステップＳ１５）。また、同時に警報制御装置３０に、乗員拘束装置の作動を抑制する状態であることを通知する。

顔特徴検出部１２では顔の類似度、位置および位置の移動の少なくとも１つの情報を、画像フレームごとに蓄積し、顔らしさ判断の回数を増加して着座有無判定の信頼度を向上できる。顔特徴検出の履歴を保持することによって、一時的に顔が検出できない場合でも、正しく着座有無判定を継続することができる。

また、頭、胴体、腕などの特徴を抽出し、それぞれの位置、それぞれの特徴の確度、位置の移動などの情報を加えることによって、乗員判定の信頼度を向上できる。顔以外の特徴を加えれば、一時的に顔が見えない場合があっても、乗員が着座していると正しく判断できる。

車両のドアが閉められたのち、または車両が走り出したのちに、座席３に顔の特徴が検出されて一旦確定すると、乗員が前向きに着座していない（ＲＦＩＳの可能性がある）と判断する条件を厳しくする（例えば、顔類似度の判定閾値を低くする）ことによって、誤判断を防止できる。また、顔特徴の位置が画像の下側所定の範囲に抽出されて、その位置が移動しない場合には、人形などが座席３に置かれたと判断してもよい。

また、顔特徴の位置が助手席から運転席に移動した場合は、その顔特徴は運転者の顔のものであると判断し、顔判定の確定を解除する。運転者がＲＦＩＳをのぞき込んだような場合でも、ＲＦＩＳが装着された助手席でエアバッグ４を作動するよう設定する誤判断を防止できる。

なお、エアバッグ４を作動停止に設定した場合に、その状態を表示して運転者に通知することが望ましい。例えば、シートバックを倒して毛布をかぶったような乗員に対して、エアバッグが展開しない状態であることを警告することができる。

以上説明したように、本実施の形態１の乗員拘束制御装置１によれば、顔特徴が充分抽出されず顔らしさの類似度が所定の値以下の場合、乗員拘束装置を非作動に設定する。その結果、座席にＲＦＩＳが装着された場合に拘束装置が作動することを防止できる。

（実施の形態２）
図８は、本発明の実施の形態２に係る乗員拘束制御装置の構成を示すブロック図である。実施の形態２に係る乗員拘束制御装置は、顔特徴に加えて座席３の特徴および／または車両の内装の特徴を用いて、座席の状態を判断する。実施の形態２の乗員拘束制御装置１は、実施の形態１の構成に加えて、座席・内装特徴検出部１８を備え、データ保持部１５に座席・内装特徴データを保持する。

座席・内装特徴検出部１８は、画像入力部１１で入力した画像から、所定の方法で座席の特徴または内装の特徴を抽出する。カメラ２が座席３の正面に近く配置されて、座席３の方向を撮影する場合は、特に、座席３の特徴を抽出する。座席または内装の特徴を抽出する方法は、顔の特徴抽出と同様に行う。

実施の形態１と同様に画像をメジアン平均化処理してノイズを除去し、輝度データのベースライン画像を作成する。画像をＭＡＸ−ＭＩＮフィルタまたはソーベルフィルタなどで微分処理して、輝度変化点が連続するエッジラインを検出する。そして、座席３または内装のモデルと比較して、座席３の位置および、乗員もしくは物体の外形を把握する。

座席３の特徴は、画像における座席３の輪郭形状および模様である。座席３の動きは、座席３の前後位置、上下位置、背もたれの角度、およびヘッドレストの高さである。座席３の動きを類別して、座席３のモデルを規定する。内装の場合はカメラ２に対して動くことはないが、座席３の位置と乗員または物体で見える範囲が変化する。内装について最大限画像に映る範囲をモデルとして設定する。

画像から抽出した特徴と座席３のモデルを比較して、座席３の確度（確からしさ）を算出する。座席３になにもない空席の場合に、座席３の特徴の類似度は最大になる。内装のモデルと比較し、画像の特徴と一致する部分の範囲から座席３の位置や乗員または物体の形状を把握することができる。

図９は、後ろ向きチャイルドシートが装着される座席を前方から見た図である。カメラ２の代表的な位置を破線で示す。カメラ２は、一点鎖線で示すような別の場所に設置されてもよい。また、複数のカメラ２を備えてもよい。カメラ２の位置と撮影方向によって見え方は変化するが、ＲＦＩＳが装着される場合、ＲＦＩＳの上に座席３の特徴が検出されるであろうことがわかる。

図８の乗員判定部１３は、顔特徴とその位置、座席３および／または内装の特徴とその位置の組合せから、乗員が前を向いて着座しているか、ＲＦＩＳが装着されている可能性があるかを判断する。また、座席３が空席であることを判断してもよい。

乗員判定部１３は、例えば、以下のように座席３の状態を判断する。画像の下から所定の範囲、例えば、座面から高さが２０ｃｍ程度以下（ダッシュボードに置かれたカメラから撮影した画像の下１／３程度）の領域で、座席３およびドア内装の特徴が強く、顔の特徴が弱い（類似度が所定の値より小さい）場合に、空席と判断する。

座席３の範囲に座席以外の特徴が検出され、例えば座面から高さが２０ｃｍ程度以下の領域で、座席３およびドア内装の特徴が隠れて（類似度が所定の値より小さく）、例えば座面から２０ｃｍ程度以上（ダッシュボードに置かれたカメラから撮影した画像の上２／３程度）の領域で座席３およびドア内装の特徴が強く（類似度が所定の値より大きく）、かつ、顔の特徴が弱い場合に、ＲＦＩＳが装着されている可能性があると判断する。

例えば座面から高さが２０ｃｍ程度以下の領域で、座席３およびドア内装の特徴が隠れて（類似度が所定の値より小さく）、かつ、例えば座面から２０ｃｍ程度以上（ダッシュボードに置かれたカメラから撮影した画像の上２／３程度）の領域で座席３およびドア内装の特徴が隠されている（類似度が所定の値より小さい）か、顔の特徴が強い（類似度が所定の値より大きい）場合に、ＲＦＩＳではない乗員Ｐが着座しているとが判断する。

さらに、座席３の背もたれの特徴の画像における位置によって、座席の前後位置を検出してもよい。乗員Ｐが着座していると判断される場合に、座席の前後位置が後ろであれば、体格の大きい乗員であると推定できる。また、座席の前後位置が前で、座面が高い場合には、体格が小さい乗員であると推定できる。座席の位置の推定に基づいて、乗員の体格に合わせて、エアバッグ４を展開する度合いを変更することができる。すなわち、体格が一定以上に大きいと判断できる場合は、エアバッグ４を標準の大きさまたは速さで展開し、体格が小さいと判断できる場合は、乗員が前を向いて着座していても、エアバッグ４を展開する大きさまたは速さを制限する。さらに、座席に対する顔の位置によって乗員の体格を推定して、エアバッグ４を展開する度合いを変更してもよい。

図１０は、実施の形態２に係る乗員拘束制御の動作の一例を示すフローチャートである。
乗員拘束制御処理は、例えば、車両のドアが閉められたのち、または車両が走り出したのちに起動される。画像入力部１１は、カメラ２から撮影した画像を入力する（ステップＳ２１）。顔特徴検出部１２は、実施の形態１と同様の方法で画像から顔特徴を抽出する（ステップＳ２２）。

座席・内装特徴検出部１８は、上述のような方法で座席３および／または内装の特徴を検出する（ステップＳ２３）。乗員判定部１３は、顔特徴とその位置、座席３および／または内装の特徴とその位置の組合せから、乗員が前を向いて着座しているか、ＲＦＩＳが装着されている可能性があるかを判断する（ステップＳ２４）。

図１１は、実施の形態２に係る画像を判定する動作の一例を示すフローチャートである。図１１は、図１０のフローチャートのステップＳ２４の内容を示す。

乗員判定部１３は、画像の下側所定の範囲に座席または内装の特徴があるかどうか調べる（ステップＳ３１）。座席３または内装の特徴がない場合は（ステップＳ３１；ＮＯ）、画像の上側所定の範囲に座席３または内装の特徴があるかどうか調べる（ステップＳ３２）。画像の上側所定の範囲に座席３または内装の特徴がない（類似度が所定の値より小さい）場合に（ステップＳ３２；ＮＯ）、ＲＦＩＳではない乗員Ｐが着座していると判断して（ステップＳ３４）、そのようにリターン値を設定する。

画像の上側所定の範囲に座席３または内装の特徴がある（類似度が所定の値より大きい）場合は（ステップＳ３２；ＹＥＳ）、さらに顔特徴の強さを調べる（ステップＳ３３）。顔特徴が強い（類似度が所定の値より大きい）場合（ステップＳ３３；ＮＯ）、ＲＦＩＳではない乗員Ｐが着座していると判断して（ステップＳ３４）、そのようにリターン値を設定する。顔特徴が弱い（類似度が所定の値より小さい）場合（ステップＳ３３；ＹＥＳ）、座席３は占有されていて、ＲＦＩＳの可能性があると判断し（ステップＳ３５）、そのようにリターン値を設定する。

ステップＳ３１で、画像の下側所定の範囲に座席または内装の特徴がある場合は（ステップＳ３１；ＹＥＳ）、さらに顔特徴の強さを調べる（ステップＳ３６）。顔特徴が強い（類似度が所定の値より大きい）場合（ステップＳ３６；ＮＯ）、ＲＦＩＳの可能性はなく、乗員Ｐが着座している可能性があると判断して（ステップＳ３７）、そのようにリターン値を設定する。顔特徴が弱い（類似度が所定の値より小さい）場合（ステップＳ３６；ＹＥＳ）、座席３は空席であって、ＲＦＩＳの可能性がないと判断し（ステップＳ３８）、そのようにリターン値を設定する。

図１０のフローチャートに戻って、乗員判定部１３で、ＲＦＩＳ以外の乗員の可能性がある（図１１のステップＳ３４またはステップＳ３７）と判断された場合は（ステップＳ２５；ＹＥＳ）、乗員拘束装置制御部１４は、エアバッグ作動装置５およびシートベルト作動装置８をそれぞれ作動に設定する（ステップＳ２６）。また、同時に警報制御装置３０に、乗員拘束装置が作動する状態であることを通知する。

ＲＦＩＳの可能性があるか（図１１のステップＳ３５）、または空席（図１１のステップＳ３８）と判断された場合は（ステップＳ２５；ＮＯ）、乗員拘束装置制御部１４は、エアバッグ作動装置５およびシートベルト作動装置８をそれぞれ非作動に設定する（ステップＳ２７）。また、同時に警報制御装置３０に、乗員拘束装置の作動を抑制する状態であることを通知する。

実施の形態２では、頭、肩、胴体、腕、背もたれの類似度をと合わせて顔の特徴を抽出してもよい。背もたれの特徴を用いると顔の特徴があって、かつ背もたれの特徴が抽出できない場合に、ＲＦＩＳでない乗員が前を向いて着座していると判断する信頼度を向上できる。また逆に、ＲＦＩＳの可能性があると判断できる信頼度を向上することができる。

乗員が仮装していて顔の類似度が低く、かつ、背もたれらしさの類似度も高くない場合に、顔らしさの判定基準を変更したり、抽出要素の移動の重要度を高くするなどの判定基準を変更して、ＲＦＩＳでない乗員が前を向いて着座していると判断する信頼度を向上できる。

その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。

制御部２１、主記憶部２２、外部記憶部２３、入力部２４、内部バス２０などから構成される乗員拘束制御装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する乗員拘束制御装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで乗員拘束制御装置１を構成してもよい。

また、乗員拘束制御装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

１ 乗員拘束制御装置
２ カメラ
３ 座席
４ エアバッグ
５ エアバッグ作動装置
６ シートベルト
７ プリテンショナ
８ シートベルト作動装置
９ 照明光源
１０ 乗員拘束システム
１１ 画像入力部
１２ 顔特徴検出部
１３ 乗員判定部
１４ 乗員拘束装置制御部
１５ データ保持部
１６ 画像データ
１７ 顔特徴データ
１８ 座席・内装特徴検出部
１９ 座席・内装特徴データ
３０ 警報制御装置
３１ 警報装置

Claims (12)

1. 車両の座席の前方から、その座席の方向の画像を撮影する撮像手段と、
   前記撮像手段で撮影した画像から顔の特徴を検出する顔検出手段と、
   前記顔検出手段における顔の特徴の検出の有無に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する制御手段と、
   を備えることを特徴とする乗員拘束制御装置。
2. 前記撮像手段で撮影した画像から、座席および／または車両の内装を検出する内装検出手段を備え、
   前記制御手段は、前記顔検出手段における顔の特徴の検出の有無に加えて、前記画像中の顔の特徴の位置、座席および／または車両の内装の特徴の位置に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する、
   ことを特徴とする請求項１に記載の乗員拘束制御装置。
3. 前記内装検出手段が前記画像の所定の範囲に座席および車両の内装の特徴を検出し、かつ、前記顔検出手段が前記画像に顔の特徴を検出しない場合に、前記制御手段は、その座席が乗員に占められていないと判断することを特徴とする請求項２に記載の乗員拘束制御装置。
4. 前記内装検出手段が前記画像の所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出手段が前記画像の所定の範囲に、座席および車両の内装の特徴を検出し、かつ、前記顔検出手段が前記画像の所定の範囲に、顔の特徴を検出しない場合に、前記制御手段は、その座席に後ろ向き幼児用シートまたは物体が存在すると判断する、ことを特徴とする請求項２または３に記載の乗員拘束制御装置。
5. 前記内装検出手段が前記画像の所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出手段が前記画像の所定の範囲に座席または車両の内装の特徴を検出しないか、または、前記顔検出手段が前記画像に顔の特徴を検出した場合に、前記制御手段は、その座席が乗員に占められていると判断することを特徴とする請求項２ないし４のいずれか１項に記載の乗員拘束制御装置。
6. 前記制御手段は、前記顔検出手段が前記画像に顔の特徴を検出しない場合に、その座席の乗員を拘束する装置の作動を抑制することを特徴とする請求項１ないし５のいずれか１項に記載の乗員拘束制御装置。
7. 車両の座席の前方から、その座席の方向の画像を撮影する撮像ステップと、
   前記撮像ステップで撮影した画像から顔の特徴を検出する顔検出ステップと、
   前記顔検出ステップにおける顔の特徴の検出の有無に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する制御ステップと、
   を備えることを特徴とする乗員拘束制御方法。
8. 前記撮像ステップで撮影した画像から、座席および／または車両の内装を検出する内装検出ステップを備え、
   前記制御ステップは、前記顔検出ステップにおける顔の特徴の検出の有無に加えて、前記画像中の顔の特徴の位置、座席および／または車両の内装の特徴の位置に基づいて、その座席の乗員を拘束する装置の作動の度合い、および／または、乗員に作用する警報装置の作動の度合いを変更する、
   ことを特徴とする請求項７に記載の乗員拘束制御方法。
9. 前記内装検出ステップで、前記画像の所定の範囲に座席および車両の内装の特徴を検出し、かつ、前記顔検出ステップで前記画像に顔の特徴を検出しない場合に、前記制御ステップは、その座席が乗員に占められていないと判断することを特徴とする請求項８に記載の乗員拘束制御方法。
10. 前記内装検出ステップで前記画像の所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出ステップで前記画像の所定の範囲に、座席および車両の内装の特徴を検出し、かつ、前記顔検出ステップで前記画像の所定の範囲に顔の特徴を検出しない場合に、前記制御ステップは、その座席に後ろ向き幼児用シートまたは物体が存在すると判断する、ことを特徴とする請求項８または９に記載の乗員拘束制御方法。
11. 前記内装検出ステップで前記画像の下から所定の範囲に、座席または車両の内装の特徴を検出しないかもしくは内装の特徴以外の特徴を検出し、前記内装検出ステップで前記画像の所定の範囲に座席または車両の内装の特徴を検出しないか、または、前記顔検出ステップで前記画像に顔の特徴を検出した場合に、前記制御ステップは、その座席が乗員に占められていると判断することを特徴とする請求項８ないし１０のいずれか１項に記載の乗員拘束制御方法。
12. 前記制御ステップは、前記顔検出ステップで前記画像に顔の特徴を検出しない場合に、その座席の乗員を拘束する装置の作動を抑制することを特徴とする請求項７ないし１１のいずれか１項に記載の乗員拘束制御方法。

Images