JP2012126219A

JP2012126219A - シート検知装置

Info

Publication number: JP2012126219A
Application number: JP2010278536A
Authority: JP
Inventors: Hiroki Kijima; 啓貴木嶋; Jiro Kurita; 次郎栗田; Naoki Takahashi; 直樹高橋
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-12-14
Filing date: 2010-12-14
Publication date: 2012-07-05
Anticipated expiration: 2030-12-14
Also published as: JP5548111B2

Abstract

【課題】撮像時に乗員による隠蔽が生じた場合であってもシートを適切に検知する。
【解決手段】シート検知装置１０は、車室内の撮像領域を撮像して３次元空間での撮像領域の距離の情報を有する距離画像を生成する処理部２３と、距離画像に基づき、車室内のシート１６のヘッドレストの位置およびシート１６の腰部の位置を検知するヘッドレスト位置算出部５３および腰部位置算出部５６と、ヘッドレスト位置算出部５３および腰部位置算出部５６により検知されたヘッドレストの位置および腰部の位置に基づき、シート１６の前面形状を算出する前面形状算出部５７と、距離画像において、前面形状算出部５７により算出された前面形状よりも車両後方側の領域をシート１６の領域であると検知するシート領域検知部５８とを備える。
【選択図】図２

Description

この発明は、シート検知装置に関する。

従来、例えば、シートバック側縁部の背面側でシート後方から前方に走査して、最初に検出される形状の点列からシートバックの背面とシートバック肩部を検出する装置が知られている（例えば、特許文献１参照）。
また、従来、例えばカメラの単一視点によって乗員の表面立体形状を検出するとともに、この単一視点の影部分となる裏側形状を規定する基準面をシート情報に基づいて設定し、表面立体形状と基準面とから乗員の体積を算出する装置が知られている（例えば、特許文献２参照）。

特開２００８−１１３６号公報特開２００６−１７６０７５号公報

ところで、上記従来技術に係る装置においては、例えばカメラの撮影方向などに応じて、乗員によってシートの特定部位が隠蔽されていると、シートバックの背面とシートバック肩部を精度良く検出することができなかったり、シートの特定部位の表面に沿って形成される基準面を適切に設定することが困難になる場合が生じる。

本発明は上記事情に鑑みてなされたもので、撮像時に乗員による隠蔽が生じた場合であってもシートを精度良く検知することが可能なシート検知装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係るシート検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内のシートのヘッドレストの位置および前記シートの腰部の位置を検知する位置検知手段（例えば、実施の形態でのヘッドレスト位置算出部５３、腰部位置算出部５６）と、前記ヘッドレストの位置および前記腰部の位置に基づき、前記シートの前面形状を算出する前面形状算出手段（例えば、実施の形態での前面形状算出部５７）と、前記距離画像において、前記前面形状算出手段により算出された前記前面形状よりも車両後方側の領域を前記シートの領域であると検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５８）とを備える。

さらに、本発明の第２態様に係るシート検知装置では、前記位置検知手段は、前記距離画像に基づいて、前記ヘッドレストの位置を中心とする２つの異なる円弧間において前記シートの腰部の領域を探索する腰部領域探索手段（例えば、実施の形態での腰部領域探索部５４）と、前記腰部の領域の車両後方側の端部と前記ヘッドレストの位置とを含む直線に直交する方向での前記腰部の領域の厚さを検知する腰部厚さ検知手段（例えば、実施の形態での腰部厚さ検知部５５）と、前記腰部の領域の厚さが所定厚さ以上の場合には、前記腰部の領域の厚さから予め記憶している所定シート厚さを車両後方側から差し引いて前記腰部の位置を算出し、前記腰部の領域の厚さが前記所定厚さ未満の場合には、前記腰部の領域の厚さから予め記憶している所定人体厚さを車両前方側から差し引いて前記腰部の位置を算出する腰部位置算出手段（例えば、実施の形態での腰部位置算出部５６）とを備える。

さらに、本発明の第３態様に係るシート検知装置では、前記位置検知手段は、前記距離画像を構成する複数の画素毎に前記３次元空間での法線方向を算出し、該法線方向が車両左右方向に傾く角度が所定閾角度以下である領域を正面領域として前記距離画像から抽出する正面領域抽出手段（例えば、実施の形態での正面領域抽出部５２）と、前記正面領域のうち前記車両左右方向の位置が所定位置範囲内かつ前記車両左右方向の長さが所定長さ範囲内である前記正面領域をヘッドレスト領域であると検知し、該ヘッドレスト領域に基づき前記ヘッドレストの位置を算出するヘッドレスト位置算出手段（例えば、実施の形態でのヘッドレスト位置算出部５３）とを備える。

さらに、本発明の第４態様に係るシート検知装置は、前記車室内の乗員の頭部領域の位置を取得する頭部領域位置取得手段（例えば、実施の形態での頭部領域位置取得部８１）を備え、前記位置検知手段は、前記頭部領域の位置に基づき前記ヘッドレストの位置を検知するヘッドレスト位置検知手段（例えば、実施の形態でのヘッドレスト位置算出部５３）を備える。

本発明の第１態様に係るシート検知装置によれば、シートは背もたれの角度が変化した場合であっても、ヘッドレストの位置と腰部の位置との相対的な位置関係は不変であることから、撮像時に乗員による隠蔽が生じた場合であっても、ヘッドレストおよび腰部の位置からシートの前面形状を精度良く算出することができる。これにより、前面形状よりも車両後方側に存在するシートの領域を精度良く検知することができる。

さらに、本発明の第２態様に係るシート検知装置によれば、腰部の領域の厚さが所定厚さ以上の場合には、シートと乗員との両方が適切に撮像されていると判断して、乗員に比べて位置変動が限定的なシート側の厚さ（所定シート厚さ）を腰部の領域の厚さから差し引くことによって腰部の位置を精度良く算出することができる。
また、腰部の領域の厚さが所定厚さ未満の場合には、シートが乗員によって隠蔽されていると判断して、腰部の領域の厚さから所定人体厚さを差し引くことによって腰部の位置を精度良く算出することができる。

さらに、本発明の第３態様に係るシート検知装置によれば、演算負荷が増大することを防止しつつヘッドレストの位置を精度良く算出することができる。

さらに、本発明の第４態様に係るシート検知装置によれば、乗員の頭部領域の位置に対する相対的な位置関係に応じてヘッドレストの位置を精度良く検知することができる。

本発明の実施の形態に係るシート検知装置の構成図である。本発明の実施の形態に係るシート検知装置の構成図である。本発明の実施の形態に係るシート座標系での法線ベクトルＮ_{（ｖ，ｕ）}と正面領域ＳＡとの対応関係の一例を示す図と、距離画像から抽出された正面領域ＳＡの一例を示す図である。本発明の実施の形態に係るＴＨ画像においてヘッドレストの位置を中心とする２つの異なる円弧間の所定中心角範囲において探索されたシートの腰部の領域の厚さの一例を示す図である。本発明の実施の形態に係る単眼距離画像センサから見てシートおよび乗員の両方が適度に撮像可能である場合の腰部の位置の一例を示す図である。本発明の実施の形態に係る単眼距離画像センサから見てほぼ乗員のみが撮像可能である場合の腰部の位置の一例を示す図である。本発明の実施の形態に係るシートの前面形状の一例を示す図である。本発明の実施の形態に係るシートおよびシートに着座した乗員が存在する画像領域を含む画像と、乗員が存在する画像領域のみを含む画像との例を示す図である。本発明の実施の形態に係るシート検知装置の動作を示すフローチャートである。図９に示す内正面領域抽出の処理を示すフローチャートである。図９に示すヘッドレスト位置算出の処理を示すフローチャートである。本発明の実施の形態の変形例に係るシート検知装置の構成図である。本発明の実施の形態に係る単眼距離画像センサから見てヘッドレストおよび乗員の頭部領域の両方が適度に撮像可能である場合のヘッドレストの位置の一例を示す図である。本発明の実施の形態に係る単眼距離画像センサから見てほぼ乗員の頭部領域のみが撮像可能である場合のヘッドレストの位置の一例を示す図である。

以下、本発明の一実施形態に係るシート検知装置について添付図面を参照しながら説明する。
本実施の形態によるシート検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。

単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。

単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。

発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。

駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。

受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。

受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。

受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。

処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。

距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。

輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。

制御装置１２は、例えば、画像処理部５１と、正面領域抽出部５２と、ヘッドレスト位置算出部５３と、腰部領域探索部５４と、腰部厚さ検知部５５と、腰部位置算出部５６と、前面形状算出部５７と、シート領域検知部５８と、乗員判定部５９と、駆動制御部６０とを備えて構成されている。

画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。

なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。

さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ軸かつ車両左右方向をＢ軸かつ車両上下方向をＨ軸とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。

正面領域抽出部５２は、距離画像を構成する複数の画素毎に３次元空間での法線方向を算出し、該法線方向が車両左右方向に傾く角度が所定閾角度以下である領域を正面領域として距離画像から抽出する。

先ず、正面領域抽出部５２は、画像処理部５１から出力された３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像（Ｘ横偏微分画像Ｘｕ、Ｙ横偏微分画像Ｙｕ、Ｚ横偏微分画像Ｚｕ）および縦偏微分画像（Ｘ縦偏微分画像Ｘｖ、Ｙ縦偏微分画像Ｙｖ、Ｚ縦偏微分画像Ｚｖ）を算出する。

そして、正面領域抽出部５２は、例えば下記数式（１）に示すように記述される縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ_{（ｖ，ｕ）}を、各横偏微分画像の画素値（Ｘ横偏微分画像Ｘｕ_{（ｖ，ｕ）}、Ｙ横偏微分画像Ｙｕ_{（ｖ，ｕ）}、Ｚ横偏微分画像Ｚｕ_{（ｖ，ｕ）}）および各縦偏微分画像の画素値（Ｘ縦偏微分画像Ｘｖ_{（ｖ，ｕ）}、Ｙ縦偏微分画像Ｙｖ_{（ｖ，ｕ）}、Ｚ縦偏微分画像Ｚｖ_{（ｖ，ｕ）}）と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトル（ｉ、ｊ、ｋ）とに基づき算出する。

そして、正面領域抽出部５２は、例えば図３（Ａ），（Ｂ）に示すように、法線ベクトルＮ_{（ｖ，ｕ）}が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。

ヘッドレスト位置算出部５３は、正面領域抽出部５２により抽出された複数の正面領域ＳＡ毎に、シート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、車両左右方向（Ｂ方向）の位置が所定位置範囲内かつ車両左右方向（Ｂ方向）の長さが所定長さ範囲内である正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置（例えば、３次元空間での中心位置など）を算出する。

なお、車両左右方向（Ｂ方向）の位置に対する所定位置範囲および車両左右方向（Ｂ方向）の長さに対する所定長さ範囲は、シート１６のヘッドレスト１６ａを抽出するために予め記憶されている値である。例えば図３に示すように、ヘッドレスト位置算出部５３により算出されるヘッドレスト１６ａのＢ方向長さＬＢ１は所定長さ範囲内となり、ヘッドレスト位置算出部５３により算出されるバックレスト１６ｂのＢ方向長さＬＢ２は所定長さ範囲よりも長くなるように設定されている。

腰部領域探索部５４は、ヘッドレスト位置算出部５３により算出されたヘッドレスト１６ａの位置に基づき、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧Ｃａ，Ｃｂ間においてシート１６の腰部の領域を探索する。

先ず、腰部領域探索部５４は、例えば図４（Ａ）〜（Ｃ）に示すように、カメラ座標系のＸＹＺ画像に基づきシート座標系でのＴ軸およびＨ軸の２次元座標によるＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）を生成する。
そして、ＴＨ画像上において、ヘッドレスト１６ａの位置Ｐを中心とする２つの異なる円弧Ｃａ，Ｃｂを設定し、これら２つの異なる円弧Ｃａ，Ｃｂ間の所定中心角範囲を探索領域として設定する。

なお、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置Ｐと腰部の位置（例えば、腰部の中心位置など）との相対的な位置関係は不変であることに基づいて、２つの異なる円弧Ｃａ，Ｃｂの各半径として、腰部の位置の範囲を指定する所定の異なる固定値が予め記憶されている。
また、所定中心角範囲は、例えば、ヘッドレスト１６ａの位置Ｐから車両上下方向の下方に向かう軸線ＡＨを基準として、ヘッドレスト１６ａの位置Ｐから車両前後方向の前方に向かう軸線ＡＴまでに到る９０°の範囲とされている。

そして、腰部領域探索部５４は、例えば図４（Ａ）に示すように、ＴＨ画像上において軸線ＡＨを基準として中心角θを９０°まで徐々に増大させつつ、２つの異なる円弧Ｃａ，Ｃｂ間の領域でデータ点の存在を探索する。
そして、例えば図４（Ｂ）に示すように、データ点が存在する領域をシート１６の腰部の領域Ｂであると検知する。

腰部厚さ検知部５５は、例えば図４（Ｃ）に示すように、腰部領域探索部５４により探索された腰部の領域Ｂの車両後方側の端部Ｂａとヘッドレスト１６ａの位置Ｐとを含む直線ＡＬに直交する方向での腰部の領域Ｂの厚さＢＷを検知する。

腰部位置算出部５６は、例えば図５（Ａ）〜（Ｃ）に示すように、単眼距離画像センサ１１から見てシート１６および乗員Ｍの両方が適度に撮像可能であることに伴って、腰部厚さ検知部５５により検知された腰部の領域Ｂの厚さＢＷが所定厚さ以上の場合には、腰部の領域Ｂの厚さＢＷから予め記憶している所定シート厚さＳＷを車両後方側から差し引いて腰部の位置ＢＰを算出する。

一方、例えば図６（Ａ）〜（Ｃ）に示すように、単眼距離画像センサ１１から見てほぼ乗員Ｍのみが撮像可能であることに伴って、腰部厚さ検知部５５により検知された腰部の領域Ｂの厚さＢＷが所定厚さ未満の場合には、腰部の領域Ｂの厚さＢＷから予め記憶している所定人体厚さＨＷを車両前方側から差し引いて腰部の位置ＢＰを算出する。

前面形状算出部５７は、ヘッドレスト１６ａの位置Ｐおよび腰部位置算出部５６により算出された腰部の位置ＢＰに基づき、シート１６の前面形状を算出する。
例えば図７（Ａ）〜（Ｃ）に示すように、前面形状算出部５７は、ＴＨ画像上においてヘッドレスト１６ａの位置Ｐおよび腰部の位置ＢＰを含む直線を、シートバック１６ｂの前面側の表面上での車両左右方向の中央部を近似して示す近似直線ＳＬとする。
そして、この近似直線ＳＬから車両左右方向の両端部ＳＨＬ，ＳＨＲに向かうことに伴い、漸次、車両前後方向の前方側に突出するようにして形成されるＶ字型溝の溝面を、シート１６の前面形状ＦＳとする。

シート領域検知部５８は、前面形状算出部５７により算出された前面形状ＦＳよりも車両前後方向の後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像から除去する。
これにより、例えば図８（Ａ）に示すようにシート１６およびシート１６に着座した乗員Ｍが存在する画像領域を含む画像から、例えば図８（Ｂ）に示すような乗員が存在する画像領域のみを含む画像が得られる。
なお、図８（Ａ），（Ｂ）には、ＸＹＺ座標系でのＸＹＺ画像に対応する輝度画像を示した。

なお、シート領域検知部５８は、前面形状算出部５７により算出された前面形状ＦＳに加えて、ヘッドレスト１６ａの前面形状ＦＳＨとして、例えば図７（Ｂ），（Ｃ）に示すように、近似直線ＳＬに対して車両前後方向の前方側に所定角度φだけ傾く平面を設定してもよい。
この場合、シート領域検知部５８は、前面形状ＦＳおよび前面形状ＦＳＨよりも車両前後方向の後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像から除去する。

乗員判定部５９は、シート領域検知部５８によりシート１６の領域が除去されたＸＹＺ画像に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する。
駆動制御部６０は、乗員判定部６０による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。

本実施の形態によるシート検知装置１０は上記構成を備えており、次に、このシート検知装置１０の動作について説明する。

先ず、例えば図９に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。

次に、ステップＳ０２〜ステップＳ０３においては、ヘッドレスト１６ａの位置を検知する処理を行なう。
先ず、ステップＳ０２においては、距離画像から正面領域を抽出する正面領域抽出の処理を行なう。
次に、ステップＳ０３においては、正面領域に基づきヘッドレスト１６ａの位置（３次元空間での中心位置など）を算出するヘッドレスト位置算出の処理を行なう。

次に、ステップＳ０４〜ステップＳ０６においては、シート１６の腰部の位置を検知する処理を行なう。
先ず、ステップＳ０４においては、ヘッドレスト１６ａの位置に基づき、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧Ｃａ，Ｃｂ間においてシート１６の腰部の領域を探索する。

このステップＳ０４においては、例えばＴＨ画像上においてヘッドレスト１６ａの位置Ｐから車両上下方向の下方に向かう軸線ＡＨを基準とし、さらに、ヘッドレスト１６ａの位置Ｐから車両前後方向の前方に向かう軸線ＡＴを設定する。そして、軸線ＡＨから軸線ＡＴまでに到るようにして、２つの異なる円弧Ｃａ，Ｃｂの中心角θを９０°まで徐々に増大させつつ、円弧Ｃａ，Ｃｂ間の領域でデータ点の存在を探索する。そして、データ点が存在する領域をシート１６の腰部の領域Ｂであると検知する。

次に、ステップＳ０５においては、シート１６の腰部の領域の厚さ、例えば腰部の領域Ｂの車両後方側の端部Ｂａとヘッドレスト１６ａの位置Ｐとを含む直線ＡＬに直交する方向での腰部の領域Ｂの厚さＢＷを検知する。
次に、ステップＳ０６においては、シート１６の腰部の領域の厚さに基づき、シート１６の腰部の位置（例えば、シートバック１６ｂの前面側の表面上での位置など）を算出する。

例えば、腰部の領域Ｂの厚さＢＷが所定厚さ以上の場合には、腰部の領域Ｂの厚さＢＷから所定シート厚さＳＷを車両後方側から差し引いて腰部の位置ＢＰを算出し、腰部の領域Ｂの厚さＢＷが所定厚さ未満の場合には、腰部の領域Ｂの厚さＢＷから所定人体厚さＨＷを車両前方側から差し引いて腰部の位置ＢＰを算出する。

次に、ステップＳ０７〜ステップＳ０８においては、シート１６の領域をＸＹＺ画像から除去する処理を行なう。
先ず、ステップＳ０７においては、ヘッドレスト１６ａの位置Ｐおよび腰部位置算出部５６により算出された腰部の位置ＢＰに基づき、シート１６の前面形状を算出する。

例えば、ＴＨ画像上においてヘッドレスト１６ａの位置Ｐおよび腰部の位置ＢＰを含む直線を、シートバック１６ｂの前面側の表面上での車両左右方向の中央部を近似して示す近似直線ＳＬとする。そして、この近似直線ＳＬから車両左右方向の両端部ＳＨＬ，ＳＨＲに向かうことに伴い、漸次、車両前後方向の前方側に突出するようにして形成されるＶ字型溝の溝面を、シート１６の前面形状ＦＳとする。

次に、ステップＳ０８においては、前面形状ＦＳよりも車両前後方向の後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像から除去する。

次に、ステップＳ０９においては、シート１６の領域が除去されたＸＹＺ画像に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する乗員判定の処理を行なう。

次に、ステップＳ１０においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。

以下に、上述したステップＳ０２での正面領域抽出の処理について説明する。
先ず、例えば図１０に示すステップＳ２１においては、３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像および縦偏微分画像を算出する。

次に、ステップＳ２２においては、上記数式（１）を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトルとにより、縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ_{（ｖ，ｕ）}を算出する。

次に、ステップＳ２３においては、距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ_{（ｖ，ｕ）}が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。

以下に、上述したステップＳ０３でのヘッドレスト位置算出の処理について説明する。
先ず、例えば図１１に示すステップＳ３１においては、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。

次に、ステップＳ３２においては、Ｂ方向の位置が所定位置範囲かつＢ方向幅が所定長さ範囲の正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。

次に、ステップＳ３３においては、ヘッドレスト領域に基づきヘッドレスト１６ａの位置（例えば、３次元空間での中心位置など）を算出する。

上述したように、本実施の形態によるシート検知装置１０によれば、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることから、撮像時に乗員による隠蔽が生じた場合であっても、ヘッドレスト１６ａおよび腰部の位置からシート１６の前面形状を精度良く算出することができる。これにより、前面形状よりも車両後方側に存在するシート１６の領域を精度良く検知することができる。

さらに、シート１６の腰部の領域の厚さが所定厚さ以上の場合には、シート１６と乗員との両方が適切に撮像されていると判断して、乗員に比べて位置変動が限定的なシート１６側の厚さ（所定シート厚さＳＷ）を腰部の領域の厚さＢＷから差し引くことによって腰部の位置ＢＰを精度良く算出することができる。
また、腰部の領域の厚さが所定厚さ未満の場合には、シート１６が乗員によって隠蔽されていると判断して、腰部の領域の厚さＢＷから所定人体厚さＨＷを差し引くことによって腰部の位置ＢＰを精度良く算出することができる。

さらに、法線ベクトルＮ_{（ｖ，ｕ）}が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとし、Ｂ方向の位置が所定位置範囲かつＢ方向幅が所定長さ範囲の正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知することにより、演算負荷が増大することを防止しつつヘッドレスト１６ａの位置を精度良く算出することができる。

なお、上述した実施の形態において、ヘッドレスト位置算出部５３は、適宜のラベリング処理によって得られる画像、つまり複数の分離された画像領域により構成される画像を参照して、正面領域ＳＡが抽出された各画像領域毎に、シート１６のヘッドレスト１６ａに特徴的な形状（Ｂ方向の位置が所定位置範囲かつＢ方向幅が所定長さ範囲の形状）を有するか否かの判定を行なってもよい。

このラベリング処理は、例えば、シート１６のヘッドレスト１６ａが、所定の大きさの球形状領域として検知可能であることに基づいて実行され、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ_{（ｖ，ｕ）}の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
そして、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、複数の画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素毎に対応させて示すスコア画像を生成する。
そして、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成し、各画像領域に異なるラベルを設定する。

なお、上述した実施の形態において、ヘッドレスト位置算出部５３は、正面領域抽出部５２により抽出された正面領域ＳＡに基づいてヘッドレスト１６ａの位置を算出するとしたが、これに限定されず、例えば図１３に示す上述した実施の形態の変形例に係るシート検知装置１０のように、正面領域抽出部５２を省略し、正面領域抽出部５２の代わりに、車室内の乗員の頭部領域の位置を取得する頭部領域位置取得部８１を備えてもよい。

この変形例では、ヘッドレスト位置算出部５３は、頭部領域位置取得部８１により取得された乗員の頭部領域の位置に基づいてヘッドレスト１６ａの位置を算出する。
先ず、ヘッドレスト位置算出部５３は、頭部領域位置取得部８１により取得された乗員の頭部領域から後方側および上方側にヘッドレスト１６ａの位置の探索領域ＥＡを設定する。
そして、例えば図１３（Ａ）に示すように、単眼距離画像センサ１１から見てシート１６のヘッドレスト１６ａおよび乗員Ｍの頭部領域ＨＡの両方が適度に撮像可能である場合には、ヘッドレスト位置算出部５３は、例えば図１３（Ｂ），（Ｃ）に示すような適宜のラベリング処理によって得られる画像、つまり複数の分離された画像領域ＰＡ１，…により構成される画像を取得する。
この画像において、ヘッドレスト位置算出部５３は、車両上下方向の上方側に最も高い位置に存在する画像領域ＰＡ１をヘッドレスト１６ａが存在する領域であると検知する。
そして、この画像領域ＰＡ１における所定位置（例えば、中心位置など）をヘッドレスト１６ａの位置Ｐであると検知する。

一方、例えば図１４（Ａ）に示すように、単眼距離画像センサ１１から見てほぼ乗員Ｍの頭部領域ＨＡのみが撮像可能である場合には、ヘッドレスト位置算出部５３は、例えば図１４（Ｂ），（Ｃ）に示すような適宜のラベリング処理によって得られる画像、つまり複数の分離された画像領域ＰＢ１，…により構成される画像を取得する。
この画像において、ヘッドレスト位置算出部５３は、頭部領域ＨＡの後方直近の位置をヘッドレスト１６ａの位置Ｐであると検知する。

なお、この変形例において、頭部領域位置取得部８１は、例えば、適宜の特徴量抽出や、テンプレートマッチングや、人体モデルとの比較などの各種の処理によって、乗員の頭部領域を距離画像から取得することができる。

例えば、所定の大きさの球形状の領域を距離画像から抽出する処理では、頭部領域位置取得部８１は、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ_{（ｖ，ｕ）}の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
そして、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、複数の画素（ｖ，ｕ）毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像を生成する。

そして、頭部領域位置取得部８１は、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成する。
そして、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の結合領域に結合した後に、スコア値の平均値が閾平均値以下の画像領域と、体積が上限体積値以上または下限体積値以下の画像領域と、所定方向の幅寸法（例えば、Ｂ方向幅など）が所定閾値以上の画像領域とを、頭部領域の候補から除外する。
そして、これらの処理を実行した後に、頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。

なお、上述した実施の形態において、前面形状算出部５７はシート１６の前面形状ＦＳをＶ字型溝の溝面としたが、これに限定されず、他の形状、例えばＵ字型などの適宜の溝の溝面などであってもよいし、溝面以外の他の表面形状であってもよい。

１０シート検知装置
１１単眼距離画像センサ
１２制御装置
２２受光部（撮像手段）
２３処理部（距離画像生成手段）
５１画像処理部
５２正面領域抽出部（正面領域抽出手段）
５３ヘッドレスト位置算出部（位置検知手段、ヘッドレスト位置算出手段、ヘッドレスト位置検知手段）
５４腰部領域探索部（腰部領域探索手段）
５５腰部厚さ検知部（腰部厚さ検知手段）
５６腰部位置算出部（位置検知手段、腰部位置算出手段）
５７前面形状算出部（前面形状算出手段）
５８シート領域検知部（シート領域検知手段）
８１頭部領域位置取得部（頭部領域位置取得手段）

Claims

車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内のシートのヘッドレストの位置および前記シートの腰部の位置を検知する位置検知手段と、
前記ヘッドレストの位置および前記腰部の位置に基づき、前記シートの前面形状を算出する前面形状算出手段と、
前記距離画像において、前記前面形状算出手段により算出された前記前面形状よりも車両後方側の領域を前記シートの領域であると検知するシート領域検知手段とを備えることを特徴とするシート検知装置。
前記位置検知手段は、
前記距離画像に基づいて、前記ヘッドレストの位置を中心とする２つの異なる円弧間において前記シートの腰部の領域を探索する腰部領域探索手段と、
前記腰部の領域の車両後方側の端部と前記ヘッドレストの位置とを含む直線に直交する方向での前記腰部の領域の厚さを検知する腰部厚さ検知手段と、
前記腰部の領域の厚さが所定厚さ以上の場合には、前記腰部の領域の厚さから予め記憶している所定シート厚さを車両後方側から差し引いて前記腰部の位置を算出し、前記腰部の領域の厚さが前記所定厚さ未満の場合には、前記腰部の領域の厚さから予め記憶している所定人体厚さを車両前方側から差し引いて前記腰部の位置を算出する腰部位置算出手段と
を備えることを特徴とする請求項１に記載のシート検知装置。
前記位置検知手段は、
前記距離画像を構成する複数の画素毎に前記３次元空間での法線方向を算出し、該法線方向が車両左右方向に傾く角度が所定閾角度以下である領域を正面領域として前記距離画像から抽出する正面領域抽出手段と、
前記正面領域のうち前記車両左右方向の位置が所定位置範囲内かつ前記車両左右方向の長さが所定長さ範囲内である前記正面領域をヘッドレスト領域であると検知し、該ヘッドレスト領域に基づき前記ヘッドレストの位置を算出するヘッドレスト位置算出手段と
を備えることを特徴とする請求項１または請求項２に記載のシート検知装置。
前記車室内の乗員の頭部領域の位置を取得する頭部領域位置取得手段を備え、
前記位置検知手段は、前記頭部領域の位置に基づき前記ヘッドレストの位置を検知するヘッドレスト位置検知手段を備えることを特徴とする請求項１または請求項２に記載のシート検知装置。