JP2012141281A - 体積検出装置、及び、体積検出方法 - Google Patents

Abstract

【課題】対象物の位置や姿勢、挙動等によって隠蔽部が生じることがあっても、シート上の対象物の体積を正確に検出することのできる体積検出装置、及び、体積検出方法を提供する。
【解決手段】対象物の距離画像データを距離画像センサ４で取得する。取得した距離画像データをデータ記録手段２５に記録する。可視部分から推定される対象物の体積を現在体積算出手段２４によって算出する。現在と過去の距離画像データを比較し、対象物の中で距離画像センサ４の位置から隠れている部分の体積を隠蔽体積算出手段２６によって検出する。現在体積算出手段２４で算出した体積と、隠蔽体積算出手段２６で算出した体積と、を基に対象物の体積を算出する。
【選択図】図２

Description

この発明は、距離画像データを基にしてシート上の対象物の体積を検出する体積検出装置、及び、体積検出方法に関するものである。

車両のシートを距離画像センサによって斜め上方から撮影し、その撮影データを解析することによってシート上の対象物の体積を検出する体積検出装置が案出されている（例えば、特許文献１，２参照）。

特許文献１に記載の体積検出装置は、撮影した対象物の表面の位置データと、表面形状を１８０°回転させることで予測される裏面の位置データを基にして対象物の体積を算出する。
また、特許文献２に記載の体積検出装置は、シート上に基準面を設定し、撮影した対象物の表面の位置データと、シートの基準面の位置データを基にして対象物の体積を算出する。

特開２００６−２２４８５６号公報 特開２００６−１７６０７５号公報

しかし、特許文献１に記載の体積検出装置の場合、シート上の対象物が必ずしも表裏対称であるとは限らないため、乗員の姿勢や挙動等によっては検出体積に大きな誤差が生じ易い。具体的には、例えば、乗員が距離画像センサに手をかざしてしまった場合には、距離画像には手しか映らず、この場合、手の表裏の位置データを基に手の体積を算出しても乗員の体積を算出したことにはならない。

また、特許文献２に記載の体積検出装置においては、シート高さが調整可能である場合には、距離画像センサの画像データを基にしてシートの基準面を検出しなければならないが、シート上の基準面が乗員等の陰になって画像データに現れない状況が考えられる。この場合には、対象物の体積を正確に検出することができない。

そこでこの発明は、対象物の位置や姿勢、挙動等によって隠蔽部が生じることがあっても、シート上の対象物の体積を正確に検出することのできる体積検出装置、及び、体積検出方法を提供しようとするものである。

請求項１に係る体積検出装置の発明は、シート（例えば、実施形態のシート１Ｂ）上の対象物の距離画像データを取得する距離画像センサ（例えば、実施形態の距離画像センサ４）と、この距離画像センサで取得した距離画像データを記録するデータ記録手段（例えば、実施形態のデータ記録手段２５）と、現在の距離画像データと、前記過去の距離画像データのうちの、現在の距離画像データによって前記距離画像センサの位置から隠される距離画像データと、を基に対象物の体積を算出する体積算出手段（例えば、実施形態の現在体積算出手段２４、隠蔽体積算出手段２６、補正手段２７）と、を備えていることを特徴とするものである。
これにより、現在の距離画像データと、過去の距離画像データのうちの、現在の距離画像データによって距離画像センサの位置から隠される距離画像データとを基に対象物の体積が算出される。

請求項２に係る体積検出装置の発明は、請求項１に係る体積検出装置において、前記体積算出手段は、現在の距離画像データに基づいて対象物の現在の体積を算出する現在体積算出手段（例えば、実施形態の現在体積算出手段２４）と、前記データ記録手段によって記録された過去の距離画像データのうちの現在の距離画像データによって前記距離画像センサの位置から隠されている部分の体積を算出する隠蔽体積算出手段（例えば、実施形態の隠蔽体積算出手段２６）と、この隠蔽体積算出手段の算出結果に基づいて前記現在体積算出手段によって算出された対象物の現在の体積を補正する補正手段（例えば、実施形態の補正手段２７）と、を備えていることを特徴とするものである。

請求項３に係る体積検出装置の発明は、請求項１に係る体積検出装置において、前記データ記録手段（例えば、実施形態のデータ記録手段１２５）は、現在の距離画像データと記録されている過去の距離画像データとを比較して、過去の距離画像データの画素うちの現在の距離画像データの画素よりも距離画像センサに近いものを消去してデータを逐次更新して記録し、前記体積算出手段（例えば、実施形態の体積算出手段５０）は、現在の距離画像データと前記データ記録手段に記録されている最新のデータを用いて対象物の隠蔽部を含む総体積を算出することを特徴とするものである。

請求項４に係る体積検出方法の発明は、距離画像センサによってシート上の対象物の距離画像データを取得し、前記距離画像センサで取得した距離画像データを記録しておき、現在の距離画像データと、前記過去の距離画像データのうちの、現在の距離画像データによって前記距離画像センサの位置から隠される距離画像データと、を基に対象物の体積を算出することを特徴とするものである。

この発明によれば、現在の距離画像データと、過去の距離画像データのうちの、現在の距離画像データによって距離画像センサの位置から隠される距離画像データと、を基に対象物の体積を求めるため、対象物の位置や姿勢、挙動等によって距離画像センサから隠蔽される部分を考慮して、シート上の対象物の体積を常時正確に検出することができる。

この発明の一実施形態の体積検出装置を採用した車両の車室内の斜視図である。 この発明の一実施形態の体積検出装置を採用した乗員判別装置の概略構成図である。 この発明の一実施形態の体積検出装置の距離画像データの取得の様子を示すイメージ図（Ａ）と、距離画像データを基にした画像処理の一部のイメージを示す図（Ｂ）を併せて記載した図である。 この発明の一実施形態の体積検出装置の画像処理の一部を（Ａ），（Ｂ），（Ｃ）で順を追って示すイメージ図である。 この発明の一実施形態の体積検出装置を採用した乗員判別装置の処理を説明するフローチャートである。 この発明の一実施形態の体積検出装置の距離画像センサで撮影した画像のイメージを示す図である。 この発明の一実施形態の体積検出装置の距離画像センサで現在撮影した画像（Ａ）のイメージ図と、過去に撮影した画像（Ｂ）のイメージ図を併せて記載した図である。 この発明の一実施形態の体積検出装置の距離画像センサで撮影した画像のイメージ図である。 この発明の他の実施形態の体積検出装置を採用した乗員判別装置の概略構成図である。 この発明の他の実施形態の体積検出装置を採用した乗員判別装置の処理を説明するフローチャートである。

以下、この発明の一実施形態を図面に基づいて説明する。
図１は、この実施形態の体積検出装置１０を採用した車両の車室内を示す図であり、同図中１Ａ，１Ｂは、運転席側と助手席側のシート、２は、前席前方に配置されたインストルメントパネル、３は、インストルメントパネル２内の助手席前方位置に配置されたエアバッグモジュールである。また、４は、運転席と助手席の間の天井部に助手席側に向けて設置された単眼式の距離画像センサであり、５は、距離画像センサ４の検出信号を受けて乗員判別を行い、衝撃の入力時に、乗員判別の結果に応じてエアバッグモジュール３の作動を制御する制御装置である。
この実施形態の体積検出装置１０は、エアバッグの作動システムの一部として利用され、助手席側のシート１Ｂに着座した乗員の体積を検出する。エアバッグの作動システムでは、体積検出装置１０の検出結果に応じて乗員の判別を行い、判別結果が大人の場合には、エアバッグモジュール３を通常作動させ、判別結果が子供である場合には、エアバッグモジュール３を弱い展開力で作動させ、若しくは、非作動とする。
体積検出装置１０は、距離画像センサ４と制御装置５を主要な要素として構成され、距離画像センサ４で取得した距離画像データに対して各種の画像処理を行い、その画像処理の結果に基づいて、助手席に着座した乗員の体積を検出する。

図２は、体積検出装置１０の概略構成を示す図である。
この実施形態の距離画像センサ４は、照射された光が対象物で反射し戻ってくるまでの時間を計測し、その時間を基にして対象物までの距離を求めるＴＯＦ（time of flight）方式のセンサを採用している。
距離画像センサ４は、発光部６が、近赤外線ＬＥＤ１１と、近赤外線ＬＥＤ１１を所定周波数でパルス発光させる駆動回路１２と、近赤外線ＬＥＤ１１の光を散乱させて対象物に照射する散乱板１３と、によって構成され、受光部７が、対象物で反射した光を集光する集光レンズ１５と、ノイズ光を除去するフィルター１６と、フィルター１６を透過した光のエネルギーを電荷として蓄積し電圧信号に変換するＣＣＤ撮像素子１７と、によって構成されている。そして、距離画像センサ４は、発光部６と受光部７が処理部１９によって制御され、処理部１９内の距離画像生成部１９Ａと輝度画像生成部１９Ｂが発光パルスと受光パルスの位相のずれを基にして距離画像データと輝度画像データを生成するようになっている。
距離画像センサ４の処理部１９で生成された距離画像データと輝度画像データは制御装置５に出力される。

制御装置５は、距離画像センサ４から入力された距離画像データを、シート１Ｂの前後方向（Ｔ方向）、左右方向（Ｂ方向）、上下方向（Ｈ方向）を軸とした直交座標画像に変換する直交座標変換部２０と、直交座標画像をシート１Ｂの前後方向と上下方向を含む平面に投影した平面投影二値画像に変換する二値画像変換部２１とを備えている。
図３は、直交座標変換部２０での処理の一例のイメージを示したものである。
直交座標変換部２０では、図３（Ａ）の距離画像センサ４で取得した距離画像データを、図３（Ｂ）に示すように、シート１Ｂを中心とした直交座標内の細分化した立方体空間（voxel）にあてはめ、対象物の該空間における存在の有無を数値化する。
二値画像変換部２１は、直交座標変換部２０で得られた対象物の表面形状をシート１Ｂの側方から見える平面に投影した二値画像に変換し、その後の画像処理に備えるようになっている。

また、制御装置５は、直交座標画像と平面投影二値画像からそれぞれシート１Ｂ部分を除去するシート除去処理部２３と、シート１Ｂ部分を除去した直交座標画像からシート１Ｂ上の対象物の体積Ｖ１を算出する現在体積算出手段２４と、シート１Ｂ部分を除去した直交座標画像を記録するデータ記録手段２５と、シート１Ｂ部分を除去した現在の直交座標画像の画素によって、距離画像センサ４の位置から隠されている部分の体積ΔＶを算出する隠蔽体積算出手段２６と、現在体積算出手段２４で算出した対象物の体積Ｖ１を補正する補正手段２７と、を備えている。

隠蔽体積算出手段２６は、前処理として、現在の直交座標画像とデータ記録手段２５から読み出した過去の直交座標画像を比較し、過去の直交座標画像のうちの、現在の直交座標画像によって距離画像センサ４の位置から隠される画像を抽出する。
図４（Ａ）〜（Ｃ）は、この処理のイメージを示す図である。なお、ここでは図３（Ａ）が過去の直交座標画像を示すものとする。
図４（Ａ）では、現在の直交座標画像を得る。ここで得られた直交座標画像は、距離画像センサ４に映る現在の対象物の外表面形状と一致する。図中ｖ１は、現在の対象物の距離画像データを示している。
図４（Ｂ）では、過去の直交座標画像をデータ記録手段２５から読み出す。ここで読み出された直交座標画像は、距離画像センサ４に過去に映った対象物の外表面形状と一致する。図４（Ｂ）中のｖ２は、過去に映った対象物の距離画像データを示している（図３（Ａ）においても同様）。
図４（Ｃ）では、現在の直交座標画像の距離画像データｖ１と過去の直交座標画像の距離画像データｖ２を比較し、過去の直交座標画像の距離画像データｖ２のうち、距離画像センサ４に対して現在の直交座標画像の距離画像データｖ１によって隠される距離画像データを抽出し、その他の距離画像データを除去する。
隠蔽体積算出手段２６は、以上の前処理を終えた後に、対象物上の抽出した距離画像データに相当する部分の体積、つまり隠蔽体積ΔＶを過去の直交座標画像から算出する。

また、補正手段２７は、現在体積算出手段２４で算出した対象物の体積Ｖ１に、隠蔽体積算出手段２６で算出した隠蔽された部分の体積ΔＶを加算する。

制御装置５は、さらに二値画像変換部２１と、現在体積算出手段２４及び補正手段２７からそれぞれ信号を受けて乗員を判別する乗員判別手段３１と、乗員判別手段３１の判別結果に基づいてエアバッグモジュール３の作動を制御する駆動制御手段３２と、を備えている。
この実施形態の乗員判別手段３１は、二値画像変換部２１で得られた画像データを基にして空席状態（シート１Ｂ上に乗員が存在するかしないか）を判定し、現在体積算出手段２４及び補正手段２７から入力された対象物の算出体積情報を基にして乗員が子供であるのか否かを判別する。
また、駆動制御手段３２は、車両の衝突時に衝突センサ９が作動したときに、判別手段３１の判別結果を反映させてエアバッグモジュール３の駆動を制御する。

つづいて、この実施形態の体積検出装置１０の制御を含む制御装置５の処理の概要を図５のフローチャートに沿って説明する。
最初に、ステップＳ１０１において、距離画像センサ４から距離画像と輝度画像のデータを受け取り、ステップＳ１０２において、距離画像をＴ軸，Ｂ軸，Ｈ軸を持つ直交座標画像に変換する。次に、ステップＳ１０３において、直交座標画像を平面投影二値画像に変換し、つづくステップＳ１０４において、直交座標画像と平面投影二値画像を基にしてシート１Ｂ上が空席であるか否かを判定する。このときＹｅｓの場合には、「乗員なし」と判定し、Ｎｏの場合には、ステップＳ１０５へと進む。

ステップＳ１０５では、直交座標画像と平面投影二値画像に対してシート除去処理を行い、つづくステップＳ１０６において、シート１Ｂを除去した直交座標画像をデータ記録手段２５に記録させ、さらにステップＳ１０７において、現在の直交座標画像のデータを基にして対象物の体積Ｖ１を算出する。
ステップＳ１０８では、データ記録手段２５から過去に記録した直交座標画像を呼び出し、次のステップＳ１０９において、現在の直交座標画像と過去の直交座標画像を用いて現在の隠蔽部分の体積ΔＶを算出し、さらにステップＳ１１０において、体積Ｖ１に隠蔽部分の体積ΔＶを加算する補正を行う。

この後、ステップＳ１１１においては、最終的に算出した対象物の体積が閾値以下であるか否かを判定し、ここでＹｅｓの場合には、シート１Ｂに着座している乗員は「子供」と判別し、Ｎｏの場合には、シート１Ｂに着座しているのは「大人」と判別する。

次に、体積検出装置１０による体積検出が有効となる例を、図６〜図８を用いて説明する。
図６は、助手席側のシート１Ｂに着座した乗員ｍが前屈みになり、乗員ｍの大腿部から膝部にかけての領域Ａ１が上半身によって距離画像センサ４から隠されてしまった状況を示している。
この場合、体積検出装置１０は、図７（Ａ）に示す乗員ｍの現在の直交座標画像を基にして乗員ｍの体積Ｖ１を算出するとともに、図７（Ａ）に示す乗員ｍの現在の直交座標画像と図７（Ｂ）に示す乗員ｍの過去の直交座標画像とを比較し、現在の直交座標画像で隠される領域Ａ１（図６参照）を抽出して、過去の直交座標画像を基にして領域Ａ１に対応する部分の体積を算出する。
図８は、現在の直交座標画像に基づいて算出される乗員ｍの体積Ｖ１と、隠されている領域Ａ１の体積ΔＶを併せて記載した図である。この体積検出装置１０は、体積Ｖ１に隠されている領域Ａ１の体積ΔＶを加算した値を、乗員ｍの最終的な体積値として出力する。

以上のように、この体積検出装置１０は、現在の直交座標画像（現在取得した距離画像データ）と過去の直交座標画像（過去に取得した距離画像データ）を比較して、対象物の隠蔽部の体積を過去の直交座標画像から算出し、現在の直交座標画像から算出した対象物の体積に隠蔽部の体積を加算して対象物の体積を求めるものであるため、対象物の位置や姿勢、挙動等によって距離画像センサから隠蔽される部分を考慮して、シート１Ｂ上の対象物の体積を常に正確に検出することができる。

つづいて、図９，図１０に示すこの発明の他の実施形態について説明する。なお、上述した実施形態と同一部分には同一符号をし、重複する部分については説明を省略するものとする。また、上述した実施形態で用いた図１〜図８の図面は必要に応じて適宜参照するものとする。
図９は、この実施形態の体積検出装置１１０の概略構成を示す図である。
この実施形態の体積検出装置１１０は、図９に示すように、単眼式の距離画像センサ４と、距離画像センサ４の検出信号を受けて乗員判別を行う制御装置１０５とを備えている。この実施形態の場合、距離画像センサ４の構成と、制御手段１０５が乗員判別手段３１の判別結果に応じてエアバックモジュール３の作動を制御する点は上述した実施形態と同様である。したがって、以下では、制御手段１０５の上述した実施形態との相違点を中心として説明する。

制御装置１０５は、上述の実施形態と同様の直交座標変換部２０と二値画像変換部２１と、距離画像データと平面投影二値画像からそれぞれシート１Ｂ部分を除去するシート除去処理部１２３と、シート１Ｂ部分を除去した距離画像データを設定距離の多段レイヤーを指定し、後述する処理を施して逐次記録を更新するデータ記録手段１２５と、更新した最新の多段レイヤーのデータを用いて隠蔽部を含む対象物の総体積を算出する体積算出手段５０と、を備えている。

データ記録手段１２５は、現在の距離画像データと、読み出した過去の多段レイヤーの距離画像データの画素のうちの、現在の距離画像データの画素よりも距離画像センサ４から近くに観測されるものを消去して、現在の距離画像データとともに更新して記録する。

ここでの処理を、図４を参照して説明すると、まず、図４（Ａ）に示すように、現在の対象物の距離画像データを得る。ここで得られた距離画像データは、距離画像センサ４に映る現在の対象物の外表面形状と一致する。図中ｖ１は、現在の対象物の距離画像データを示すものとする。
次に、図４（Ｂ）に示すように、過去の多段レイヤーの距離画像データをデータ記録手段１２５から読み出す。ここで読み出された多段レイヤーの距離画像データは、距離画像センサ４に過去に映った対象物の外表面形状をデータ記録手段１２５に逐次蓄積し、そのとき最新の距離画像データの画素よりも距離画像センサ４の近くに観測される過去の距離画像データの画素を除去したデータ群である。図４（Ｂ）中のｖ２は、過去に映った対象物の多段レイヤーの距離画像データを示すものとする。
さらにこの後、図４（Ｃ）に示すように、現在の距離画像データｖ１と過去の多段レイヤーの距離画像データｖ２を比較し、過去の多段レイヤーの距離画像データｖ２のうち、距離画像センサ４に対して現在の距離画像データｖ１よりも距離画像センサ４の近くに観測される距離画像データの画素を除去する。

体積算出手段５０は、以上の処理を終えた後に、多段レイヤーの距離画像データを、図３（Ｂ）に示すように、シート１Ｂを中心とした直交座標内の細分化した立方体空間（voxcel）にあてはめ、対象物の隠蔽体積ΔＶを含めた体積Ｖを数値化する。

また、制御装置１０５は、二値画像変換部２１と体積算出手段５０からそれぞれ信号を受けて乗員を判別する乗員判別手段３１と、乗員判別手段３１の判別結果に基づいてエアバッグモジュール３の作動を制御する駆動制御手段３２と、を備えている。

図１０は、この実施形態の体積検出装置１１０の制御を含む制御装置１０５の処理の概要を示すフローチャートである。以下、制御装置１０５による処理の流れを図１０に沿って説明する。
ステップＳ１０１において、距離画像センサ４から距離画像と輝度画像のデータを受け取り、ステップＳ１０２において、距離画像をＴ軸，Ｂ軸，Ｈ軸を持つ直交座標画像に変換する。次に、ステップＳ１０３において、直交座標画像を平面投影二値画像に変換し、つづくステップＳ１０４において、直交座標画像と平面投影二値画像を基にしてシート１Ｂ上が空席であるか否かを判定する。このときＹｅｓの場合には、「乗員なし」と判定し、Ｎｏの場合には、ステップＳ２０５へと進む。

ステップＳ２０５では、距離画像データと平面投影二値画像に対してシート除去処理を行い、つづくステップＳ２０６においては、シート１Ｂ部分を除去した距離画像データを設定距離の多段レイヤーを指定し記録するデータ記録手段１０５に記録する。
次のステップＳ２０７においては、シート１Ｂ部分を除去した現在の距離画像データを用い、過去の多段レイヤーの距離画像データの画素うちの距離画像センサ４の近くに観測される距離画像データの画素を除去する。
次のステップＳ２０８においては、隠蔽部の体積ΔＶを含めた対象物の体積Ｖを算出する。

この後、ステップＳ２０９においては、最終的に算出した対象物の体積が閾値以下であるか否かを判定し、ここでＹｅｓの場合には、シート１Ｂに着座している乗員は「子供」と判別し、Ｎｏの場合には、シート１Ｂに着座しているのは「大人」と判別する。

以上のように、この実施形態の体積検出装置１１０は、現在の距離画像データと過去の多段レイヤーの距離画像データを比較して、対象物の隠蔽部を含めた体積を求めるものであるため、対象物の位置や姿勢、挙動等によって距離画像センサ４から隠蔽される部分が生じても、シート１Ｂ上の対象物の体積を常に正確に検出することができる。

なお、この発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の設計変更が可能である。

１Ｂ…シート
４…距離画像センサ
５，１０５…制御装置
１０，１１０…体積検出装置
２４…現在体積算出手段（体積算出手段）
２５，１２５…データ記録手段（体積算出手段）
２６…隠蔽体積算出手段
２７…補正手段（体積算出手段）
５０…体積算出手段

Claims (4)

1. シート上の対象物の距離画像データを取得する距離画像センサと、
   この距離画像センサで取得した距離画像データを記録するデータ記録手段と、
   現在の距離画像データと、前記過去の距離画像データのうちの、現在の距離画像データによって前記距離画像センサの位置から隠される距離画像データと、を基に対象物の体積を算出する体積算出手段と、を備えていることを特徴とする体積検出装置。
2. 前記体積算出手段は、現在の距離画像データに基づいて対象物の現在の体積を算出する現在体積算出手段と、前記データ記録手段によって記録された過去の距離画像データのうちの現在の距離画像データによって前記距離画像センサの位置から隠されている部分の体積を算出する隠蔽体積算出手段と、この隠蔽体積算出手段の算出結果に基づいて前記現在体積算出手段によって算出された対象物の現在の体積を補正する補正手段と、を備えていることを特徴とする請求項１に記載の体積検出装置。
3. 前記データ記録手段は、現在の距離画像データと記録されている過去の距離画像データとを比較して、過去の距離画像データの画素うちの現在の距離画像データの画素よりも距離画像センサに近いものを消去してデータを逐次更新して記録し、
   前記体積算出手段は、現在の距離画像データと前記データ記録手段に記録されている最新のデータを用いて対象物の隠蔽部を含む総体積を算出することを特徴とする請求項１に記載の体積検出装置。
4. 距離画像センサによってシート上の対象物の距離画像データを取得し、
   前記距離画像センサで取得した距離画像データを記録しておき、
   現在の距離画像データと、前記過去の距離画像データのうちの、現在の距離画像データによって前記距離画像センサの位置から隠される距離画像データと、を基に対象物の体積を算出することを特徴とする体積検出方法。

Images