JP2000280858A - 車載機器制御装置および方法 - Google Patents
車載機器制御装置および方法Info
- Publication number
- JP2000280858A JP2000280858A JP11088013A JP8801399A JP2000280858A JP 2000280858 A JP2000280858 A JP 2000280858A JP 11088013 A JP11088013 A JP 11088013A JP 8801399 A JP8801399 A JP 8801399A JP 2000280858 A JP2000280858 A JP 2000280858A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- vehicle
- collision
- seat
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Air Bags (AREA)
Abstract
(57)【要約】
【課題】従来は距離センサだけなので、助手席の同乗者
の状態を精確に認識して、エアバッグ膨張の制御を行う
ことが困難であった。 【解決手段】車両の座席についている者の距離画像を取
得し、車両の衝突が検知された場合に、取得された距離
画像から予め記憶された解釈規則をもとに、座席につい
ている者及びその体勢を判定し、この判定結果に基づい
て、前記エアバッグの膨張を制御することを特徴とす
る。
の状態を精確に認識して、エアバッグ膨張の制御を行う
ことが困難であった。 【解決手段】車両の座席についている者の距離画像を取
得し、車両の衝突が検知された場合に、取得された距離
画像から予め記憶された解釈規則をもとに、座席につい
ている者及びその体勢を判定し、この判定結果に基づい
て、前記エアバッグの膨張を制御することを特徴とす
る。
Description
【０００１】
【発明の属する技術分野】本発明は距離画像にもとづい
て車載機器の制御を行う車載ユーザの動きを認識・処理
する車載機器制御装置および方法に関する。
て車載機器の制御を行う車載ユーザの動きを認識・処理
する車載機器制御装置および方法に関する。
【０００２】
【従来の技術】自動車などの車両の運転者は運転のため
に両手を使っているので、ナビゲーション・システムな
どの車載機器の操作ができないという問題がある。この
ため、音声認識を使って音声により、操作をする方法も
考えられている。しかし、運転中は通行車のエンジン音
などの雑音が多く認識が難しいという問題がある。ある
いは、運転者が他の同乗者と話している声なのか、機器
を操作するために発せられている声なのかが識別できな
いという問題がある。
に両手を使っているので、ナビゲーション・システムな
どの車載機器の操作ができないという問題がある。この
ため、音声認識を使って音声により、操作をする方法も
考えられている。しかし、運転中は通行車のエンジン音
などの雑音が多く認識が難しいという問題がある。ある
いは、運転者が他の同乗者と話している声なのか、機器
を操作するために発せられている声なのかが識別できな
いという問題がある。
【０００３】一方、衝突時の被害を減らすために、衝突
時にエアバッグを膨張させる方策がとられている。しか
し、助手席に乗っている同乗者が妊婦や幼児である場合
には、膨らんだエアバッグにより押しつぶされる不都合
があるために、衝突時といえども膨らまさない方策を講
じる必要がある。あるいは、衝突時に、人がエアバッグ
の直近にいるときには、エアバッグを膨らませると、顔
に大きな衝撃を与え、傷害を与える可能性があるため
に、直近に人がいないことを確認する必要がある。
時にエアバッグを膨張させる方策がとられている。しか
し、助手席に乗っている同乗者が妊婦や幼児である場合
には、膨らんだエアバッグにより押しつぶされる不都合
があるために、衝突時といえども膨らまさない方策を講
じる必要がある。あるいは、衝突時に、人がエアバッグ
の直近にいるときには、エアバッグを膨らませると、顔
に大きな衝撃を与え、傷害を与える可能性があるため
に、直近に人がいないことを確認する必要がある。
【０００４】このような不具合を解消するために、赤外
線による距離センサが使われている。しかし、現状の距
離センサでは、例えばハエが距離センサを横切っても、
人間が横切っても同じ距離に物体があると認識できるだ
けである。このため、ハエと人間を識別する必要がある
という要求がある。
線による距離センサが使われている。しかし、現状の距
離センサでは、例えばハエが距離センサを横切っても、
人間が横切っても同じ距離に物体があると認識できるだ
けである。このため、ハエと人間を識別する必要がある
という要求がある。
【０００５】従来、ＣＣＤカメラなどを用いて撮像した
画像を解析して、人間の身体の位置などを認識する方法
がある。この方法では、ＣＣＤカメラなどの撮像装置を
用いて撮影している。その画像から人間を抽出する場合
では、例えば、顔や手の色が肌色なので、それ以外の背
景などの余計な部分を取り除き、障害物となる物体など
認識したい対象のみを切り出すという前処理を行う。そ
して、前処理後の画像を用いることで、物体の形状など
を認識する。
画像を解析して、人間の身体の位置などを認識する方法
がある。この方法では、ＣＣＤカメラなどの撮像装置を
用いて撮影している。その画像から人間を抽出する場合
では、例えば、顔や手の色が肌色なので、それ以外の背
景などの余計な部分を取り除き、障害物となる物体など
認識したい対象のみを切り出すという前処理を行う。そ
して、前処理後の画像を用いることで、物体の形状など
を認識する。
【０００６】まず、この認識対象の切り出しという前処
理部分について説明する。従来の手法では、カメラで撮
影した画像から、取得したい対象物の部分のみを切り出
す作業として、対象物と、それ以外の部分の何らかの相
違点を手がかりとして対象物の切り出しが行われてい
た。この手掛かりとして、色相の変化を利用する方法、
差分画像を利用する方法などが用いられている。色を使
って切り出す場合、色相差の大きな部分を抜き出し、細
線化などの処理を行い、エッジを抽出する。人間を対象
にする場合には、顔や手の部分の肌色に注目し、その色
相部分のみを抽出しようとするものである。
理部分について説明する。従来の手法では、カメラで撮
影した画像から、取得したい対象物の部分のみを切り出
す作業として、対象物と、それ以外の部分の何らかの相
違点を手がかりとして対象物の切り出しが行われてい
た。この手掛かりとして、色相の変化を利用する方法、
差分画像を利用する方法などが用いられている。色を使
って切り出す場合、色相差の大きな部分を抜き出し、細
線化などの処理を行い、エッジを抽出する。人間を対象
にする場合には、顔や手の部分の肌色に注目し、その色
相部分のみを抽出しようとするものである。
【０００７】しかし、色相差を用いる方法は、照明の色
や角度などにより、肌色といっても変化し、また、背景
の色相が肌色に近いと、人間の肌色と識別するのが難し
いなどの問題があり、定常的に切り出すことは困難であ
る。また、照明が全くない状態では、撮像画像は全部暗
くなってしまうので、人間でも暗闇で撮影した写真から
物体を判別することは難しい。
や角度などにより、肌色といっても変化し、また、背景
の色相が肌色に近いと、人間の肌色と識別するのが難し
いなどの問題があり、定常的に切り出すことは困難であ
る。また、照明が全くない状態では、撮像画像は全部暗
くなってしまうので、人間でも暗闇で撮影した写真から
物体を判別することは難しい。
【０００８】あるいは、ビデオ画像のフレーム間の動き
ベクトルを算出し、動いている物体を解析する方式もあ
る。この場合、動いている物体少ない内は問題ないが、
動いている物体が多いと、動きベクトルの数が急に増
え、フレーム間で動きベクトルを算出の負荷が増し、算
出が追いつかなくなる。
ベクトルを算出し、動いている物体を解析する方式もあ
る。この場合、動いている物体少ない内は問題ないが、
動いている物体が多いと、動きベクトルの数が急に増
え、フレーム間で動きベクトルを算出の負荷が増し、算
出が追いつかなくなる。
【０００９】特にエアバッグを膨らませるのは衝突時で
あるので、瞬時（１秒間より短時間）での判断が必要で
ある。しかし、従来の画像処理では、撮像自体が１秒間
に３０枚であり、その認識処理には、１枚あたり数秒以
上かかるので、衝突時などの緊急時の判断処理を行うこ
とはできなかった。
あるので、瞬時（１秒間より短時間）での判断が必要で
ある。しかし、従来の画像処理では、撮像自体が１秒間
に３０枚であり、その認識処理には、１枚あたり数秒以
上かかるので、衝突時などの緊急時の判断処理を行うこ
とはできなかった。
【００１０】また、近傍にあるものがハエなのか、人間
なのかを見分けるには、その体積を求める必要がある。
体積を算出するには、３次元情報が必要となるが、従来
のカメラを使った場合は、２台のカメラを使い、三角測
量の方法を用いないと、距離などの３次元情報を取得す
ることはできなかった。しかし、カメラが２台になると
いうことは、パソコンなどのコンピュータのＣＰＵにか
かる負担が２倍になるので、事故発生時などの瞬時の判
断はますます困難となる。
なのかを見分けるには、その体積を求める必要がある。
体積を算出するには、３次元情報が必要となるが、従来
のカメラを使った場合は、２台のカメラを使い、三角測
量の方法を用いないと、距離などの３次元情報を取得す
ることはできなかった。しかし、カメラが２台になると
いうことは、パソコンなどのコンピュータのＣＰＵにか
かる負担が２倍になるので、事故発生時などの瞬時の判
断はますます困難となる。
【００１１】このような問題を解決するために、たとえ
ば、特開平１０−１７７４４９号公報に示されているよ
うな距離画像取得装置を用いて、ユーザの手や体のジェ
スチャをリアルタイムで取得する技術が発明されてい
る。
ば、特開平１０−１７７４４９号公報に示されているよ
うな距離画像取得装置を用いて、ユーザの手や体のジェ
スチャをリアルタイムで取得する技術が発明されてい
る。
【００１２】特開平１０−１７７４４９号公報で開示さ
れている距離画像取得装置を用いれば、パソコン本体の
ＣＰＵに負荷をかけることなく、物体を背景から切り出
すことができる。
れている距離画像取得装置を用いれば、パソコン本体の
ＣＰＵに負荷をかけることなく、物体を背景から切り出
すことができる。
【００１３】
【発明が解決しようとする課題】このように従来の方法
では、両手を使う、両足も使うなど、処理すべき対象が
増えると、それに応じて画像処理プログラムを作成し直
す必要があり、大変手間がかかった。また、手はぐらぐ
ら動いているために、安定した動作の抽出が難しかっ
た。
では、両手を使う、両足も使うなど、処理すべき対象が
増えると、それに応じて画像処理プログラムを作成し直
す必要があり、大変手間がかかった。また、手はぐらぐ
ら動いているために、安定した動作の抽出が難しかっ
た。
【００１４】
【課題を解決するための手段】以上の課題を解決するた
めに、本願発明は、車両の座席についている者の距離画
像を取得するための距離画像取得手段と、この距離画像
取得手段によって取得された距離画像から予め記憶され
た解釈規則をもとに、座席についている者及びその体勢
を判定する判定手段と、この判定手段による判定結果に
基づいて、車載機器の制御を行うための車載機器制御手
段とを具備することを特徴とする。
めに、本願発明は、車両の座席についている者の距離画
像を取得するための距離画像取得手段と、この距離画像
取得手段によって取得された距離画像から予め記憶され
た解釈規則をもとに、座席についている者及びその体勢
を判定する判定手段と、この判定手段による判定結果に
基づいて、車載機器の制御を行うための車載機器制御手
段とを具備することを特徴とする。
【００１５】また、車両の衝突を検知するための衝突検
知手段と、この衝突検知手段によって車両の衝突が検知
された場合に、膨張するエアバッグとを有する車載機器
制御装置であって、車両の座席についている者の距離画
像を取得するための距離画像取得手段と、前記衝突検知
手段によって車両の衝突が検知された場合に、前記距離
画像取得手段によって取得された距離画像から予め記憶
された解釈規則をもとに、座席についている者及びその
体勢を判定する判定手段と、この判定手段による判定結
果に基づいて、前記エアバッグの膨張を制御するための
膨張制御手段とを具備することを特徴とする。
知手段と、この衝突検知手段によって車両の衝突が検知
された場合に、膨張するエアバッグとを有する車載機器
制御装置であって、車両の座席についている者の距離画
像を取得するための距離画像取得手段と、前記衝突検知
手段によって車両の衝突が検知された場合に、前記距離
画像取得手段によって取得された距離画像から予め記憶
された解釈規則をもとに、座席についている者及びその
体勢を判定する判定手段と、この判定手段による判定結
果に基づいて、前記エアバッグの膨張を制御するための
膨張制御手段とを具備することを特徴とする。
【００１６】さらに、車両の座席についている者の距離
画像を取得するための距離画像取得手段と、この距離画
像取得手段によって取得された距離画像から予め記憶さ
れた解釈規則をもとに、座席についている者及びその体
勢を判定する判定手段と、この判定手段によって運転者
が居眠りをしている体勢であると判定された場合に、警
告を与える手段とを具備するを特徴とする。
画像を取得するための距離画像取得手段と、この距離画
像取得手段によって取得された距離画像から予め記憶さ
れた解釈規則をもとに、座席についている者及びその体
勢を判定する判定手段と、この判定手段によって運転者
が居眠りをしている体勢であると判定された場合に、警
告を与える手段とを具備するを特徴とする。
【００１７】
【発明の実施の形態】［第１の実施例］図１に取得した
助手席の同乗者の距離画像に対応して、エアバッグ膨張
の制御を行う第１の実施例の概略構成図を示す。
助手席の同乗者の距離画像に対応して、エアバッグ膨張
の制御を行う第１の実施例の概略構成図を示す。
【００１８】図２に示すような距離画像取得部６と、定
常時において、同乗者の特定などをおこなうための解釈
規則を記憶する定常時解釈記憶部４と、衝突時などの災
害時のための解釈を記憶する非常時解釈記憶部５と、こ
れらの解釈記憶部に記憶された規則を利用して、距離画
像取得部６が取得した距離画像の処理と解釈を行う画像
処理部２と、衝突を検知する衝突検知部７と、衝突時に
膨張し、同乗者を障害から守るエアバッグ８と、衝突検
知部７から知らされた衝突と、画像処理部２の結果にも
とづいてエアバッグ８の膨張を制御するエアバッグ膨張
制御部１と、これらを制御する情報管理部３から構成さ
る。
常時において、同乗者の特定などをおこなうための解釈
規則を記憶する定常時解釈記憶部４と、衝突時などの災
害時のための解釈を記憶する非常時解釈記憶部５と、こ
れらの解釈記憶部に記憶された規則を利用して、距離画
像取得部６が取得した距離画像の処理と解釈を行う画像
処理部２と、衝突を検知する衝突検知部７と、衝突時に
膨張し、同乗者を障害から守るエアバッグ８と、衝突検
知部７から知らされた衝突と、画像処理部２の結果にも
とづいてエアバッグ８の膨張を制御するエアバッグ膨張
制御部１と、これらを制御する情報管理部３から構成さ
る。
【００１９】図２は、特開平１０−１７７４４９号公報
に示されているような距離画像取得部６の概略図であ
る。中央の円の部分がレンズであり、周囲に並ぶ小さな
円は例えば、赤外などの光を照射するＬＥＤにあたる。
ＬＥＤから照射された光が物体に反射され、レンズによ
り集光され、レンズの後部にあるエリアセンサで受光さ
れる。
に示されているような距離画像取得部６の概略図であ
る。中央の円の部分がレンズであり、周囲に並ぶ小さな
円は例えば、赤外などの光を照射するＬＥＤにあたる。
ＬＥＤから照射された光が物体に反射され、レンズによ
り集光され、レンズの後部にあるエリアセンサで受光さ
れる。
【００２０】距離画像取得部６１は、中央の円の部分が
レンズであり、周囲に並ぶ小さな円形の発光部６１１は
例えば、赤外光などの光を照射するＬＥＤにあたる。タ
イミング信号生成部６１４の信号に従い、ＬＥＤから照
射された光が物体に反射され、レンズにより集光され、
レンズの後部にあるエリアセンサ（受光部６１２）で受
光される。受光した光は、反射光抽出部６１３によっ
て、画像として取得される。このように取得された画像
は例えば、図３のような形式になっている。
レンズであり、周囲に並ぶ小さな円形の発光部６１１は
例えば、赤外光などの光を照射するＬＥＤにあたる。タ
イミング信号生成部６１４の信号に従い、ＬＥＤから照
射された光が物体に反射され、レンズにより集光され、
レンズの後部にあるエリアセンサ（受光部６１２）で受
光される。受光した光は、反射光抽出部６１３によっ
て、画像として取得される。このように取得された画像
は例えば、図３のような形式になっている。
【００２１】図３（ａ）は取得した画像データの一部
（２５６×２５６の一部の８×８）を示したものであ
る。この例では、行列中のセルの値は、取得した反射光
の強さを８ビット（２５６階調）で示したものである。
２５５の値があるセルは、画像取得部１に最も接近した
状態、０の値があるセルは、画像取得部１から遠くにあ
り、反射光が画像取得部１にまで到達しないことを示し
ている。図３（ｂ）は取得した画像データ全体を３次元
的に示したものである。この例では、人間の手を取得し
たデータを示している。
（２５６×２５６の一部の８×８）を示したものであ
る。この例では、行列中のセルの値は、取得した反射光
の強さを８ビット（２５６階調）で示したものである。
２５５の値があるセルは、画像取得部１に最も接近した
状態、０の値があるセルは、画像取得部１から遠くにあ
り、反射光が画像取得部１にまで到達しないことを示し
ている。図３（ｂ）は取得した画像データ全体を３次元
的に示したものである。この例では、人間の手を取得し
たデータを示している。
【００２２】画像処理部２は、図３（ａ）のような形式
で距離画像取得部６で取得された距離画像を受け取り、
エッジ切り出し、重心抽出、面積算出など種々の画像処
理を行う。
で距離画像取得部６で取得された距離画像を受け取り、
エッジ切り出し、重心抽出、面積算出など種々の画像処
理を行う。
【００２３】ここで、（ｉ，ｊ）の画素値をＰijとし、
生成する輪郭情報の画素をＲijとすると、 Ｒij＝２５５（If（Pij−Pi-1j）＞α＆（Pij−Pij-1）
＞α＆（Pij−Pi+1j）＞α＆（Pij−Pij+1）＞α） Ｒij＝０（上記以外） とすることにより、図４のような輪郭情報を得ることが
できる。
生成する輪郭情報の画素をＲijとすると、 Ｒij＝２５５（If（Pij−Pi-1j）＞α＆（Pij−Pij-1）
＞α＆（Pij−Pi+1j）＞α＆（Pij−Pij+1）＞α） Ｒij＝０（上記以外） とすることにより、図４のような輪郭情報を得ることが
できる。
【００２４】以下、図５をもとに第１の実施例における
処理の流れを示す図である。まず、助手席に座っている
のが、子供なのか、大人なのか、あるいは妊産婦なのか
を見分けるために、距離画像取得部６により、定常状態
での撮像を行う（ステップＳ５０１）。得られた図３の
ような距離画像を画像処理部２に送る。
処理の流れを示す図である。まず、助手席に座っている
のが、子供なのか、大人なのか、あるいは妊産婦なのか
を見分けるために、距離画像取得部６により、定常状態
での撮像を行う（ステップＳ５０１）。得られた図３の
ような距離画像を画像処理部２に送る。
【００２５】画像処理部２は、図６に示すような撮像画
像のフィルタリング、２次元、３次元での重心、面積、
体積、ＦＦＴ（高速フーリエ解析）、パターンマッチン
グなどの汎用的な画像処理機能の他に、撮像画像や解析
結果の高速表示をおこなうことのできるＳＤＫ（ソフト
ウェア開発キット）を有している。
像のフィルタリング、２次元、３次元での重心、面積、
体積、ＦＦＴ（高速フーリエ解析）、パターンマッチン
グなどの汎用的な画像処理機能の他に、撮像画像や解析
結果の高速表示をおこなうことのできるＳＤＫ（ソフト
ウェア開発キット）を有している。
【００２６】例えば、このＳＤＫのパターンマッチング
機能を使うと、図７に示すように、あらかじめ取得した
画像をパターン画像として登録し、撮像画像とパターン
画像との比較を行うときに、比較すべき切り出し領域を
正規化し、さらに、その重心位置をあわせた比較を行う
ことができる。
機能を使うと、図７に示すように、あらかじめ取得した
画像をパターン画像として登録し、撮像画像とパターン
画像との比較を行うときに、比較すべき切り出し領域を
正規化し、さらに、その重心位置をあわせた比較を行う
ことができる。
【００２７】あるいは、図８に示すように、ＳＤＫのオ
プティカルフロー機能とベクトル高速表示機能を使う
と、撮像画像に対して、オプティカルフローをリアルタ
イムに表示することが可能である。図８の例は、右側が
最新の撮像画像、左側がそれより一つ前に撮像した画像
である。左側の撮像画像に対して、右側の撮像画像のオ
プティカルフローを検出して、右側の撮像画像に矢印を
使って、重ねて表示している。例えば、親指に注目する
と、左側の画像より、右側の画像の親指の方が、下向き
になっている。これが、右側の親指からのびている矢印
（オプティカルフロー）として、コンピュータに識別さ
れているわけである。
プティカルフロー機能とベクトル高速表示機能を使う
と、撮像画像に対して、オプティカルフローをリアルタ
イムに表示することが可能である。図８の例は、右側が
最新の撮像画像、左側がそれより一つ前に撮像した画像
である。左側の撮像画像に対して、右側の撮像画像のオ
プティカルフローを検出して、右側の撮像画像に矢印を
使って、重ねて表示している。例えば、親指に注目する
と、左側の画像より、右側の画像の親指の方が、下向き
になっている。これが、右側の親指からのびている矢印
（オプティカルフロー）として、コンピュータに識別さ
れているわけである。
【００２８】以上のような処理を行う画像処理部２にお
いて、画像処理を行った結果と、定常時解釈規則記憶部
４に記憶された規則とを参照し、定常時の状態を解釈す
る（ステップＳ５０２）。
いて、画像処理を行った結果と、定常時解釈規則記憶部
４に記憶された規則とを参照し、定常時の状態を解釈す
る（ステップＳ５０２）。
【００２９】定常時解釈規則記憶部４には、例えば、図
９のような形式で定常時に取得した画像を解釈するの
に、使用される規則が記憶されている。助手席に座って
いるのが、子供や妊婦である場合には、衝突事故時でも
エアバッグを膨張しないことが必要なので、ここでは、
子供か、妊婦かを見分けるための規則が記憶されてい
る。
９のような形式で定常時に取得した画像を解釈するの
に、使用される規則が記憶されている。助手席に座って
いるのが、子供や妊婦である場合には、衝突事故時でも
エアバッグを膨張しないことが必要なので、ここでは、
子供か、妊婦かを見分けるための規則が記憶されてい
る。
【００３０】また、子供や妊婦でなくても、顔の向きに
よっては、不用意にエアバッグを膨張させると、窒息さ
せるおそれがあるので、顔の向きなどを識別する規則が
格納されている。
よっては、不用意にエアバッグを膨張させると、窒息さ
せるおそれがあるので、顔の向きなどを識別する規則が
格納されている。
【００３１】例えば、規則１は、助手席に座っているの
が、子供か大人かを見分ける規則の１つである。この場
合には、子供は頭の大きさが大人とほとんど変わらない
ため、身長（ここでは、座っていることを想定している
ので、座高）に対する割合が大きいことを利用してい
る。つまり、座高値ｂに対する頭長値ｈがある一定値
（ここではα）より大きければ、子供、小さければ、大
人としている。座高値ｂや頭長値ｈは取得した画像よ
り、画像処理部２において、輪郭を抽出し、そこより求
めることができる。
が、子供か大人かを見分ける規則の１つである。この場
合には、子供は頭の大きさが大人とほとんど変わらない
ため、身長（ここでは、座っていることを想定している
ので、座高）に対する割合が大きいことを利用してい
る。つまり、座高値ｂに対する頭長値ｈがある一定値
（ここではα）より大きければ、子供、小さければ、大
人としている。座高値ｂや頭長値ｈは取得した画像よ
り、画像処理部２において、輪郭を抽出し、そこより求
めることができる。
【００３２】規則２は、助手席に座っているのが、妊婦
かどうかを見分けるための規則である。妊婦の場合に
は、腹部と顔の奥行き方向をみて、腹部がでっぱている
かどうかを見る。それが、（上半身最近値ｚｂ−頭部最
近値ｚｈ）である。つまり上半身の最近値（腹部の奥行
き）ｚｂと頭部の最近値ｚｈを比較する。この値だけ
は、単に肥満との差が見分けにくいので、上半身の体幅
ｗで正規化をし、この値がある一定値（ここではβ）を
越えているかどうかにより判定を行っている。
かどうかを見分けるための規則である。妊婦の場合に
は、腹部と顔の奥行き方向をみて、腹部がでっぱている
かどうかを見る。それが、（上半身最近値ｚｂ−頭部最
近値ｚｈ）である。つまり上半身の最近値（腹部の奥行
き）ｚｂと頭部の最近値ｚｈを比較する。この値だけ
は、単に肥満との差が見分けにくいので、上半身の体幅
ｗで正規化をし、この値がある一定値（ここではβ）を
越えているかどうかにより判定を行っている。
【００３３】ステップＳ５０３では、衝突検知部７より
衝突検知が通知されたかどうか、つまり衝突したかどう
かを確認している。衝突していなければ、ステップＳ５
０１に戻り、定常時撮像を継続する。
衝突検知が通知されたかどうか、つまり衝突したかどう
かを確認している。衝突していなければ、ステップＳ５
０１に戻り、定常時撮像を継続する。
【００３４】衝突した場合には、非定常時撮像を行う
（ステップＳ５０４）。このステップは場合によって
は、その直前の定常時撮像（ステップＳ５０１）で撮像
された画像を使えるので、その場合には、このＳ５０４
の処理を省略できる。
（ステップＳ５０４）。このステップは場合によって
は、その直前の定常時撮像（ステップＳ５０１）で撮像
された画像を使えるので、その場合には、このＳ５０４
の処理を省略できる。
【００３５】撮像後、画像処理部２において、非定常時
解釈規則記憶部５に記憶された非定常時解釈規則をもと
に解釈を行う（ステップＳ５０５）。
解釈規則記憶部５に記憶された非定常時解釈規則をもと
に解釈を行う（ステップＳ５０５）。
【００３６】図１０は、非定常時解釈規則記憶部５に記
憶された非定常時解釈規則の一例を示すものである。
憶された非定常時解釈規則の一例を示すものである。
【００３７】エアバッグ膨張時にエアバッグに非常に近
いところに人間がいると、膨張するエアバッグと人間が
激しくぶつかり、その反動により大きな障害を受ける可
能性がある。このような状況を防ぐための規則が規則１
である。危険領域と見なすような非常に近い場所に人間
がいるかどうかを判別するには、従来の赤外センサなど
による距離センサで十分である。
いところに人間がいると、膨張するエアバッグと人間が
激しくぶつかり、その反動により大きな障害を受ける可
能性がある。このような状況を防ぐための規則が規則１
である。危険領域と見なすような非常に近い場所に人間
がいるかどうかを判別するには、従来の赤外センサなど
による距離センサで十分である。
【００３８】しかし、実際には、従来の距離センサで
は、近いところにあるものが人間か、ハエのような昆虫
かを識別することができない。このため、従来の距離セ
ンサでは、ハエが遮っただけで、危険領域に人間がいる
とみなしてエアバッグが膨らまないことになる。このよ
うな問題を解決するために、規則１では、危険領域に物
体があるか「最近距離ｚ＜δ」の式で判別するととも
に、その物体の体積が人間と見なせるほど十分大きいか
を次の式「体積ｖ＞ε」で判別し、両者が真のとき、危
険範囲内に人間がいるという結果をだすようになってい
る。ここで、δ，εは所定の閾値である。
は、近いところにあるものが人間か、ハエのような昆虫
かを識別することができない。このため、従来の距離セ
ンサでは、ハエが遮っただけで、危険領域に人間がいる
とみなしてエアバッグが膨らまないことになる。このよ
うな問題を解決するために、規則１では、危険領域に物
体があるか「最近距離ｚ＜δ」の式で判別するととも
に、その物体の体積が人間と見なせるほど十分大きいか
を次の式「体積ｖ＞ε」で判別し、両者が真のとき、危
険範囲内に人間がいるという結果をだすようになってい
る。ここで、δ，εは所定の閾値である。
【００３９】ただし、身体が前方に倒れたりしている
と、体積が精確に計測できないおそれがある。このよう
な問題点を解決するために、規則２では、危険範囲内で
前屈した物体があるかどうかを判別している。また、規
則３と規則４は顔がどこを向いているかを見分けるため
の規則である。
と、体積が精確に計測できないおそれがある。このよう
な問題点を解決するために、規則２では、危険範囲内で
前屈した物体があるかどうかを判別している。また、規
則３と規則４は顔がどこを向いているかを見分けるため
の規則である。
【００４０】次にエアバッグ膨張制御部１は、ステップ
Ｓ５０２とＳ５０４の結果をもとに、エアバッグ８を膨
らませるかどうかの制御を行う。ステップＳ５０２で、
妊婦、子供と判定されているときには、エアバッグを膨
張させないよう制御する。また、ステップＳ５０２で
は、妊婦あるいは子供と判断されていないが、ステップ
Ｓ５０４で、危険範囲内に人間、あるいは前屈している
と判定されているときには、エアバッグを膨らませない
よう制御する。
Ｓ５０２とＳ５０４の結果をもとに、エアバッグ８を膨
らませるかどうかの制御を行う。ステップＳ５０２で、
妊婦、子供と判定されているときには、エアバッグを膨
張させないよう制御する。また、ステップＳ５０２で
は、妊婦あるいは子供と判断されていないが、ステップ
Ｓ５０４で、危険範囲内に人間、あるいは前屈している
と判定されているときには、エアバッグを膨らませない
よう制御する。
【００４１】あるいは、妊婦、子供と判定されている
が、衝撃の度合いがひどい場合、ステップＳ５０４で横
を向いていて、窒息する危険性がなく、ステップＳ５０
４で危険範囲内にいないこと、前屈していないことが確
認されているときに、エアバッグを顔に当たらない方向
に膨張させるよう制御する。
が、衝撃の度合いがひどい場合、ステップＳ５０４で横
を向いていて、窒息する危険性がなく、ステップＳ５０
４で危険範囲内にいないこと、前屈していないことが確
認されているときに、エアバッグを顔に当たらない方向
に膨張させるよう制御する。
【００４２】［第１の発明の効果］以上のように本発明
によれば、同乗者とエアバッグまでの距離値、同乗者の
体積値を使って、助手席の同乗者の状態を判別して、エ
アバッグの膨張を制御させることができるので、衝突時
でのエアバッグ膨張による危険性を大きく減らすことが
できるので、その効果は大きい。
によれば、同乗者とエアバッグまでの距離値、同乗者の
体積値を使って、助手席の同乗者の状態を判別して、エ
アバッグの膨張を制御させることができるので、衝突時
でのエアバッグ膨張による危険性を大きく減らすことが
できるので、その効果は大きい。
【００４３】［第２の実施例］図１１は第２の実施例の
概略構成図である。第１の実施例では、助手席の同乗者
の状態を検知しているが、第２の実施例では、取得した
画像にもとづいて、運転者と同乗者双方の状態を検知し
て、車載機器の制御を行うものである。
概略構成図である。第１の実施例では、助手席の同乗者
の状態を検知しているが、第２の実施例では、取得した
画像にもとづいて、運転者と同乗者双方の状態を検知し
て、車載機器の制御を行うものである。
【００４４】第２の実施例の構成は、第１の実施例の構
成に運転者操作解釈部９とカーナビ制御部１０を追加し
たものである。
成に運転者操作解釈部９とカーナビ制御部１０を追加し
たものである。
【００４５】距離画像取得部６は、高解像度になってい
て、例えば、図１２に示すように、左半面は運転者、右
半面は同乗者（左ハンドル車では逆）を取得するように
なっている。あるいは、距離画像取得部６は周期的に角
度をかえ、運転者と同乗者の画像を交互に取得するよう
になっていてもよい。
て、例えば、図１２に示すように、左半面は運転者、右
半面は同乗者（左ハンドル車では逆）を取得するように
なっている。あるいは、距離画像取得部６は周期的に角
度をかえ、運転者と同乗者の画像を交互に取得するよう
になっていてもよい。
【００４６】情報管理部３は、同乗者の画像に関して
は、第１の実施例と同様の処理を行い、また、運転者の
画像に関しては、運転者操作解釈部９を起動し、その結
果、カーナビなどの車載機器の操作制御部１０が操作制
御を行うように、管理を行う。
は、第１の実施例と同様の処理を行い、また、運転者の
画像に関しては、運転者操作解釈部９を起動し、その結
果、カーナビなどの車載機器の操作制御部１０が操作制
御を行うように、管理を行う。
【００４７】あるいは、運転者操作解釈部９では、運転
者の頭の動きの周期を認識し、一定周期で動く時間があ
る一定時間を越えたら、居眠りをしている危険性がある
ので、その認識結果をカーナビ制御部１０に送る。カー
ナビ制御部１０より警報を発する等して、運転者に注意
を促すなどの対策を実施することもできる。
者の頭の動きの周期を認識し、一定周期で動く時間があ
る一定時間を越えたら、居眠りをしている危険性がある
ので、その認識結果をカーナビ制御部１０に送る。カー
ナビ制御部１０より警報を発する等して、運転者に注意
を促すなどの対策を実施することもできる。
【００４８】
【発明の効果】以上、本発明によれば、１台の画像取得
部を用いるだけで、同乗者、運転者双方に対応した処理
を行うことができるので、大きな低コスト化につなが
る。
部を用いるだけで、同乗者、運転者双方に対応した処理
を行うことができるので、大きな低コスト化につなが
る。
【図１】第１の実施例の概略構成図
【図２】第１の実施例の距離画像取得部の概要の一例
【図３】は第１の実施例の画像取得部が取得した画像形
式の一例
式の一例
【図４】第１の実施例の画像処理部の処理結果の一例
【図５】第１の実施例の処理の流れ図
【図６】第１の実施例中の画像処理部内の処理機能の一
例
例
【図７】第１の実施例中の画像処理部の処理結果の一例
【図８】第１の実施例中の画像処理部の処理結果の一例
【図９】第１の実施例中の定常時規則記憶部の記憶の一
例
例
【図１０】第１の実施例中の非定常時規則記憶部の記憶
の一例
の一例
【図１１】第２の実施例の概略構成図
【図１２】第２の実施例中の画像取得部が取得した画像
一例
一例
１…エアバッグ膨張制御部 ２…画像処理部 ３…情報管理部 ４…定常時解釈記憶部 ５…非常時解釈記憶部 ６…距離画像取得部 ７…衝突検知部 ８…エアバッグ ９…運転者操作解釈部 １０…カーナビ制御部
Claims (6)
- 【請求項１】車両の座席についている者の距離画像を取
得するための距離画像取得手段と、 この距離画像取得手段によって取得された距離画像から
予め記憶された解釈規則をもとに、座席についている者
及びその体勢を判定する判定手段と、 この判定手段による判定結果に基づいて、車載機器の制
御を行うための車載機器制御手段とを具備することを特
徴とする車載機器制御装置。 - 【請求項２】車両の衝突を検知するための衝突検知手段
と、 この衝突検知手段によって車両の衝突が検知された場合
に、膨張するエアバッグとを有する車載機器制御装置で
あって、 車両の座席についている者の距離画像を取得するための
距離画像取得手段と、 前記衝突検知手段によって車両の衝突が検知された場合
に、前記距離画像取得手段によって取得された距離画像
から予め記憶された解釈規則をもとに、座席についてい
る者及びその体勢を判定する判定手段と、 この判定手段による判定結果に基づいて、前記エアバッ
グの膨張を制御するための膨張制御手段とを具備するこ
とを特徴とする車載機器制御装置。 - 【請求項３】車両の座席についている者の距離画像を取
得するための距離画像取得手段と、 この距離画像取得手段によって取得された距離画像から
予め記憶された解釈規則をもとに、座席についている者
及びその体勢を判定する判定手段と、 この判定手段によって運転者が居眠りをしている体勢で
あると判定された場合に、警告を与える手段とを具備す
ることを特徴とする車載機器制御装置。 - 【請求項４】車両の座席についている者の距離画像を取
得し、 取得された距離画像から予め記憶された解釈規則をもと
に、座席についている者及びその体勢を判定し、 この判定結果に基づいて、車載機器の制御を行うことを
特徴とする車載機器制御方法。 - 【請求項５】車両の衝突を検知し、車両の衝突が検知さ
れた場合に、エアバッグの動作を制御する車載機器制御
方法であって、 車両の座席についている者の距離画像を取得し、 車両の衝突が検知された場合に、取得された距離画像か
ら予め記憶された解釈規則をもとに、座席についている
者及びその体勢を判定し、 この判定結果に基づいて、前記エアバッグの膨張を制御
することを特徴とする車載機器制御方法。 - 【請求項６】車両の座席についている者の距離画像を取
得し、 取得された距離画像から予め記憶された解釈規則をもと
に、座席についている者及びその体勢を判定し、 運転者が居眠りをしている体勢であると判定された場合
に、警告を与えることを特徴とする車載機器制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08801399A JP3751467B2 (ja) | 1999-03-30 | 1999-03-30 | 車載機器制御装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08801399A JP3751467B2 (ja) | 1999-03-30 | 1999-03-30 | 車載機器制御装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000280858A true JP2000280858A (ja) | 2000-10-10 |
| JP3751467B2 JP3751467B2 (ja) | 2006-03-01 |
Family
ID=13930973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08801399A Expired - Fee Related JP3751467B2 (ja) | 1999-03-30 | 1999-03-30 | 車載機器制御装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3751467B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| US7607509B2 (en) | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
| JP2014002042A (ja) * | 2012-06-19 | 2014-01-09 | Funai Electric Co Ltd | 携帯端末およびプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10272961A (ja) * | 1997-03-31 | 1998-10-13 | Nissan Diesel Motor Co Ltd | 居眠り警報装置 |
| JPH1115980A (ja) * | 1997-06-11 | 1999-01-22 | Eaton Corp | 自動車内の物体の存在を検知する装置 |
| JPH1120606A (ja) * | 1997-07-01 | 1999-01-26 | Mitsubishi Electric Corp | 乗員拘束装置 |
| JPH1178657A (ja) * | 1997-09-11 | 1999-03-23 | Toyota Motor Corp | 座席の使用状況判定装置 |
-
1999
- 1999-03-30 JP JP08801399A patent/JP3751467B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10272961A (ja) * | 1997-03-31 | 1998-10-13 | Nissan Diesel Motor Co Ltd | 居眠り警報装置 |
| JPH1115980A (ja) * | 1997-06-11 | 1999-01-22 | Eaton Corp | 自動車内の物体の存在を検知する装置 |
| JPH1120606A (ja) * | 1997-07-01 | 1999-01-26 | Mitsubishi Electric Corp | 乗員拘束装置 |
| JPH1178657A (ja) * | 1997-09-11 | 1999-03-23 | Toyota Motor Corp | 座席の使用状況判定装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7607509B2 (en) | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
| WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| JP2014002042A (ja) * | 2012-06-19 | 2014-01-09 | Funai Electric Co Ltd | 携帯端末およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3751467B2 (ja) | 2006-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113556975B (zh) | 检测车辆中的对象并获得对象信息的系统、装置和方法 | |
| US10572746B2 (en) | Apparatus detecting driving incapability state of driver | |
| US8379924B2 (en) | Real time environment model generation system | |
| US7607509B2 (en) | Safety device for a vehicle | |
| CN106463065B (zh) | 驾驶员的驾驶不能状态检测装置 | |
| US10503987B2 (en) | Apparatus detecting driving incapability state of driver | |
| US6757009B1 (en) | Apparatus for detecting the presence of an occupant in a motor vehicle | |
| JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
| WO2015076152A1 (ja) | ヘルメット着用判定方法、ヘルメット着用判定システム、ヘルメット着用判定装置及びプログラム | |
| US7379559B2 (en) | Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system | |
| US6608910B1 (en) | Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination | |
| CN110651313A (zh) | 控制装置和控制方法 | |
| JP2002059796A (ja) | カメラ画像に基づいて道路使用者および障害物を検出し、観察者との距離を求めてクラシフィケーションする方法および装置 | |
| EP2908726B1 (en) | Method and device for detecting decreased attentiveness of vehicle driver | |
| JP4872245B2 (ja) | 歩行者認識装置 | |
| EP2107504A1 (en) | Method and device for generating a real time environment model for vehicles | |
| JP2001199296A (ja) | 警報装置、振動体を有する運転座席、警報装置を車両に搭載した移動体 | |
| US7295123B2 (en) | Method for detecting a person in a space | |
| KR101515482B1 (ko) | 차량 주변의 장애물 위험도를 고려한 운전 지원 장치 및 그 동작 방법 | |
| JP2007153035A (ja) | 乗員着座判定システム | |
| JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
| JP2005108033A (ja) | 運転者状況判定装置および運転者状況判定方法 | |
| JP2013252863A (ja) | 乗員拘束制御装置および乗員拘束制御方法 | |
| JP3751467B2 (ja) | 車載機器制御装置および方法 | |
| KR100571038B1 (ko) | 스테레오 카메라를 이용한 탑승자 인식 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041018 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050531 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050729 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131216 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |