JP2007033439A - 自動車の安全に対する人間顔面特徴認識の適用 - Google Patents

自動車の安全に対する人間顔面特徴認識の適用 Download PDF

Info

Publication number
JP2007033439A
JP2007033439A JP2006183548A JP2006183548A JP2007033439A JP 2007033439 A JP2007033439 A JP 2007033439A JP 2006183548 A JP2006183548 A JP 2006183548A JP 2006183548 A JP2006183548 A JP 2006183548A JP 2007033439 A JP2007033439 A JP 2007033439A
Authority
JP
Japan
Prior art keywords
infrared
vehicle
pulsed
video data
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006183548A
Other languages
English (en)
Inventor
John J Berenz
ベレンツ，ジョン・ジェイ
George W Mciver
マクアイヴァー，ジョージ・ダブリュー
Joseph W Niesen
ニーセン，ジョセフ・ダブリュー
Barry Dunbridge
ダンブリッジ，バリー
Gregory A Shreve
シュレヴェ，グレゴリー・エイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Space and Mission Systems Corp
Original Assignee
Northrop Grumman Space and Mission Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrop Grumman Space and Mission Systems Corp filed Critical Northrop Grumman Space and Mission Systems Corp
Publication of JP2007033439A publication Critical patent/JP2007033439A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01534—Passenger detection systems using field detection presence sensors using electromagneticwaves, e.g. infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)
  • Air Bags (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】顔面認識ソフトウエアを使用するにあたりその判断を精度を向上させた作像装置を提供する
【解決手段】
作像装置は所定の視野に沿って赤外信号を放出する赤外線源（３０）と、視野内の対象物から反射された赤外照射を受け取る赤外センサ（３４）とを使用する。顔面認識ソフトウエアを含むプロセッサは人間を特定し、追跡するように人間の顔面を検出するために使用される。赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、上記プロセッサは、背景を排除するように、上記駒の差を求める駒差分を行うようになっている。
【選択図】 図２

Description

本発明は一般に人間の存在を検出するための車両における作像装置に関し、特に、人間の顔面を特定し、この情報を車両安全目的に対して使用するために車両に使用する作像装置に関する。
国家主要道路交通安全政策(National Highway Traffic Safety Administration)は１９９８年以降に製造されたすべての乗用車に対して乗員側（即ち同乗者側）エアバッグを要求している。エアバッグは数千もの人命を救ったが、一層安全なエアバッグ展開装置は更に一層の人命を救うことができる。一層安全で一層有効な発展したエアバッグが必要であることを国家主要道路交通安全政策は提案している。従って、当分野において、車両の乗員座席（即ち同乗者の座席）における人間の検出、特定及び追跡に応じてエアバッグの展開を決定する発展したエアバッグ展開装置の要求がある。
将来のエアバッグ展開装置は車両の乗員座席における人間を特定し、追跡できるものとなろう。この情報に基づき、装置は、人間が乗員座席に着席しているか否かに応じて及び人間の寸法やエアバッグ展開装置に関する人間の位置に応じて、クラッシュ事故中にエアバッグを始動するか、低速でエアバッグを始動するか又は通常の高速でエアバッグを始動するかの信号を提供する。１つの例においては、人間が乗員座席で検出され、エアバッグドアからある小距離（例えば、３インチ（約７６．２ｍｍ）以内）離れている場合は、エアバッグはクラッシュ事故中に始動しない。人間が乗員座席で検出され、エアバッグドアに対して近い（例えば、３インチないし８インチ（約２０３．２ｍｍ）の間）場合は、エアバッグはクラッシュ事故中に低速で始動する。人間が乗員座席で検出され、エアバッグドアから一層十分に離れている（例えば、８インチ以上）場合は、エアバッグはクラッシュ事故中に通常の高速で始動する。
現在の乗員感知装置は典型的にはエアバッグの展開のために乗員を検出するための超音波、重量、赤外及び（又は）電磁センサを含む。超音波感知装置は乗員座席領域内の対象物の動きを感知し、対象物がセンサの位置に対して近づいているか離れて行くかを決定する。しかし、超音波センサは対象物の性質を特定せず、従って、人間であるか又は食品雑貨のバッグの如きある他の対象物であるかを見分けることができない。超音波センサと同様、能動ドップラーレーダー装置に使用されるマイクロ波センサは対象物を追跡できるが、人間の存在を特定できない。重量センサは加えられた圧力に基づき乗員座席内の対象物を特定するが、エアバッグに関する乗員の位置を考慮しない。受動ＩＲセンサは乗員座席の熱画像を取得するが、これらの装置は極めて高価である。現在の能動ＩＲセンサはエアバッグに関する乗員の相対位置を感知するが、人間の存在を特定できない。電磁装置はＬＣ共振回路を含み、存在を検出し対象物を特定するために人体のキャパシタンスを使用するが、これらの装置は対象物を追跡できない。
次に示す米国特許文献は車両の乗員コンパートメント内の人間を特定し、位置決めし、監視することを要求する車両内部監視装置を開示している。
米国特許第５，８３５，６１３号明細書（１９９８年１１月１０日発行） この監視装置は車両の内部を照明する赤外エミッタと、放射線を検出する電荷結合素子（ＣＣＤ）アレイとを使用する。ＣＣＤアレイからの出力は乗員座席内の内容即ち対象物を分類し、特定し又は位置決めするためにパターン認識アルゴリズムを使用するコンピュータ装置により分析される。
上記米国特許第５，８３５，６１３号明細書に開示された車両の乗員を決定するためのパターン認識装置は種々の条件の下にすべての種類の証明位置における個人の形状を学習しなければならない複雑なソフトウエアを使用する。更に、この方法でのパターン認識の使用は乗員座席のまわりで移動するときに個人を追跡するその能力を制限する。更に、一般的なパターン認識により人間を特定し、追跡する能力は信頼性に疑問がある。パターン認識はどれが人間であるかを特定できず、対象物の形状を検出するだけである。
要求されるものは、車両の乗員座席内の人間を有効に特定し、追跡できる改善されたエアバッグ展開センサ及び装置である。それ故、本発明の目的は車両乗員エアバッグ展開のためのそのような感知装置を提供することである。
本発明の教示によれば、車両の安全特徴を提供するための作像装置が開示され、この装置は人間を特定し、追跡するために顔面認識ソフトウエア及びアルゴリズムを使用する。この装置は所定の視野に沿って赤外信号を放出する赤外エミッタと、視野内の対象物から反射された赤外照射を受け取る、ビデオ信号アレイとして使用されるＣＭＯＳセンサの如き赤外センサとを含む。顔面認識ソフトウエアを含むプロセッサを使用して人間の顔面を検出する。顔面が検出されると、これをデータベースと比較し、人間を特定できる。
車両安全特徴を提供する作像装置の種々の応用は、車両のエアバッグを個人専用化する(personalizing) ために運転手又は乗員を特定すること、クラッシュ前衝突回避を提供すること、盲スポット検出を提供すること、車両のクラッシュ記録を提供すること、及び、運転手が眠たくなった場合に警報信号を提供することを含む。本発明の更なる目的、利点及び特徴は添付図面を参照しての以下の説明及び特許請求の範囲から明らかとなろう。
人間の顔面特徴認識を使用するエアバッグ展開装置に関する好ましい実施の形態の次の説明は本質的に単なる例示であり、本発明又はその応用又は使用を制限する意図のものではない。
本発明の１つの実施の形態によれば、車両の乗員座席内の人間を検出し、特定し、追跡する技術が開示される。上述のように、人間が車両の乗員座席を占めているか否かに応じて及びエアバッグドアへの人間の接近及び人間の寸法に応じて、クラッシュ事故中に、車両の乗員側（同乗者側）エアバッグを低速で展開させるか又はエアバッグを展開させないことが時々望ましい。本発明によれば、人間の特定及び追跡は顔面認識ソフトウエア、特に人間の目及び他の顔面特徴を認識し、追跡するソフトウエアにより決定される。追跡は多くの頭の角度及び姿勢で行うことができる。ソフトウエアアルゴリズムは範囲（レンジ）を見積もるために較正された顔面及び特徴分離を使用する。人間の顔面上の局部領域の追跡は１秒当りの一層多くの画像駒の取得を可能にし、人間の一層頻繁な追跡を許容する。顔面特徴の一層頻繁な追跡は、画像が一層頻繁に更新されるため、不鮮明な画像の取得を阻止する。
分析中の対象物から受け取ったビデオデータパターンからのデータを処理し、対象物が顔面であるか否かを決定する種々のソフトウエアは当業界で既知である。例えば、このようなソフトウエアは当業者にとって周知のビジオニクス・フェースイット(Visionics Face-It) ソフトウエアを含む。本発明は任意の特定の顔面特徴作図機能に限定されないが、二次元であるか又は三次元であるかに拘わらず、範囲分け(ranging) 機能のためにも同様に使用される顔面特徴を認識するための、ここで述べる目的にとって適した任意の既知のアルゴリズムを含むことができることを強調しておく。更に、本発明によれば、範囲分けアルゴリズムは既知の顔面認識ソフトウエアと組み合わせて使用される。
後に詳細に説明するが、本発明は車両の乗員コンパートメントの乗員側における対象物から反射される赤外放射線を使用し、この放射線は電子ビデオカメラにより受け取られる。ビデオカメラは人間の存在の特定及び追跡を決定するために顔面認識ソフトウエアにより使用される電気信号及び画像を発生させる。
図１は車両１２の乗員側コンパートメント１０の破断側立面図である。この図示においては、人間１６が乗員座席１８内に示され、人間１６はクラッシュ事故中に前方へ動いている。エアバッグ枕２０はクラッシュ事故中に計器パネル２２内に収容されたエアバッグドア２４を通して展開されている状態で示される。
ビデオカメラ及びＩＲＬＥＤ照明ユニット２６はここで述べる目的にとって適した位置で計器パネル２２上に装着される。図２は車両１２から取り外したユニット２６の斜視図である。ユニット２６は一群２８のＩＲＬＥＤ３０を含む。複数のＬＥＤ３０が設けられ、昼間作動のために必要な強度を発生させる。群団２８は人間１６の方へＩＲ放射線のビームを放出し、ビームは人間から反射してユニット２６の方へ戻る。ビデオカメラ３４がユニット２６内に設けられ、人間１６から反射された放射線を受け取る。ビデオカメラ３４は、ここで述べる目的にとって適した赤外放射線を検出する任意の検出器を使用できるような非限定的な例として使用される。
フィルタ３６がカメラ３４上に設けられ、所望の赤外範囲内にない放射線を濾波する。フィルタ３６は、ＴｉＯ２フィルタ又は偏光フィルタの如き、ここで述べる目的にとって適した任意のフィルタとすることができる。フィルタ層及び厚さは、ＩＲ画像を検出器へ伝達するが、検出器から可視画像を反射させるように選択することができる。ＩＲ波長を通過させるが、非ＩＲ波長を強力に減衰する電気光学偏光を使用して、検出器への可視光を減少させるために偏光フィルタを使用することができる。図３は日光のための輝度曲線を示し、ここでは、フィルタ３６は４０ｎｍバンドパス窓において赤外放射線を通過させる。フィルタ３６はエアバッグ展開装置の作動及び人間１６の顔面の認識に対して影響を及ぼすことのある日光に対してある保護を提供する。
本発明のこの実施の形態においては、単一のカメラを使用して、人間１６の範囲（レンジ）を取得し、監視する。この機能を遂行するために使用されるソフトウエアは範囲分けを提供するために乗員の顔面上の２つの別個の位置を利用する。好ましい実施の形態においては、範囲分けの目的のための三角法を提供するために検出されるのは人間の目である。しかし、当業者なら認識できるように、人間の耳等の如き、人間１６の他の顔面特徴も使用することができる。また、ソフトウエアアルゴリズムは、人間を取得即ち認識した後に人間を追跡するためには両方の目が視認されている必要がないように、人間の頭の寸法を決定即ち認識することを可能にする。更に、ソフトウエアは、顔面特徴又は頭寸法検出と組み合わせて、人間の胴の如き人体の他の部分を見るために使用できる。
人間の顔面特徴がユニークであるため、ソフトウエアがその人間を特に特定できるように、人間についての目間距離の如き特定の情報を記憶するためにデータベースを使用することができる。１つの例においては、装置が子供や第５番パーセント女性を特定でき、政府の指定する条例により要求されるようなそのような人間に対するエアバッグの始動を禁止できる点で、これは重要である。また、人間を特に特定できることは、装置の範囲分け精度を改善する。その理由は、装置がそのような人間の目の離間距離又は他の特殊な顔面特徴を知っているからである。
取得（認識）及び追跡ソフトウエアは特定の座席位置、エアバッグ位置、車両構造等のために較正する必要がある。図４はエアバッグドア２４の中心及び法線に関するカメラ方位及び位置パラメータを表す。カメラ及びビジオニクス・フェースイットソフトウエアが較正された後に本発明に係る範囲分けのために車両内で見積もらねばならない３つのパラメータは２つの位置オフセット即ち位置片寄り及び１つの角度オフセット即ち角度片寄りを含む。２つの位置片寄りはエアバッグドア２４の中心からの法線ベクトルに対して横方向で垂直に測定したエアバッグの中心に関するカメラ３４の横方向片寄り（ΔＹ）及びエアバッグドア２４の中心からの法線に平行な軸線に沿って測定したエアバッグ２４の中心に関するカメラ３４の前方又は後方片寄り（ΔＸ）である。角度パラメータはカメラ３４の光学軸線とエアバッグ２０の中心から来る法線ベクトルとの間の方位角片寄り（Δθ）である。これらのパラメータのうちの２つのみΔＸ、ΔΦは修正された単眼距離等式に使用される。
後述する較正手順はΔＹ、ΔＸ、ΔΦを決定するために使用することができる。多数の較正地点の測定とそれらの間の線形補間との間、又は、少数の較正地点の測定とそれらの間の非線形補間との間には、トレードオフ即ち交換がある。理論的には、多数の地点での較正はここで説明する見積もりのためのモデルを必要としない。粗い較正に必要な多数の測定を行うためのコスト、及び、粗い較正と気づかないでカメラ３４又はソフトウエアの範囲外作動が生じる可能性を、この試みを使用する前に考慮しなければならない。ここで使用される試みは補間のためのモデルを形成するために少数の較正試験を使用する。
図４から、エアバッグドア基準駒（ｘｙｚ）内でなされる測定をカメラレンズ基準駒（ｘｙｚ）内でなされる測定に関連づけるために次の等式を書くことができる。エアバッグドアの前方の顔面位置（ｘ＞０）のみが次の等式において考慮される。カメラの球面座標系において定義されるρ、θ（縦揺れ即ち仰角）及びφ（偏揺れ即ち方位角）に対して、エアバッグ座標系における変位ｘ、ｙについての等式は
Figure 2007033439
Figure 2007033439
である。これは、θ＋Δθが較正中一定であると仮定する。等式（１）、（２）を整理すると、
Figure 2007033439
となる。固定のｘ＋ΔＸでの目座標読み取り測定を行い、次いで、ｙにおける変化に関する正接の勾配をとると、
Figure 2007033439
となる。ｘ及び等式（４）の右辺の結果を知ることにより、ΔＸを決定することができる。ΔＸを知ることにより、等式（３）及び測定データをΔＹを決定するために使用することができる。次いで、ΔＸ、ΔＹ、等式（３）及びデータを使用して、Δφを決定することができる。等式（３）及び
Figure 2007033439
という事実を使用して、修正された単眼等式は目標地点パラメータｘ即ちエアバッグへの目の距離を画定するために等式（６）から続く。
Figure 2007033439
較正テーブルは、カメラ座標系で見られるような、関連する光線勾配にリンクされた画素値としてＳＤＫで決定された目座標の検索テーブルからなる。等式（６）は光線勾配（単数角度の正接）の点から単純化でき、もって、単眼作動からエアバッグへの目の距離を決定するために較正テーブルを直接使用することができる。以下の等式（７）における正接三角法特定を使用し、この特定を等式（６）に適用することにより、較正検索テーブルからの正接／勾配の直接の検索により使用することのできる形として修正された単眼等式を残す。
Figure 2007033439
この等式は以下の等式（８）により与えられる。
Figure 2007033439
図５はデジタル信号プロセッサ（ＤＳＰ）５２を含む本発明の作像装置５０のブロック線図である。ＤＳＰ５２はカメラ３４により発生された画像について分析を行う顔面認識ソフトウエア及び範囲分け機能を有する。クロック発生器６０は装置５０内の種々のデジタル装置のためのタイミングを提供し、パワー管理装置６２はパワーを提供する。ＤＳＰ５２はカメラ３４の如きＩＲ検出器を表す画素アレイ７２を含むＣＭＯＳチップ７０に接続される。この例においては、画素アレイ７２は所望のレベルの解像度を提供するために２５６×２５６の画素を含む。ＣＭＯＳチップ７０はまたタイミング及び制御の目的のための種々の素子を有し、これらの素子は状態整合ロジック７４、クロック／タイミング回路７６、アナログコンディショニング回路７８、レジスタ／バッファ８０、オンチッププログラム可能ロジック回路８２等を含む。更に、アナログ／デジタル変換器８４も設けられ、画素アレイ７２からのアナログ信号を代表的なデジタル信号に変換する。オンチップＳＲＡＭメモリー８６は記憶の目的で示されているが、同様にオフチップとすることができる。ここに開示した装置におけるこれらの装置の作動は当業者にとって明らかであろう。
１つの実施の形態においては、赤外ＬＥＤ３０はカメラ３４により受け取られる反射放射線を提供するように連続的にオンされる。しかし、典型的には、フィルタ３６を通されるカメラ３４上の直射日光により生じる問題を補正するためにある種の濾波又は信号処理を行わねばならない。特に、装置５０は日光及び乗員１６上の特徴の実際の縁部により生じる影間の区別を行うことができる必要がある。本発明によれば、所定の時間期間だけビデオデータの所定数の駒についてＬＥＤ３０を同期的にパルス作動させ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させる駒差分(frame differencing)技術を使用する。次いで、ＩＲ照明のない駒をＩＲ照明のある駒から差し引くことができ、背景を排除することができるように、データの駒が互いから差し引かれる。検出器は露光制御を提供するようにパルスと同期して電子的に遮断される。ここで述べる駒差分技術は所望の結果を達成するために赤外パルス作動に関連して使用される。換言すれば、駒差分は赤外パルスと同期化される。
駒差分の概念は自然照明のみ及び自然照明に赤外照明を付加したものを使用する画像の時間開口（アパーチュア）画素レベル記憶である。駒差分は強い可視照明の効果を軽減するためにこれらの画像が差し引かれるのを許容する。装備(set-up)はアナログ／デジタル変換器の入力を最大にするようにＩＲ照明プラス最悪の場合の背景を設定する天然濃度フィルタを含む。顔面認識は、差分画像のための最悪の場合のアナログ／デジタル範囲が５ないし６ビットとなることを必要とする。可視光はアナログ／デジタル変換器により許される残りの範囲内に適合する。画像差分は、２つの画素レベルコンデンサが各照明レベルで充電されるようなアナログ領域において、又は、デジタル化された画素出力のＲＡＭメモリーが各照明において取られるようなデジタル領域において遂行される。駒差分は可視の照明の照明効果を減じ、画像のコントラストを改善するように作用する。駒差分機能は取得／高帯域幅発生モード又はパルス作動ＬＥＤ照明を使用する狭帯域幅トラックモードで遂行することができる。パルス作動ＩＲ光源からの電子の数は周囲照明の光子ノイズの１０倍大きくなければならない。ここで、周囲照明のノイズは日光強度内での電子の数の２倍の平方根である。その理由は、受け取られるそれぞれ１つのＩＲ画像に対して２つの画像駒が取得されるからである。
図６は、本発明の１つの実施の形態に従って、駒差分がカメラ３４内でどのように遂行されるかを示す。図７は本発明の駒差分技術の作動を示す信号タイミングラインである。カメラ３４内の画素アレイ９０はＬＥＤ３０からのＩＲパルスの間に所定の時間期間（１０μｓ（ミクロン秒））だけ景色から放射線を受け取る。この時点で、画素アレイ９０は周囲光及び赤外光を受け取る。次いで、アレイ９０内の各画素即ちフォトダイオード９２により貯蔵されたチャージは複数のコンデンサ（各画素９２に対して１つのコンデンサ９６）からなるチャージ貯蔵箇所９４へ移送される。約１０μｓ後、群団２８からのパルスの終わりに、画素アレイ９０は同じ時間期間だけ周囲光を丁度検出する。この時間期間で画素アレイ９０により受け取られたチャージはコンデンサ１００を有するコンデンサ貯蔵箇所９８に貯蔵される。検出器内に電子シャッタを使用し、ここで述べる作動のためのＩＲ放射線のパルスと同期した適当な時間に開閉を行う。
２つの貯蔵箇所９４、９８は総合増幅器１０２で総合される。次いで、２つの貯蔵箇所９４、９８間の差がアナログ／デジタル変換器１０４によりデジタル化され、周囲光を除去したデータの駒を表す。データの読み取りは約１０ｍｓ（ミリ秒）行われ、次いで、次の時間期間で、群団２８からの次のパルスが生じる。完全な駒差分工程は、画素アレイ９０及び貯蔵箇所９４、９８が一緒になったＣＭＯＳ内の単一のチップ上で遂行される。別の実施の形態においては、駒差分は、貯蔵箇所９４、９８がＲＡＭであるようなオフチップ箇所において異なる時間期間で遂行される。
本発明の駒差分技術は次の方法で述べることができる。変数は周囲照明Ｉ（ｘ、ｙ）、直接周囲照明Ｔ（ｘ、ｙ）、景色反射率Ｒ（ｘ、ｙ）、及びオン時はＬでオフ時は０である変調源として定義される。カメラ３４の応答は反射率及び照明の積に比例する。
Figure 2007033439
この差景色は簡単な画像Ｓ（ｘ，ｙ、オフ）よりも一層小さな動的範囲を有する。同じ利益は、ＬＥＤで駒を読み取り、次いでＬＥＤ無しで駒を読み取り、カメラ３４に対する外部の駒を差し引くことにより、導き出すことができる。不利益は飽和を回避するのに必要な動的範囲が増大することである。
ＬはＩについての直積周囲照明応答よりも大きくなければならない。従って、Ｉは周波数でＬに整合する狭バンドパスフィルタを使用して出来る限り小さくされる。生のサンプリング比率は対象物追跡により設定される要求の２倍とすべきである。その理由は、２つの駒が顔面認識ソフトウエアを供給するための１つの駒を得るように差分化されるからである。ＬＥＤ３０は一層迅速でなければならない。ＩＲ放射線源は、すべての検出器が作動している期間中にすべての放出が行われるように、変調すべきである。検出器内のすべての画素の積分時間が整合しない場合は、源をオンにするための利用できる時間は最悪の場合の不整合により減少されてしまう。
車両の乗員座席内の人間を特定し、追跡するための上述の顔面認識装置は他の目的のための他の型式の車両装置に拡張することができる。図８は他の目的のために種々の位置に位置するセンサ又はカメラを示す車両１１０の頂平面図である。例えば、前方注視赤外センサ１１２は計器パネル２２上の中心位置に位置し、車両の前方の対象物を検出するように前方に向いている。更に、後方注視赤外センサ１１４は計器パネル２２上の中心位置に位置し、車両のその部分における活動を監視するために車両１１０の後部乗員コンパートメントの方に向いている。更に、赤外センサ１１６は運転手座席１１８の前方で計器パネル２２上に位置し、後に説明する種々の目的のために運転手の顔面特徴を検出する。赤外センサ１２０は上述したようなエアバッグ展開のために乗員座席１２２の前方で計器パネル２２上に位置する。種々のセンサ１１２、１１４、１１６、１２０は異なる装置において異なる方法で使用することができる。他のセンサ位置もここでの説明と矛盾しないで他の目的のために使用することができる。いくつかの応用を以下に説明する。
１つの実施の形態においては、本発明に従い、センサ又はカメラは乗員及び運転手の座席の方に指向し、運転手及び乗員の顔面特徴の画像を撮影する。顔面特徴ソフトウエアを使用して、目の如き顔面特徴、又は運転手及び乗員の二次元又は三次元顔面／頭／胴特徴座標の任意の組み合わせがコンピュータのデータベース又は検索テーブル内に記憶された画像と比較される。ソフトウエアがデータベースに記憶されたものとの人間の顔面の合致を行った場合、運転手及び（又は）乗員のエアバッグは、エアバッグ展開を個人専用化するために人間の特徴を使用するように、調整される。これは、低重量、若者、背の低い運転手等に対してエアバッグを自動的に調整する補助をなす。
本発明によれば、眠くなった運転手に対する応用は、運転手がハンドルを握った状態で眠りに落ちた場合を特定し、運転手を目覚めさせることを含む。最初は、規則正しい時間間隔で、顔面認識ソフトウエアは運転手の顔面特徴及びその座標を取得する。運転手の顔面特徴の新たな座標に応じて、ソフトウエアは眠りに落ちている運転手に警報を送る。この警報は、運転手の目が閉じている等に拘わらず、運転手の頭のうなずき即ち前後への頭の運動の頻度に基づく。特に、一定の時間期間中に目を閉じている時間の百分率を使用して、運転手が眠っているか否かを決定する。予備研究では、運転手の目が２秒以上の時間の７０％以上閉じている場合に、運転手が眠くなって眠りに落ちることがあることが判明した。更に、運転手の頭の前後運動又は携帯電話を見ている運転手の目を利用して、運転手が前方の路面に注意を払っているか否かを決定する。顔面認識ソフトウエアは運転手の目の座標における差異を感知でき、この情報は運転手へ戻るように中継できる。この情報は、運転手を目覚めさせるために機械的な運動、又は電気的刺激又は音声信号の生成の形として運転手へ戻る。
上述の眠くなった運転手に対する応用と同様、薬の使用が運転手を眠りに陥らせることがある。現在、多くの運転手はカフェイン又は覚醒剤を使用し、長い旅にわたって目覚めた状態を維持する。しかし、薬が切れた場合、運転手の応答時間は路面又は運転状態における重大な変化に対して弱まる。従って、運転手の瞳を監視することは、薬の効能が停止した場合の薬を使用する運転手を検出する補助をなす。基本的には、顔面特徴認識ソフトウエアは、運転手が眠りに落ちたか否かを決定するために、目の虹彩が運転手の瞼により如何に頻繁に遮断されるかを決定する。
ここに述べる顔面特徴認識装置はまた運転手の特定に使用することができる。運転手が車両に入るとき、運転手のドアの近傍に位置する外方に指向するカメラは運転手の顔面特徴の画像を撮影する。顔面特徴認識ソフトウエアを使用して、目の如き顔面特徴、又は遠近法での運転手の二次元又は三次元顔面／頭／胴特徴座標の任意の組み合わせがソフトウエアデータベース内に記憶された画像と比較される。ソフトウエアがデータベースに記憶されたものとの顔面の合致を行った場合、ドアが開き、車両は自動的に始動することができる。それ以外は、車両はオフ位置に留まったままである。別の実施の形態においては、運転手が車両に近づき、運転手座席に入った後、車両を始動させる目的で運転手を特定するためにカメラを使用できる。更に、親制御状況において、運転手は若者として特定でき、この場合、アルゴリズムは車両の制御をその運転手の使用のための最大速度に設定する。
運転手ＩＤ概念は顔面認識ソフトウエアを同様に使用する運転手便宜特徴に拡張することができる。特に、運転手の人間顔面特徴は運転手の最新の座席位置、後及び側ミラー調整、ハンドル設定、ラジオ設定等を思い出すために使用できる。この例においては、車両のコンピュータは運転手の最新の座席位置及び運転手の人間顔面特徴での後及び側ミラー調整を記憶することができる。続いて、カメラが運転手の顔面特徴を取得し、この画像が記憶された運転手の人的優先に合致した場合は、座席及びミラーを所望の位置へ自動できに再位置決めできる。
本発明の特定の作像及び処理技術の使用は、極めて高い信頼性で、意識があるか又は眠っているかに拘わらず、車両の内部におけるすべての年齢及び寸法の人間の存在検出を可能にする。この検出は、車両の活動に対する外部刺激により混乱することなく、エンジンが運転中であると否とに拘わらず、静止している車両又は動いている車両に対して常に有効であり、そのため、危険な人間内部状況の決定が警告警報を局部的に発生させるために又は伝達されるように可能にされる。これは、捨て子、医療緊急事態、監禁された乗員、眠っている乗員等の状況を含む。
図９は車両１３０の前方にセンサ視野を提供する前方で装着されたセンサ１３２を含む車両１３０の側面図である。横断歩道内の歩行者、ゆっくり動く車両等の如き前方注視方向における対象物からの投影が処理装置により登録され、車両の経路における対象物の運転手に警報を提供する。横断歩道内の歩行者等を認識することにより、本発明の顔面認識装置を使用して、クラッシュ前回避を提供できる。
図１０は車両が後方へ動いているときの車両の経路内の対象物の表示を提供するための、車両１４０の背後の中央装着カメラ１４２を含む車両１４０の頂面図である。更に、運転手の側ミラー１４６内に位置するカメラ１４４は運転手の盲スポット内に位置し、運転手が見えないかもしれない対象物を検出し、警報を提供することができる。この例においては、カメラ１４４は運転手が前方の路面上に焦点を維持することを許容するが、右折又は左折又は車線変更をなお安全に行える。カメラ１４４は顔面認識装置により車両の盲スポット内の歩行者又は自転車乗員を検出するために設けることができる。
激しい自動車衝突においては、何で事故が生じたかを決定するのが時々困難である。１つの例においては、クラシュ事故前に、外部前方注視カメラがクラッシュ前画像を撮影することができる。これらの画像は電気的又は機械的な警報の形で運転手へ戻し中継され、そのため、運転手は衝突を回避するように調整を行うことができる。車両衝突の場合、取得された画像は後のデータとして記憶され、クラッシュ前感知状態はクラッシュ後負傷調査を行うために利用される。クラッシュの後、クラッシュ地域の警察及び消防に警報するラジオ波信号の形として、クラッシュ通知信号を自動的に伝達することができる。
路面上に運転手の注意を維持させ、ハンドル上に手を維持させるため、顔面特徴の運動の如き運転手の顔面しぐさを使用して、手動で先に遂行された仕事を遂行させることができる。例えば、運転手の顔面特徴コマンドを既存の記憶された顔面特徴と比較し、運転手が自分の目を路面から逸らせることなく、運転手に自動車制御を自動的に変更させることができる。いくつかの例は、ラジオのオン／オフ、車両のライトのオン／オフ、フロントガラスワイパーのオン／オフ又は警笛の作動の如き、自動車付属品の制御を含む。図１１は運転手１５６の前方に位置し、運転手１５６の顔面特徴を特定し、追跡するためのここに記載された型式のセンサ１５４を含む車両１５２の側面図である。本発明の顔面認識装置はここに記載したような方法でこの情報を使用することができる。
更に、侵入を監視するためにカメラを車両内で位置決めすることができる。この例においては、カメラは車両の乗員コンパートメントの内部のどこでも画像を撮影する。人間が車両の後部座席で検出された場合、カメラは人間の顔面特徴の画像を撮影する。顔面特徴がコンピュータに記憶されたものと合致した場合、警報は発せられない。それ以外は、後部座席に誰かがいることを運転手に警告するために警報を鳴らすことができる。カメラは後の特定のために侵入者の記録を提供でき、車両がロックされた後に人間の存在の検出を提供する。図１２はこの例を示す車両１６０の側面図であり、センサ１６２は中央のドームライト内の如き車両の乗員コンパートメント内の中央位置に装着される。
上述の説明は本発明の単なる例示的な実施の形態を開示し、記載している。当業者なら、このような説明から及び添付図面並びに特許請求の範囲から、特許請求の範囲に規定されたような本発明の精神及び範囲を逸脱することなく、種々の変更、修正及び変形を行うことができることを容易に認識できよう。
本発明の実施の形態に係る、エアバッグ展開のための画像感知装置に関連する車両の乗員座席における人間を示す破断側平面図である。 本発明のエアバッグ展開装置に使用するビデオカメラ及びＬＥＤ照明ユニットの斜視図である。 日光のための輝度曲線を示すグラフで、横軸は波長、縦軸は照明エネルギを示す図である。 エアバッグドアの中心及び法線に関するカメラの方位及び位置パラメータを示す図である。 本発明のエアバッグ展開装置のブロック線図である。 本発明のエアバッグ展開装置に使用する駒差分技術を示す概略線図である。 本発明の駒差分技術のためのタイミング線図である。 本発明の実施の形態に係る、種々の安全及び便宜目的のために車両の異なる領域を感知するための種々のセンサ位置を示す車両の頂平面図である。 本発明の別の実施の形態に係る、車両の前方で対象物を検出するための視野を有するカメラを示す車両の側面図である。 本発明の実施の形態に係る、車両の側部及び後部で対象物を検出するための側カメラ及び後中央カメラを含む車両の頂面図である。 本発明の別の実施の形態に係る、車両の運転手の前方に位置するカメラを含む車両の側面図である。 本発明の別の実施の形態に係る、侵入目的のための車両のドームライト内に装着されたカメラを含む車両の側面図である。

Claims (9)

  1. 車両のためのエアバッグを個人専用化する装置において、 車両内又はそのまわりの特定の視野に沿って赤外ビームを発生させ、所定の間隔でパルス作動及びパルス停止される赤外線源と；
    赤外ビームの視野からの対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、人間の顔面の検出された画像を記憶された画像と比較し、特定された特定の人間のために車両エアバッグを個人専用化するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする装置。
  2. 車両のための眠くなった運転手を検出する装置において、 車両内又はそのまわりの特定の視野に沿って赤外ビームを発生させ、所定の間隔でパルス作動及びパルス停止される赤外線源と；
    赤外ビームの視野からの対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、人間の顔面の検出された画像を記憶された画像と比較し、人間の目を監視し、人間が眠くなった場合に信号を提供するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする装置。
  3. 上記プロセッサは、人間の目が閉じている時間を監視することを特徴とする請求項２に記載の装置。
  4. 上記プロセッサが人間の頭のうなずき状の動きを監視することを特徴とする請求項２に記載の装置。
  5. 車両のための作像装置において、
    赤外ビームを発生させ、車両の前部の位置に装着され、車両の前方に視野を提供する赤外線源と；
    赤外ビームの視野内の対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、人間の顔面が車両の前方で検出された場合に信号を提供するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする作像装置。
  6. 車両のための作像装置において、
    車両内又はそのまわりの特定の視野に沿って赤外ビームを発生させる赤外線源と；
    赤外ビームの視野内の対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、人間の顔面が車両の盲スポットで検出された場合に信号を提供するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする作像装置。
  7. 車両のための作像装置において、
    車両内又はそのまわりの特定の視野に沿って赤外ビームを発生させる赤外線源と；
    赤外ビームの視野内の対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、クラッシュ事故中に車両内又はそのまわりでの人間の記録を提供するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする作像装置。
  8. 車両のための作像装置において、
    車両内又はそのまわりの特定の視野に沿って赤外ビームを発生させる赤外線源と；
    赤外ビームの視野内の対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、不適格な人間が車両内で検出された場合に信号を提供するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする作像装置。
  9. 車両のための作像装置において、
    車両内又はそのまわりの特定の視野に沿って赤外ビームを発生させる赤外線源と；
    赤外ビームの視野内の対象物から反射する赤外放射線に応答し、反射された赤外放射線から画像信号を発生させる赤外線検出器と；
    上記検出器からの画像信号に応答し、人間の顔面を検出するために人間の顔面特徴を作像する顔面認識ソフトウエアを含み、車両の作動を遂行させるために検出された人間のしぐさを監視するプロセッサと、
    を有し、
    上記赤外線源は、所定の時間期間だけビデオデータの所定数の駒についてパルス作動させられ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させられるようになっており、また上記プロセッサは、背景を排除するように、ビデオデータの上記赤外線源がパルス作動させられているときの駒とパルス停止させられているときの駒とを互いに差し引く駒差分を行うようになっていることを特徴とする作像装置。
JP2006183548A 2000-07-21 2006-07-03 自動車の安全に対する人間顔面特徴認識の適用 Pending JP2007033439A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/621,160 US6724920B1 (en) 2000-07-21 2000-07-21 Application of human facial features recognition to automobile safety

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002513735A Division JP4025643B2 (ja) 2000-07-21 2001-07-10 自動車の安全に対する人間顔面特徴認識の適用

Publications (1)

Publication Number Publication Date
JP2007033439A true JP2007033439A (ja) 2007-02-08

Family

ID=24488984

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002513735A Expired - Fee Related JP4025643B2 (ja) 2000-07-21 2001-07-10 自動車の安全に対する人間顔面特徴認識の適用
JP2006183548A Pending JP2007033439A (ja) 2000-07-21 2006-07-03 自動車の安全に対する人間顔面特徴認識の適用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002513735A Expired - Fee Related JP4025643B2 (ja) 2000-07-21 2001-07-10 自動車の安全に対する人間顔面特徴認識の適用

Country Status (5)

Country Link
US (1) US6724920B1 (ja)
EP (1) EP1355807B1 (ja)
JP (2) JP4025643B2 (ja)
DE (1) DE60114238T2 (ja)
WO (1) WO2002008023A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009029347A (ja) * 2007-07-30 2009-02-12 Honda Motor Co Ltd 車両の乗員検知装置

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
GB0024274D0 (en) * 2000-10-04 2000-11-15 Harris John W Vehicle security and occupant safety system
IT1321041B1 (it) * 2000-11-03 2003-12-30 St Microelectronics Srl Sensore ottico intelligente per sistemi air-bag.
US8751957B1 (en) * 2000-11-22 2014-06-10 Pace Micro Technology Plc Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
JP4511768B2 (ja) * 2001-06-12 2010-07-28 本田技研工業株式会社 乗員保護装置
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
US20040132101A1 (en) 2002-09-27 2004-07-08 Xencor Optimized Fc variants and methods for their generation
US6914526B2 (en) * 2002-03-22 2005-07-05 Trw Inc. Intrusion detection system using linear imaging
JP2004058799A (ja) * 2002-07-26 2004-02-26 Murakami Corp 車載用乗員撮影装置
EP3502133A1 (en) 2002-09-27 2019-06-26 Xencor, Inc. Optimized fc variants and methods for their generation
JP4016796B2 (ja) * 2002-10-22 2007-12-05 オムロン株式会社 車載用撮像装置及びそれを用いた車両運転支援装置
US20040140885A1 (en) * 2003-01-17 2004-07-22 Slicker James M. Vehicle security system
DE10306159A1 (de) * 2003-02-14 2004-08-26 Daimlerchrysler Ag Verfahren zur Voreinstellung eines Insassenschutzsystems eines Fahrzeugs
JP2004330891A (ja) * 2003-05-08 2004-11-25 Fujitsu Ten Ltd 利便性向上装置
US7256686B2 (en) * 2003-05-27 2007-08-14 Sears Manufacturing Co. Vehicle seat with vibration monitoring ability
US7379559B2 (en) * 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
DE102004007521A1 (de) * 2003-08-04 2005-02-24 Robert Bosch Gmbh Blendschutzsystem für ein Fahrzeug
JP4469839B2 (ja) * 2003-08-04 2010-06-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両用防眩システム
WO2005050583A1 (fr) * 2003-08-15 2005-06-02 Ziyi Cheng Systeme d'alarme pour protection d'automobiles avec identification de visage et fonction de communication sans fil
US20060030985A1 (en) * 2003-10-24 2006-02-09 Active Recognition Technologies Inc., Vehicle recognition using multiple metrics
EP1697741A4 (en) 2003-12-04 2008-02-13 Xencor Inc PROCESS FOR PRODUCING PROTEIN VARIANTS WITH INCREASED HOST STRUCTURE CONTENT AND COMPOSITIONS THEREOF
JP4370915B2 (ja) * 2004-01-14 2009-11-25 オムロン株式会社 車載アプリケーション選択システム及び車載アプリケーション選択装置
EP1737890A2 (en) 2004-03-24 2007-01-03 Xencor, Inc. Immunoglobulin variants outside the fc region
US6967581B2 (en) * 2004-04-07 2005-11-22 Harry Karsten Breath alcohol detection system with identity verification
US20060012679A1 (en) * 2004-07-14 2006-01-19 Ressler Galen E Multifunction vehicle interior imaging system
EP2471813B1 (en) 2004-07-15 2014-12-31 Xencor, Inc. Optimized Fc variants
US20060011399A1 (en) * 2004-07-15 2006-01-19 International Business Machines Corporation System and method for controlling vehicle operation based on a user's facial expressions and physical state
DE102004044771B4 (de) * 2004-09-16 2006-08-24 Bayerische Motoren Werke Ag Verfahren zur bildbasierten Fahreridentifikation in einem Kraftfahrzeug
EP2845865A1 (en) 2004-11-12 2015-03-11 Xencor Inc. Fc variants with altered binding to FcRn
US7210356B2 (en) 2005-02-18 2007-05-01 Caterpillar Inc Physical agents directive dosimeter system
DE102005021171A1 (de) * 2005-05-06 2006-11-16 Daimlerchrysler Ag Verfahren zur Einstellung eines Insassenschutz- und/oder Komfortsystems sowie Insassenschutz- und/oder Komfortsystem
DE102005022678A1 (de) * 2005-05-17 2006-11-23 Robert Bosch Gmbh Sicherheitssystem für ein Fahrzeug
US9818120B2 (en) 2015-02-20 2017-11-14 Innovative Global Systems, Llc Automated at-the-pump system and method for managing vehicle fuel purchases
DE102005047137A1 (de) * 2005-09-30 2007-04-05 Daimlerchrysler Ag Insassenschutzsystem für ein Fahrzeug
US20070120970A1 (en) * 2005-11-15 2007-05-31 Goffin Glen P Video telephony device having automatic user detection and recognition capabilities to provide user-specific information
US20070158116A1 (en) * 2006-01-12 2007-07-12 Trw Automotive U.S. Llc Adjustable steering column assembly
DE102006019112A1 (de) * 2006-04-25 2007-10-31 Siemens Ag Fahrzeug
JP2007316036A (ja) * 2006-05-29 2007-12-06 Honda Motor Co Ltd 車両の乗員検知装置
EP2032034B1 (en) * 2006-06-11 2020-04-01 Volvo Truck Corporation Method for determining and analyzing a location of visual interest
US20080148030A1 (en) * 2006-12-14 2008-06-19 General Instrument Corporation Method and System for Configuring Electronic Communication Device
JP2008269496A (ja) * 2007-04-24 2008-11-06 Takata Corp 乗員情報検出システム、乗員拘束システム、車両
US7719431B2 (en) * 2007-10-05 2010-05-18 Gm Global Technology Operations, Inc. Systems, methods and computer products for drowsy driver detection and response
GB2454916A (en) * 2007-11-23 2009-05-27 Dimuth Jayawarna Fatigue monitoring using facial images
US9517679B2 (en) * 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US8040247B2 (en) * 2009-03-23 2011-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. System for rapid detection of drowsiness in a machine operator
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
WO2011021110A1 (en) 2009-08-20 2011-02-24 Nds Limited Electronic book security features
WO2011060233A1 (en) 2009-11-11 2011-05-19 The Trustees Of The University Of Pennsylvania Anti-tem1 antibodies and uses thereof
CN102069710B (zh) * 2009-11-24 2014-03-26 鸿富锦精密工业（深圳）有限公司 驾驶监控装置及方法
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US8836491B2 (en) * 2010-04-29 2014-09-16 Ford Global Technologies, Llc Occupant detection
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11151610B2 (en) * 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US10922567B2 (en) * 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US12076149B2 (en) 2010-06-07 2024-09-03 Affectiva, Inc. Vehicle manipulation with convolutional image processing
TWI496093B (zh) * 2010-11-16 2015-08-11 Fih Hong Kong Ltd 人臉識別鬧鐘及其鬧醒用戶的方法
EP2652718B1 (en) * 2010-12-15 2018-09-26 Andrew William Wright Method and system for logging vehicle behaviour
TWI422504B (zh) * 2010-12-31 2014-01-11 Altek Corp 車用設備控制系統及其方法
US20140098232A1 (en) * 2011-06-17 2014-04-10 Honda Motor Co., Ltd. Occupant sensing device
US9173100B2 (en) 2011-11-16 2015-10-27 Autoconnect Holdings Llc On board vehicle network security
US9008906B2 (en) 2011-11-16 2015-04-14 Flextronics Ap, Llc Occupant sharing of displayed content in vehicles
US9081653B2 (en) 2011-11-16 2015-07-14 Flextronics Ap, Llc Duplicated processing in vehicles
US9116786B2 (en) 2011-11-16 2015-08-25 Flextronics Ap, Llc On board vehicle networking module
DE112012004767T5 (de) 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
US8949823B2 (en) 2011-11-16 2015-02-03 Flextronics Ap, Llc On board vehicle installation supervisor
US9088572B2 (en) 2011-11-16 2015-07-21 Flextronics Ap, Llc On board vehicle media controller
US9043073B2 (en) 2011-11-16 2015-05-26 Flextronics Ap, Llc On board vehicle diagnostic module
US9055022B2 (en) 2011-11-16 2015-06-09 Flextronics Ap, Llc On board vehicle networking module
US20140310379A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
GB2497603B (en) * 2012-03-23 2014-08-20 Jaguar Land Rover Ltd Windscreen clearing system for a vehicle
WO2013162748A1 (en) 2012-04-27 2013-10-31 The Trustees Of The University Of Pennsylvania Anti-tumor endothelial marker-1 (tem1) antibody variants and uses thereof
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
KR101500085B1 (ko) * 2013-06-13 2015-03-18 현대자동차주식회사 벡터를 이용한 시선 추적 장치 및 방법
US9103688B2 (en) * 2013-08-21 2015-08-11 Continental Automotive Systems, Inc. Adapting vehicle personality using analyzed driver performance metrics
US20150066346A1 (en) * 2013-08-28 2015-03-05 Elwha LLC, a limited liability company of the State of Delaware Vehicle collision management system responsive to a situation of an occupant of an approaching vehicle
JP6314435B2 (ja) * 2013-11-13 2018-04-25 株式会社デンソー ドライバ監視装置
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
US10144374B2 (en) * 2015-10-19 2018-12-04 Toyota Motor Engineering & Manufacturing North America, Inc. Automatic settings for vehicle components based on measured anthropometric features
DE102015221520A1 (de) * 2015-11-03 2017-05-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Insasseninformation für eine Sicherheitseinrichtung für ein Fahrzeug
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
EP3528231B1 (en) * 2016-01-29 2022-03-09 Nissan Motor Co., Ltd. Vehicle travel control method and vehicle travel control device
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
US20210295384A1 (en) 2016-06-23 2021-09-23 State Farm Mutual Automobile Insurance Company Systems and methods for environmental analysis based upon vehicle sensor data
US20180012197A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US10089543B2 (en) 2016-07-29 2018-10-02 Honda Motor Co., Ltd. System and method for detecting distraction and a downward vertical head pose in a vehicle
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
WO2018035531A1 (en) * 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
US10031523B2 (en) 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10403016B2 (en) 2017-06-02 2019-09-03 Apple Inc. Face syncing in distributed computing environment
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
DE102017214296B3 (de) * 2017-08-16 2018-07-26 Audi Ag Verfahren zum Betreiben eines Insassenschutzsystems eines Fahrzeugs und Insassenschutzsystem für ein Fahrzeug
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
CN111601736B (zh) 2018-01-25 2022-06-28 三菱电机株式会社 乘客检测装置、乘客检测系统以及乘客检测方法
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
US11490843B2 (en) 2018-11-16 2022-11-08 Toyota Motor North America, Inc. Vehicle occupant health monitor system and method
US10729378B2 (en) 2018-11-30 2020-08-04 Toyota Motor North America, Inc. Systems and methods of detecting problematic health situations
CN109830077A (zh) * 2019-01-15 2019-05-31 苏州佳世达光电有限公司 监控装置及监控方法
FR3092050A1 (fr) * 2019-01-29 2020-07-31 Transdev Group Dispositif électronique de génération d’un signal à l’intérieur d’un véhicule, véhicule, procédé de génération et programme d’ordinateur associés
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
CN110750589B (zh) * 2019-09-04 2022-08-16 武汉烽火众智数字技术有限责任公司 一种数据分析方法、装置及计算机存储介质
US11351987B2 (en) * 2019-09-13 2022-06-07 Intel Corporation Proactive vehicle safety system
US11193312B1 (en) * 2019-09-30 2021-12-07 Ambarella International Lp Child safety lock
KR20210053387A (ko) * 2019-11-01 2021-05-12 현대자동차주식회사 후석 탑승자 보호 장치 및 그의 제어 방법
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
CN113635833A (zh) * 2020-04-26 2021-11-12 晋城三赢精密电子有限公司 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN112100305B (zh) * 2020-09-15 2021-07-30 重庆中科云从科技有限公司 一种基于多源数据的轨迹确定方法、装置、设备及介质
DE102020129547A1 (de) 2020-11-10 2022-05-12 Bayerische Motoren Werke Aktiengesellschaft Kamerasystem für ein Fahrzeug, insbesondere Kraftfahrzeug, und Fahrzeug, insbesondere Kraftfahrzeug
CN114987389A (zh) * 2022-07-18 2022-09-02 中国第一汽车股份有限公司 一种车辆控制系统、方法、装置、设备及介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4509040A (en) * 1981-12-01 1985-04-02 Nissan Motor Company, Limited Alarm system for preventing an automotive vehicle driver from dozing at the wheel
US6324453B1 (en) * 1998-12-31 2001-11-27 Automotive Technologies International, Inc. Methods for determining the identification and position of and monitoring objects in a vehicle
US5845000A (en) 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
US5829782A (en) 1993-03-31 1998-11-03 Automotive Technologies International, Inc. Vehicle interior identification and monitoring system
US4648052A (en) 1983-11-14 1987-03-03 Sentient Systems Technology, Inc. Eye-tracker communication system
JPS60152904A (ja) 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
US4720189A (en) 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
JPH01158579A (ja) 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5835613A (en) 1992-05-05 1998-11-10 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
DE4400664C2 (de) 1994-01-12 1995-11-16 Spies Martin Dipl Ing Fh Vorrichtung zur Erkennung der Sitzbelegung in Fahrzeugen etc.
DE4416507C5 (de) 1994-05-10 2006-10-19 Volkswagen Ag Verfahren zur Erkennung einer Benutzungsberechtigung für ein Fahrzeug
US5850193A (en) * 1995-03-30 1998-12-15 Sumitomo Electric Industries, Ltd. Apparatus for assisting driver in carefully driving
US5729619A (en) * 1995-08-08 1998-03-17 Northrop Grumman Corporation Operator identity, intoxication and drowsiness monitoring system and method
EP0837418A3 (en) 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
DE19645175A1 (de) 1996-11-02 1998-05-07 Telefunken Microelectron Verfahren zum Steuern einer optischen Überwachungseinrichtung
US6079738A (en) 1997-08-22 2000-06-27 Breed Automotive Technology, Inc. Occupant presence and position sensing system
US6100811A (en) 1997-12-22 2000-08-08 Trw Inc. Fingerprint actuation of customized vehicle features
DE19757595C2 (de) 1997-12-23 2000-05-11 Siemens Ag Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
US6225890B1 (en) * 1998-03-20 2001-05-01 Trimble Navigation Limited Vehicle use control
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6060989A (en) 1998-10-19 2000-05-09 Lucent Technologies Inc. System and method for preventing automobile accidents

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009029347A (ja) * 2007-07-30 2009-02-12 Honda Motor Co Ltd 車両の乗員検知装置

Also Published As

Publication number Publication date
EP1355807A2 (en) 2003-10-29
JP4025643B2 (ja) 2007-12-26
WO2002008023A3 (en) 2003-09-04
WO2002008023A2 (en) 2002-01-31
JP2004504219A (ja) 2004-02-12
DE60114238T2 (de) 2006-07-13
EP1355807B1 (en) 2005-10-19
US6724920B1 (en) 2004-04-20
DE60114238D1 (de) 2006-03-02

Similar Documents

Publication Publication Date Title
JP4025643B2 (ja) 自動車の安全に対する人間顔面特徴認識の適用
JP4589600B2 (ja) 自動車の安全及び便宜に対する人間顔面特徴認識の適用
KR100440669B1 (ko) 얼굴 부위의 이미지 감지 시스템을 사용하는 에어백 전개 시스템 및 에어백 전개 여부 결정 방법
KR100492765B1 (ko) 최적화된 인간 존재 검출 시스템에 의한 차량의 에어백 제어 장치 및 방법
US9129505B2 (en) Driver fatigue monitoring system and method
US8604932B2 (en) Driver fatigue monitoring system and method
US8538636B2 (en) System and method for controlling vehicle headlights
US7831358B2 (en) Arrangement and method for obtaining information using phase difference of modulated illumination
US7655895B2 (en) Vehicle-mounted monitoring arrangement and method using light-regulation
US7983817B2 (en) Method and arrangement for obtaining information about vehicle occupants
US7477758B2 (en) System and method for detecting objects in vehicular compartments
US7511833B2 (en) System for obtaining information about vehicular components
US7768380B2 (en) Security system control for monitoring vehicular compartments
US20080065291A1 (en) Gesture-Based Control of Vehicular Components
US20080069403A1 (en) Face Monitoring System and Method for Vehicular Occupants
US20070025597A1 (en) Security system for monitoring vehicular compartments
JP2020504295A (ja) ３ｄタイムオブフライト能動反射検知システム及び方法
Boverie A new class of intelligent sensors for the inner space monitoring of the vehicle of the future
Kosiak et al. Interior sensing for automotive occupant safety
Boverie et al. Intelligent systems for the perception inside a vehicle
Ramesh et al. Real-Time Video Surveillance and Monitoring for Automotive Applications

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090813

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090819

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100128