JP2003532959A - 車両の死角識別及びモニタリング・システム - Google Patents

車両の死角識別及びモニタリング・システム

Info

Publication number
JP2003532959A
JP2003532959A JP2001582119A JP2001582119A JP2003532959A JP 2003532959 A JP2003532959 A JP 2003532959A JP 2001582119 A JP2001582119 A JP 2001582119A JP 2001582119 A JP2001582119 A JP 2001582119A JP 2003532959 A JP2003532959 A JP 2003532959A
Authority
JP
Japan
Prior art keywords
vehicle
light
blind spot
driver
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001582119A
Other languages
English (en)
Inventor
デイヴィッド, エス. ブリード,
ウェンデル, シー. ジョンソン,
ヴォール, ウィルバー, イー. デュ
Original Assignee
オートモーティブ・テクノロジーズ・インターナショナル,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オートモーティブ・テクノロジーズ・インターナショナル,インク. filed Critical オートモーティブ・テクノロジーズ・インターナショナル,インク.
Publication of JP2003532959A publication Critical patent/JP2003532959A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50Systems of measurement, based on relative movement of the target
    • G01S15/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/60Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318Controlling the steering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Air Bags (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 車両の周囲に赤外線(117,118)を照射する車両に搭載された投光器(110−114)と、車両の周囲からの赤外線を受光するための車両に搭載された受光器(110−114)を具備する、たとえば、車両の運転者の死角を含む車両(110)周囲の環境内の対象物(200)に関する情報を取得する装置。対象物から情報を受光した赤外線をプロセッサによって分析して、当該車両から対象物までの距離や対象物の移動速度を取得し対象物を識別する。所望の情報を取得するためには、パターン認識技術を使用するのが望ましい。特定の対象物の検出と、その位置および移動速度に基づいて、たとえば、音声または映像による警報装置またはステアリングホイール制御装置(146)の制御(11)を行う。

Description

【発明の詳細な説明】
【0001】発明の属する技術分野 現在の発明は車内に位置する人や物の存在および場所を識別し、様々なオブジ
ェクトを検知やコントロールまたは評価する装置の分野に関係がある。現在の発
明は乗客の座席の存在の発見および自由にオブジェクトの状態より乗り物の占有
を評価するためのシステムを開発する、効率的で、高度に確実な方法に特に関係
があり、e.g。後部、面する子供座席(RFCS)位置の乗客は位置していた。占有者
保護装置と対話する。エアバッグのように、または、検知のために、1つの、位
置からはずれて、占有する。 転位(deployment)が、衝突がそれら自身を強要
するより占有者へのより大きな傷に帰着するかもしれない場合、生じるシステム
は、占有者保護装置の転位(deployment)のコントロールおよび選択的な抑制を
許す。これは、一部分システム、パターン認識システム(恐らく訓練されたニュ
ー ラル・ネットワーク)の使用、および変換器からの信号の斬新な分析の変換器
の特定の配置によって遂行される。新しいモデルへの占有者位置センサーの適用
は、適用エンジニアリングと呼ばれる。占有者センサーのエンジニアリングが包
含する適用は変換器の位置を決定して、変換器ホルダーの設計、配線レイアウト
の決定、変換器位置および角度のオリエンテーション上で寛容研究を実行するこ
と、特別の乗り物モデル用の回路の設計、乗り物の中への回路の接続または統合
、電子システム、また特別の乗り物モデルへの占有者センサー・システムを適応
させすることでアプリケーションエンジニアリングの上記の様相はすべてシステ
ム適応を例外として、新しいモデルへの任意の電子システムの適用エンジニアリ
ングと著しく異ならない標準のプロセスである。しかしながら、システム適応は
、それが特別の乗り物用に最適化されるシステムを作成することを相当な技術お
よび専門知識、および斬新な技術の使用に要求するという点で独特である。
【0002】発明の前提 占有者のサイズおよび位置、および事故の厳しさを説明するためにエアバッグ
に、あるいはそのエアバッグから流れるガスの量を調節するポンプがある。乗り
物識別およびモニタリング・システム(VIMS)は米国で議論した。パテント Nos.
5,829,782および5,943,295は、乗り物占有者の、あるいは後部に面する子供座席
の存在および位置に基づいたそのようなポンプの働きをコントロールする。特別
のモデルに内部モニタリング・システムを適応させて、高いシステム精度、およ
びより非常に詳しく下に議論されるような信頼度を達成する過程に関係がある。
占有者識別および位置に、および衝突の厳しさによって、エアバッグの転位(de
ployment)割合の自動調節は、「賢いエアバッグ」と名付けられた。賢いエアバ
ッグの開発の中心となることは、現在の特許および特許出願に、特別モデルにそ
れらのシステムを適応させる、ここに記述された方法に占有者識別および位置決
定システムである。賢いエアバッグの開発を完成するために、米国の1994年5月2
3日(番号08/247,760) の特許出願の「予期しての衝突を検知するシステム」のよ
うなシステムはさらに望ましい。予期してに衝突を感じるインプリメンテーショ
ンに先立って、ニューラル・ネットワークワークの使用、衝突のタイプ、衝突加
速署名の初期の側に基づいたその厳しさを識別する賢い衝突センサーは、開発さ
れておりその後インプリメントされるべきだ。米国のパテント No. 5,684,701(
種類)は、ニューラル・ネットワークに基づいた衝突センサーについて記述する
。この衝突センサーは、他のすべての衝突センサーでのように、衝突がエアバッ
グの転位(deployment)を要求するために十分な厳しさであるならば、転位(de
ployment)を始めるかどうか決める。さらに衝突を識別し、かつ占有者の特性お
よび位置に(だけでなく)エアバッグ転位(deployment)が一致することを可能に
して、厳しさに関してそれをしたがって分類するように賢いエアバッグ衝突セン
サーに基づいたニューラル・ネットワークを設計することができる。また、衝突
それ自身(これ、米国に記述されるパテント5,943,295番)の厳しさおよびタイミ
ング。先の技術に関して、米国のパテントが言及される。 Nos。 5,071,160(whi
te at al.)、5,074,583(Fujita at al.)および5,118,134(Mattes at al.). しか
しながら、システムが正確に乗り物の中のオブジェクトを識別し見つけることを
可能にする、変換器位置を決定するかあるいは、アルゴリズムを引き出すか、他
のシステム・パラメーター方法のこれらの特許の中でなされない。対照的に、即
時の発明の1つのインプリメンテーションでは、興味のある乗客コンパートメン
ト・ボリュームの全部分に対応するいくつかのミリ秒(milliseconds)の上のリ
ターン超音波エコー・パターンは、多数の変換器から分析され、乗客コンパート
メントを占めるアイテム上の多くのポイントに距離情報を供給して、他の変換器
からの出力と時々結合した。
【0003】 この発明の教えの多くは、多数の教科書および専門的論文の中で教えられるよ
うなパターン認識技術に基づく。この発明の診断の教えの中心となることは診断
のモジュールが異常なパターンから正常なパターンを決定する方法、および利用
可能な莫大な量のデータからどのデータを使用するべきであるか、それが決定す
る方法だ。これは人工ニューラル・ネットワークのようなパターン認識技術およ
びトレーニングを使用して、遂行される。多くの例を含むニューラル・ネットワ
ークに関する理論は次のものを含む主題上でいくつかの本で見つけることができ
る:Techniques And Application Of Neural Networks, edited by Taylor, M. and Lisboa, P., Ellis Horwood, West Sussex, England, 1993; Naturally Intelli gent Systems, by Caudill, M. and Butler, C., MIT Press, Cambridge Massac husetts, 1990; J. M. Zaruda, Introduction to Artificial Neural Systems,
West publishing Co., N.Y., 1992 and, Digital Neural Networks, by Kung, S. Y., PTR Prentice Hall, Englewood Cliffs, New Jersey, 1993, Eberhart , R., Simpson, P. and Dobbins, R., Computational Intelligence PC Tools, Academic Press, Inc., 1996, Orlando, Florida 、その、大部分はパターン認識
技術に発展した。パターン認識の使用、あるいは特に、それがどう使用されるか
は発明の中心となる。上記の引用された先の技術では現在の発明に割り当てられ
たそれ以外においては調整に基づくパターン認識が、ニューラル・ネットワーク
ワークの使用によって例証されたとともに、乗り物の内部あるいは外部環境をモ
ニターする際に使用のために言及されない。したがって、乗り物にそのようなシ
ステムを適応させるために使用される方法はさらに言及されない。ここに使用さ
れるようなパターン認識は、決定するためにオブジェクト(e.g。返された衝動あ
るいは受光だった衝動のパターンの代表者は揺れる、あるいは他の物理的性質、
特定、に、または特性、またはそのオブジェクトの代表者)によって生成される
か、オブジェクトとの対話により修正される信号を処理する、すべてのシステム
を一般に意味する、どれに、1セットのクラスのうちの1つにオブジェクトは属す
る。そのようなシステムは、オブジェクトが指定された1つのクラスのメンバー
か、そうではないことを単に決めるかもしれません。あるいは、それは、指定さ
れたクラスのより大きなセットのうちの1つにオブジェクトを帰するかそれがセ
ット中のクラスのうちのいかなるもののメンバーではないことを知ることを試み
るかもしれません。処理された信号は一般に情報の他の源は頻繁に含まれている
が、聴覚の(超音波)あるいは電磁波(e.g、可視の光、赤外線放射線、キャパシタ
ンス、あるいは電気界および磁界)に敏感な変換器から来る一連の電気的信号だ
。パターン認識システムは、パターンが認識されることを可能にする規則のセッ
トの生成を一般に含んでいる。曖昧なロジック・システムはこれらの規則を作成
することができる、統計相関性、あるいはニューラル・ネットワークのような訓
練されたパターン認識システムと同様にセンサー・フュージョン方法論によって
【0004】 1つの、訓練可能、あるいは、ここに一般に使用されるような訓練されたパタ
ーン認識システムは、様々な例にシステムをさらすことにより信号内に構成され
た様々なパターンを認識することを教えられるパターン認識システムを意味する
。最も成功する、そのようなシステムはニューラル・ネットワークワークである
。したがって、パターン認識アルゴリズムを生成するために、テスト・データは
最初に得られ、それは返された波の多くのセットを構成する、あるいはオブジェ
クト(あるいは車内(つまり座席の上のスペース)でオブジェクトが位置している
だろうスペースから)およびそのオブジェクト(e.g。多くの異なるオブジェクト
は各オブジェクトからユニークな波パターンを得るためにテストされる)の識別
するの表示から、パターンを振る、そういうものとして、アルゴリズムは生成さ
れコンピューター・プロセッサーに格納した。ここの目的のために「オブジェク
ト」という言葉の定義はレシーバーによって使用の間に受け取られた波パターン
に基づいたオブジェクトの同一性となるもの。例えば、子供座席に面する後部は
前方の面する子供座席とは異なっているオブジェクトである。そして1つの、位
置からはずれて、大人は通常着席した大人とは異なっているオブジェクトである
。ここに使用されるように識別することは、項目セットあるいはクラスにオブジ
ェクトが属することを決めることを一般に意味するだろう。クラスは(例えば)子
供座席に面する後部をすべて含んで、人間の占有者すべての牽制あるいはすべて
の人間の占有者、ない、現職、システムの目的に依存する子供座席に面する後部
の中で。特別の人が認識されることになっている時に、セットあるいはクラスは
単一の要素(つまり認識される人)だけを含む。乗り物あるいは占有者の中のオブ
ジェクトあるいは座席の占めるアイテムは、人間あるいは犬のような生きている
占有者、プラントのような別の生きている有機体、食料品店の箱かバッグのよう
な無生物あるいは空の子供座席である。位置からはずれて、占有者のために使用
されるように、一般にするだろう、手段、占有者、一方のドライバーあるいは乗
客は、転位(deployment)に先立って占有者保護装置(エアバッグ)に十分に接近
している。事故によってよりも、彼または彼女は転位(deployment)出来事それ
自身によって重傷する。それは、さらに占有者がエアバッグの転位(deployment
)の有益な抑制する影響に到達するためには適切に位置しないことを意味するか
もしれません。エアバッグに接近している占有者に関しては、占有者頭あるいは
胸が、エアバッグ・モジュールの転位(deployment)ドアから約5インチのよう
なある距離より接近している場合、これが典型的に生じる。実際の距離、エアバ
ッグ転位(deployment)が抑えられるべき場合、値は、エアバッグ・モジュール
の設計に依存し、ドライバー・エアバッグより乗客エアバッグには典型的に一層
である。
【0005】 ここに使用されるような変換器は、発信機およびレシーバーのコンビネーショ
ンを一般に意味する。来る、ケース、他のものでは、互いに隣接している別個の
2つの装置が使用されただろう間、同じ装置は発信機およびレシーバーとして両
方に役立つ。ある場合には、発信機が使用されない。また、そのような場合、変
換器はレシーバーだけを意味するだろう。変換器は、例えば、容量性、誘導、超
音波、電磁気(アンテナ、CCD、CMOS配列)、測定する装置あるいは感じる装置に
重みを加える。ここに使用されるような適応は、特別の占有者を感じるシステム
が設計されており、特別モデルのために整えられる方法を表わす。それは、様々
な変換器の数、種類および位置が決定されるプロセスのようなものを含んでいる
。パターン認識システムについては、それが、パターン認識システムが希望のパ
ターンを認識することを教えられるプロセスを含んでいる。この接続では、それ
が、(1)訓練 (調整)、(2)訓練のために使用されたデータ・ベースの組立て、
特別のシステムをテストし有効にすること、あるいは選ばれたニューラル・ネッ
トワークワークの場合には特別のネットワークワーク・アーキテクチャーの方法
、(3)環境上の影響がシステムに組み入れられるプロセス、および(4)データの前
処理(前プロセシング)あるいはポスト処理(ポストプロセシング)を決定する
任意の過程。上記のリストは実例ともなう。そして徹底的でない基本的に、適応
は、正確に識別し、占有者の位置あるいは他のものが乗り物の中で反対すること
を決めるシステムを作成する、特別の乗り物に、変換器および情報の源を適応さ
せるために保証されるステップをすべて含んでいる。予期し感じることのオブジ
ェクトに関して使用された時接近する用語あるいは別のものに接近する乗り物で
記述の中でここに、予期センサー・システムがある乗り物へのオブジェクトの相
対的な運動を一般に意味する。したがって、木を備えた側面のインパクトでは、
木は、乗り物の側に接近し乗り物を密着させることと見なされる。言いかえれば
、一般の中で使用される座標系は目標乗り物に存する座標系になる。目標乗り物
は密着させられている乗り物である。この協定は、一般的な記述がその場合をす
べてカバーすることを可能にする、どこで(i)、動いている乗り物、静止してい
る乗り物の側の中へのインパクト、(ii)、両方の乗り物が移動している。それが
衝撃を与える。あるいは(iii)、静止している乗り物の側面に移動している木ま
たは壁。ここに、波センサーか波変換器も任意の装置(それは波を感じる)で、超
音波、あるいは電磁気。電磁波センサーは、例えば、電磁気のスペクトルの任意
の部分を感じる装置を含んでいる、から、数ヘルツまでは紫外線。最も一般に用
いられている種の電磁波センサーはCCDとCMOSの配列を含んでいる。このために
、感じる、可視、または赤外線、ミリメートル波およびマイクロ波レーダー、そ
して容量性あるいは電気的なセンサー、およびスペースを占めるオブジェクトの
誘電率に依存する磁界モニタリング・センサー。この点では、例えば米国の特許
:Kithil、5,366,241、5,602,734、5,691,693、5,802,479および5,844,486、Jin
no、5,948,031.
【0006】 それがモニタリング・システムを強健で確実で、正確にするので、ニューラル
・ネットワーク(すなわち神経の曖昧なシステム)の使用は訓練方法のような特別
の乗り物にこれを適応させる、パターン認識技術および方法として、この発明に
とって重要である。ニューラル・ネットワークワーク・プログラムによって作成
され、生じるアルゴリズムは通常Cコンピュータ言語で書かれたコードの数百行
だけで、一般的な少数のラインにある。米国の技術のパテントNos. 5,008,946(A
ndo)、5,298,732(Chen)および5,305,012(Faris)がインプリメントされる。その
結果、それらを自動推進の適用には実際的にする、低コストで生じるシステムを
インプリメントすることは容易である。例えば、1年当たり100万ドルの中の1ド
ルに未満で超音波の変換器のコストがあると予想される。同様に、ニューラル・
ネットワークおよび類似した訓練可能なパターン認識技術を備えたインプリメン
テーションが1年当たり100万ドルの中の5ドルに未満で典型的にかかる、低コス
ト・マイクロプロセッサーの使用を許している一方、参照が上記の付けられた特
許の技術のインプリメンテーションは、高価なマイクロプロセッサーを要求する
。現在の発明は、ニューラル・ネットワークのような訓練可能なパターン認識ア
ルゴリズムを開発する、精巧なソフトウェアを使用する。通常、様々な特徴抽出
技術を使用して、下に議論されるように、データはあらかじめ処理される。また
、結果はシステム精度を改善するためにポスト処理される。ニューラル・ネット
ワークをソナー合図をすると使用するそのようなパターン認識システムの自動推
進でない例は:Gorman, R. P. and Sejnowski, T. J. “Analysis of Hidden Units in a Layer ed Network Trained to Classify Sonar Targets”, Neural Networks, Vol. 1. pp. 75-89, 1988, and “Learned Classification of Sonar Targets Using a Massively Parallel Network”, IEEE Transactions on Acoustics, Speech, an d Signal Processing, Vol. 36, No. 7, July 1988. フィーチュア抽出技術の
例は米国の特許で少しもなく見つけることもできる:“Process and Apparatus for the Automatic Detection and Extraction of Fe atures in Images and Displays” to Green et al. 他のものの例はもっと進み、米国の特許で効率的なパターン認識技術を少しもな
く見つけるために:Examples of other more advanced and efficient pattern recognition techni ques can be found in U.S. Patent No. 5,390,136 entitled “Artificial Neu ron and Method of Using Same” and U.S. Patent No. 5,517,667 entitled “ Neural Network That Does Not Require Repetitive Training” to Wang, S. T .. Other examples include U.S. Patent Nos. 5,235,339 (Morrison et al.), 5,214,744 (Schweizer et al), 5,181,254 (Schweizer et al), and 4,881,270 (Knecht et al). 一般に、レーザーおよび非レーザー光学のシステムはイメージの次元の2つの
平面内のオブジェクトの位置の決定でよい、また、走査モードにおけるパルス・
レーザー・レーダー・システムが、飛行の時間の測定によりレシーバーからのイ
メージの各部分の距離を決定することができる、範囲ゲーティング技術によって
。非レーザーシステムを備えた距離を決定することはさらに可能である。あるい
は立体画法的(stereographically)に2のレシーバーを別々に間隔を置き、使用
される。また、ある場合には、視界の分野での単なる位置は例えばエアバッグに
関する位置を評価するために使用することができる。最終的に、1つの、最近開
発されていた、定量をよく律動的に送った、ダイオード・レーザーはさらに米国
の臨時の特許の出願で議論されるような低費用の距離測量を提供する。 60/114,
507、ファイルされた1998年12月31日。
【0007】 単純な電子回路が設計されていることを比較的低い音速が可能にし、最小のマ
イクロプロセッサー能力が要求されるので、聴覚のシステムは距離測量でさらに
有効である。 z軸が変換器から占有者まである場合、座標系が使用される場合、
音響学は、単一のCCDかCMOS配列を使用する単純な光学のシステムがxとyの次元
の測定でよい間、z次元を測定することでよい。音響学と光学のコンビネーショ
ンは、1つの位置から、一般に割り当てられる米国のパテントで議論されるよう
な低コスト・コンポーネントで3つの測定がすべて作られることを可能にする。
Nos. 5,845,000と5,835,613. これらの考えを使用するシステムの1つの例はレン
ズおよびレシーバー配列(e.g)と結び付けられた、赤外線光で助手席を氾濫させ
る、光学のシステムである。CCDあるいはCMOS配列、それはCCDかCMOSの出力をデ
ジタル化し、Artificialニューラル・ネットワークワーク(Artificial Neural
Network)(ANN)あるいは分析用の他のパターン認識システムにそれを与える、
反映された光、およびAD変換器(ADC)を受け取り表示する。このシステムは、助
手席に位置したオブジェクトへの距離の測定のために超音波の発信機およびレシ
ーバーを使用する。受光変換器は、ADCにそのデータを供給する。また、そこか
ら、変換されたデータは、ANNに向けられる。同じANNはANNが分析するために十
分な三次元のデータを提供して、両方のシステムのために使用することができる
。低コスト・コンポーネントを使用するこのシステムは正確な識別および単独で
作用する一方のシステムによって可能でない距離測量を許す。調整された配列シ
ステムがシステムの聴覚の部分に加えられる場合、光学の部分はドライバーの耳
の位置を例えば決定することができる。また、調整された配列は、位置に狭いビ
ームを向けることができ、占有者の耳への距離を決定することができる。距離測
量のためのultrasoundの使用は多くの長所を持つが、さらに、それはいくつかの
欠点を持っている。最初に、音速は、占有者の位置がおよそ10 ミリ秒(millis
econds)に更新することができる割合を制限する。また、ほとんどの場合に十分
が、占有者の位置が乗り物衝突の間に追跡されることになっている場合、例外で
ある。次に、超正常な波は、ヒーターか空気調節装置が操作される場合、あるい
は変換器を過ぎた空気の高速気流がある場合、生じることができる空気密度の変
化によって回折(diffract)される。第3に、その波長によって、変換器(それら
は高いQである)によって制限されている、装置を合わせた。典型的に、正常なこ
との解決は3インチまで約2(約)である。最終的に、超音波の変換器からのフィー
ルドは、望まれないオブジェクトあるいは表面からの影がデータに雑音を加える
ようにコントロールすることが困難である。超音波学は参照が上記の付けられた
特許および特許の出願、および米国の項目に記述されるような自動車の乗客コン
パートメントの内部のモニターのためにいくつかの構成の中で単独で使用するこ
とができる。パテント No. 5,943,295. この発明の教え、超音波の最適の数およ
び位置、および光学の変換器の使用は、特別モデルの適応プロセスの一部として
決定される。使用される変換器の数にかかわらず、より詳細に下に議論されるよ
うに、訓練されたパターン認識システムは、上に定義されたとともに、識別し分
類するために使用される、そして見られるいくつかのケース、照らされたオブジ
ェクトおよびその構成要素に。この技術のためのアプリケーションは多数である
。しかしながら、主要な焦点は位置に直面する後部の占められた子供座席の存在
の検知のために参照が上に付けられた特許および特許の出願中のシステムを適応
させする過程、および生じる装置である。あるいは1つの、位置からはずれて占
有者、および正常にすわる場所の占有者の検知。前の2つのケースでは、占有者
保護装置(エアバッグ)の転位(deployment)がコントロールされ恐らく抑えられ
るかもしれないし、後のものでは、それがコントロールされ可能になるように、
システムが設計されている。最初の生成占有者を感じるシステム(それはここに
示された教えを使用して、様々な乗り物モデルに適応される)の好ましい1つのイ
ンプリメンテーションは、超音波の占有者位置センサーである。このシステムは
パターンを認識するためにArtificialニューラル・ネットワーク(Artificial N
eural Network)(ANN)を使用し、それは、一方のエアバッグとして識別するよう
に訓練された、可能、あるいはエアバッグの作動条件を不能にする。パターンは
、エリアを着席させる正面の乗客をカバーする、超音波の4台の変換器から得る
。このパターンは、助手席エリアのオブジェクトを離れて弾む、超音波エコーか
ら成る。 4台の変換器の各々からの信号は、リターン・エコー(それらはエレク
トロニクスによって処理される)の電気的なイメージから成る。電子処理は、信
号の個別化(サンプリング)および数字化を後に続けて、増幅、対数の圧縮、整流
および復調(バンドはフィルタリングを渡する)を包含する。要求されたただ一つ
のソフトウェア処理、人工ニューラル・ネットワークにこの信号を供給すること
ができる前に、正常化(つまり、数に0と1の間に入力を写像して)であろ。これは
公平な量の処理だが、情報がすべて等しく扱われるので、生じる信号は生である
となお考えられる。
【0008】発明品の目的と概要 基本的にはこの発明品の目的は乗り物の中で物体の所在、位置または方角を確
認するため新しいシステムを提供することである。 もう一つの重要な目的としてエアバッグのような保護器具が後ろ向きのジュニア
シートに衝突する場合、器具の転位を防ぐため子供むけの後部座席を確認するシ
ステムの提供である。 発明品のもう一つの重要な目的は乗客の負傷や死亡の原因になれるエアバッグの
ような転位しやすい保護器具の頭または胸との衝突を防ぐため位置の間違った乗
客を正確に発見できるシステムの提供である。
【0009】 この発明品は車内にいる乗客、特に後ろ向きのジュニアシートに座った乗客ま
たは席からずれた乗客その席からずれたの位置を確認してモニターするシステム
である。それは乗り物のすべての部分に超音波と電磁放射線を当てること、つま
り放射線を発電機から座席の上の空間に伝導して決定し、最適の位置に適切に設
定された二つ以上の変換器を使用して座席の上の空間を通り変更した放射線を獲
得することによって行われている。とりわけこの発明品は今まで不可能であった
正確な測定のため電波の変更をする物体から得られた放射を分析する適切に設定
された多数の変換器を含むシステムに関連する。受光機の出力は部分を分類、確
認、位置するまたは子供むけの後部座席などの方角を確定するためパターンを区
別する実験された技術を利用する適切な計算機によって分析されている。基本的
には確認とモニターシステムによって得られた情報はほかのシステム、乗り物の
装置あるいは構成要素とりわけ前部・側面のエアバッグ、膝の当て物または同じ
ものの組み合わせからなる運転手と乗客のエアバッグシステムの作用に影響する
よう使用されている。しかし得られた情報は他の多くの乗り物のコントロール、
操作のためにも使用できる。 発明品に基づく乗り物の内部のモニターシステムは膨張性のエアバッグなどの乗
客保護器具設備の車内に取り付けられていると衝突センサーでは保護器具が転位
するはずの乗り物の激しい衝突の時、後ろ向きのジュニアシートで子供がいるか
どうかということがシステムによって確認されている。子供がいるとしたらエア
バッグをコントロールするようコントロール計器盤に信号がされている。結果的
には衝突の時器具の転位を避けることができる。ただし転位を抑制するより乗客
のいる後ろに向かう子供向けの後部座席を大いに保護することができるようなコ
ントロールは可能だということを考慮しなければならない。この発明の研究に基
づいて作られたシステムはエアバッグに対する乗客の位置を測定し、乗客がエア
バッグの転位による負傷されような位置をしているならエアバッグの転位をコン
トロールし不可能にする。前と同じよう転位は不可能になるだけではなく間違っ
た位置をしている乗客を保護するようコントロールもされる。
【0010】 発明に基づく方法の主な目的と利点。 自動車のある座席の上にある後ろ向きのジュニアシートの存在を確認できるシ
ステムの展開、導入をするための確実な方法を提供すること。 自動車のある座席で人間の存在を確認できるシステムの展開、導入をするため
の確実な方法を提供すること。 自動車の中にある物体の大きさ、位置、速度を確認できるシステムの展開、導
入をするための確実な方法を提供すること。 間違った位置をしている乗客または転位するエアバッグによる負傷されそうな
乗客を適時に確認できるシステムの展開、導入をするための確実な方法を提供す
ること。 変換器が起こすシグナルによる物体の位置と正確な区別を知るために乗客のコ
ンパートメントの特別な場所で変換器を設定する方法を提供すること。 シートベルトペイアウットセンサー、シートベルトバックルセンサー、座席の
位置センサー、後部席センサー、重量センサーを含む多数の変換器の組み合わせ
からシステムをつくり、そのシステムを超音波、電磁放射線などの放射線センサ
ーとの組み合わせとして使用し、物体の正確な位置と存在システムをつくり導入
すること。 それに応じて車内の座席の状態(使用されているかされていないか)を確認す
るシステムを展開する方法の第一導入段階は座席の状態に影響される変換器具を
乗り物の中に取り付けること。変換器は複合データセットを含む最低でも一つの
データベースをつくる。それぞれのデータセットは座席のさまざまな状態を表し
変換器のデータを利用する。そして座席の状態を表すデータセットを入力し座席
の状態を表示することができるデータベースから一番目のアルゴリズムをつくり
変換器から得られたデータを分析する。新しいデータセットはつまり使用中の乗
り物のコントロル回路にアルゴリズムをインストルしてから作成される。一番目
のアルゴリズムはアルゴリズムをつくるプログラムにデータベースを入力するこ
とによってつくられるかまたはアルゴリズムをつくるプログラムにアルゴリズム
をつくらせる。一番目のアルゴリズムはニューラルネットワークアルゴリズムで
ある場合ニューラルネットワークアルゴリズムをつくる時後方伝達方法が使用さ
れる。
【0011】 座席の占有状態は、幼児席に面する、占められ占有されていない後部を包含す
るグループから選ばれたオブジェクトによって座席の占有を含んでいる。このグ
ループは席の位置からはずれた人間、前向きのジュニアシート、チャイルドシー
ト、前向きの大人席、後ろ向きの大人席、空席、占有されていないジュニアシー
トおよびチャイルドシートを包含する。座席の占有状態は、多数の状態にオブジ
ェクトによる占有、および(または)新聞、本、地図、瓶、玩具、帽子、コート、
箱、バッグおよび毛布を包含し、排他的でないグループから付属品を選ぶことを
含んでいるべきだ。 データはデータ・セットを作られるに先立って、前処理(前プロセシング)する
。データの使用、データ・セット中のデータの特徴から作成された。その特徴は
正常化要因を包含するグループから選ばれる。ピークに先立ったデータ・ポイン
トの数、ピークの総数、そしてその中間、あるいはデータ・セットの変化。さら
に、正常化を使用して、数学上データ・セットを変形することができる、trunca
tion、対数の変形、sigmoid変形、thresholdingして、時間(フーリエの変形)以
上のデータの平均は変形し、ウェーブレット変換。前処理(前プロセシング)は
、3番目のデータ・セットを作成するために、できていたデータ・セットの中で
引き算をするデータと他のデータ・セットの中に対応するデータを1つのデータ
・セットの中に組み合わせる。 処理ステップは、アナログ・データを変換器からデジタル・データに変換し、
各々の変換器から一連のデータを包含するベクトルを形成するために変換器の複
数からのデジタル・データを組み合わせるステップを包含する。第1のアルゴリ
ズムは作成され、新しいデータ・セットからベクトルを入力することで車内の座
席の占有状態を表わす出力を生産するものである。各ベクトルを包含するデータ
の値がすべて最大と最小の間にあるように、データ・ベース中のベクトルは正常
化する。
【0012】 車内座席の占有状態を決定するためのシステムを開発する別の方法は、車内の
様々な位置で様々な占めるオブジェクトのデータ代表物を得てデータを形成する
ステップ、そして、データの最大値と最小値の等級を縮小するために少なくとも
データ・セットの部分を使用し、データ・セットを形成するステップを包含し、
そして、座席の占有状態を表わすデータ・セットの入力上の乗り物座席の占有状
態を示す出力を生産することができるデータ・ベースからアルゴリズムを作成す
る。データ上で作動することは、近似の対数の変形機能に基づく。 車内座席の占有状態を決定するためのシステムを開発する際に使用のデータ・
ベースを開発する方法は、車内に変換器を設定する(マウントする)ステップを
包含する。それは座席の占有状態によって影響される。そのステップは変換器か
らのデータおよび処理を受け取ること、車内の座席の初期の占有状態のデータ・
セット代表物を形成する変換器からのデータ、座席の占有状態の変更、また別の
データ・セットを形成するデータ収集プロセスを繰り返すこと、最初のデータ・
ベースの中への少なくとも1000のデータ・セットを集めること、座席の異なる占
有状態を表わすこと、また、第1のデータ・ベース中のほとんどのデータ・セッ
ト用の座席の占有状態を識別するデータ・ベースからのアルゴリズムを作成する
こと。アルゴリズムは、アルゴリズムの生成中で使用されなかったデータ・セッ
トのデータ・ベースを使用して、テストされる。 第2のデータ・ベース中のアルゴリズムによって正確に識別されなかった占有
状態は識別され、類似した占有状態と不正確状態のデータを包含する新しいデー
タのデータベースが収集される。新しいデータは第1のデータ・ベースと結合し
、新しいアルゴリズムは結合したデータ・ベースに基づいて、作成される。また
、アルゴリズムの希望の精度が達成されるまで、このプロセスが繰り返される。
【0013】 車内の座席の占有状態を決定するためのシステムを開発する別の方法は、各々
の変換器からアナログ信号を受け取って、多くの超音波の変換器を乗り物(その
変換器は座席の占有状態によって影響される)にマウントするステップ、車内の
占有状態の各包含変換器代表物から多数のデータ価値を包含するデータ・セット
を形成するために、各変換器からのアナログ信号を処理(プロセシング)し、当
データ処理、サンプリング、および変換器データを多数のデータ・セットを包含
し、座席の占有状態を表わす新しいデータ・セットの入力上の座席の占有状態を
示す出力を生産することができるデータ・ベースからアルゴリズムを作成するデ
ータ・ベースを形成し、デジタル・データのデータ・セットを作成するためにデ
ジタル化すること。
【0014】 なお、車内の座席の占有状態を決定するためのシステムを開発する別の方法は
、変換器からデータを受け取って、1セットの変換器を乗り物にマウントするス
テップ、および処理を包含する。変換器から形成までのデータ またシステム精
度の基準を開発すること。少なくとも1台の変換器は変換器セットから取り除か
れ、新しいデータ・ベースは変換器の減少数からののみデータを含んで、作成さ
れる。新しいアルゴリズムは新しいデータ・ベースに基づき、新システム精度を
決定するためにテストされ、開発されている。正確さを要求したアルゴリズムを
生産するセンサーの最少数が決定されるまで、変換器、アルゴリズム開発および
試験を削除する過程が継続される。変換器は、超音波の変換器、光学のセンサー
、容量性センサー、重量センサー、座席位置センサー、シートバック(seatback
)の位置センサー、シート・ベルトー・バックル・センサー、シート・ベルトpa
youtセンサー、赤外線感知器、誘導のセンサーおよびレーダー・センサーから成
るグループから選ばれる。
【0015】 また、ドライバーの占有状態を決定するためのシステムを開発する別の方法は
、乗り物の乗客席は、乗り物に異なる送信する周波数および受光周波数を持って
いり、増大する超音波の変換器のステップを包含する。その変換器、隣接した周
波数を持っていること、互いの直接の超音波フィールド内になく、変換器からの
受光データ、処理、車内の占有状態のデータセット代表物を形成する変換器から
のデータ、少なくとも1つ新しいデータの入力上の車内の占有状態を示す出力を
生産することができ、データ・ベースを形成する。
【0016】 このようなオブジェクトおよび利点は、この発明の乗り物識別およびモニタリ
ング・システムの次の記述から明白になる。
【0017】 人口ニューラル ネットワーク調整 とデータ前プロセシング方法の分析 - 例 空間感知センサー (Occupant Spatial Sensor) (OSS) の 「脳」を形づくる 人口ニューラルネットワークはエアバッグの状態のパターン(容易形と無力形
)を認識するように調整しなければならない。調整の中で最も重要な部分は自動
車の中のいろんな条件で取られたデータである。そのデータは形状に適切にあた
える形を記述する。データの処理(例えばフィルターリング)はそのデータの中
にある情報の質を上げる条件で適切になる。基本的な ネットワークのアーキテ
クチャ と使われた調整の方法も大切である。その2つは人口ニューラルネットワ
ークの学ぶことと概括の能力を決めるからである。方法とフィルター のテスト
としては実用的に行われたテストが最もいい。
【0018】 空間感知 センサー(OSS) はエアバッグをプログラミングする状態のパターン
(容易と無力)を認識するために人口ニューラルネットワーク(ANN)を使う。パ
ターンは自動車の前席の範囲を占める4つの 超音波受発信機で定める。4つ受発
信機の信号は電気的に加工される反響信号から成り立っている。電気的な加工は
増幅 (対数の 圧縮), デモデュレーション (周波帯変換フィルターリング)に伴
い分離識別 (サンプリング) と信号のデジタル化を含んでいる。一つの必要なソ
フトウエアプロセシングは信号が人口ニューラルネットワークに入る前には正常
化という(取られらデータを0 と 1の数にする)過程である。
【0019】 データを何度も処理されているが、加工された信号は(情報が全部同じ方法で
加工されるので)まだ「生」信号として認められている。 生の信号が人口ニューラルネットワークに入る前にはフィルターを適用するのは
可能である。フィルターの目的はシステムの特色を改善するために、大切な情報
の質を上げること。当追加には自動車の中にANN調整する時に使われた幾つかの
プレプロセッシングフィルターを記述している。
【0020】 2. データの記述 人口ニューラルネットワークの特色はシステム を調整する時に使われたデータ
に基づく。データの量と可能性の分布域がシステムのパターンを認識することと
概括の能力に影響させる。 OSS向けのデータはベクトルから成り立っている。各ベクトルは4つの超音波受発
信機から受け取った信号の大切な部分の組み合わせになっている。 典型的なベクトルは100加工の結果を含め、各結果は超音波受発信機で取った反
響信号の(時間的にずれた)レベルである。
【0021】 データの三種類を集める。第1の種類は調整のデータであり、エアバッグの展
開か無展開のシナリオを認識できるANNに入れたパターンを持っている。第二の
データ種類は無所属のテストのデータ。第三データの種類は実用的な(実走行に
よって確認した)データである。当種類は人口ニューラルネットワークの効果率
(成功率)を評価するために使う。 表1は自動車で取ったデータの3種類の特色を示す。データの種類は3に分けられ
る特徴付けている。形状の数値は人と物の数を現す。仕組みの数は自動車の中に
形状と物の仕組み(席の仕組みや席の横になる角、自動車の屋根、窓、などの状
態)の数を現す。ベクトルの数は人か物の動きの上で取られた仕組みの数と形状
の数である。
【0022】 表 1 データ種類の特色 1.1 調整している時のデータの特色 調整している時のデータはデータの分布を現す部分に分ける。表2は調整してい
る時にデータが客席の3グループで(空席、乗客がいる席とジュニアシート)の
分布であることを現す。乗客はみんな大人であった。子供は前向きにジュニアシ
ートに座った子供だけであり、他の席座ることがなかった。表 3 はジュニアシ
ートを最も詳しく分類することを現す。表4は車内環境により分されたいろんな
パターンを現す。
【0023】 表2 客席に分けるデータ 表3 チャイルドシートの形状 表4 車内環境のデータ 1.2 無所属のテストのデータ 無所属のテストデータを取るのに調整データと同じ形状や対象、オブジェクト、
条件を使うのでその形状と分布も調整データと同じである。 1.3 評価的なデータ 表5は分類された評価的な調整データの分布することを現す。その分布は調整デ
ータの仕組みに近い。しかし、今回参加した乗客は大人(全人数の27%)と並
び子供(全人数の12%)も含めている。表 6は人間の 分布を表す。調整データ
テストと無所属のテストとは逆に、3歳から6歳までの子供がジュニアシートに座
る限定ではなかった。表7にはジュニアシートの分類を現す。一方では移動した
前向きのジュニアシートについてのデータを取らなかった。子供とチャイルドシ
ートのタイプも調整データテストと無所属のテストのタイプと違う。 表8はいろんな車内環境の状態で取ることを現す. 表5評価的な調整のデータの分布 表6 年齢などで人間の分類 表 7 ジュニアシートの分布 表 8車内環境のデータ
【0024】 システムの調整 基本的ネットワークは117入力節や2つの隠れた層にそれぞれ20節と7節、1の
外出した層の1節からの4つレベルのフィードバックシステムから成っている。外
出した層は超音波受発信機のこう後部(A), A-柱 (B),と上のコンソール(C, H)に
ある入力から成っている。表 9は各チャンネルがベクトルを作っている点の数を
表す 。 表 9 超音波受発信機の容量 人口ニューラルネットワーク は Neural Works Professional II/Plus という
ソフトにより操作する。数学的なパターンを調整するために使われる方法として
は拡張のDelta-Bar-Deltaを修得する規則とシグモイドトランスファー機能に基
づくフィドバックである。拡張学ぶのDelta-Bar-Deltaという規則はグラジエン
トの前のバリューを用いる。故に各接続は個々修得範囲と個々インパルスパラメ
ーターを持ち、自動的に計算する。 ネットワークは上記の記述された調整および無所属テスト・データ・セットを使
用して、訓練された。最適(無所属のテスト・セットに対する)は3,675,000のト
レーニング・サイクルの後に見つかった。各トレーニング・サイクルは650,000
の利用可能なトレーニング・セット・ベクトルから任意に選ばれて、30のベクト
ル(時代として知られている)を使用する。テーブル10は、基線ネットワークの実
行を示す。 表10 人口ニューラルネットワークの実行
【0025】 ネットワークの実行は、無所属のテストの部分集合に対する成功率の調査によ
りさらに分析される。エアバッグに対する成功率、94.6%で条件を可能にする、
エアバッグに対するそれと事実上等しい、94.4%で条件を不能にする。表11は、
様々な空間感知セットの部分集合用の成功率を示す。表12は環境上の条件部分集
合用の成功率を現す。このデータの分布はマトリックスの全体にわたって全く平
衡を保たれるとは限らず、システムの実行が熱源によって著しく下げられないこ
とが結論を下されるかもしれない。 表 11 Performance per Occupancy Subset 表 12 車内環境の状態
【0026】 正常化は、ネットワークの調整に受理可能な範囲への実際のデータ範囲を計る
ために使用される。 NeuralWorksソフトウェアは、一連の0〜1へ入力データをも
たらすことを計る要因の使用に包括的に要求している。いくつかの正常化の方法
はシステム実行に対するそれらの影響のために調査された。実際のデータは12ビ
ットデジタル化された信号から成る。0と4095の間の値を備えた。 FIG。 20は典
型的な生の信号を示す。生のベクトルは4つの信号の結合したセクションから成
っている。 個々のベクトルの正常化の3つの方法は検査された: 全ベクトル(基線)の最も高く最低である値を使用する正常化。 b。ベクトルを個々に構築する変換器チャンネルの正常化。この方法は、各チャ
ンネルの最も高く最低である値を使用する。 c.固定範囲 ([0、4095]) を備えた正常化。 正常化研究の結果は表13に要約される。
【0027】 表13 正常化 より高い実行の結果は、1本当たりのチャンネルを正常化することにより対全
ベクトルを通って、正常化することに起因する。これは、基線方法が別のものと
比較して、1台の変換器からの信号の相対的強弱度に含まれていた情報を保持す
るという事実から説明することができる。第2の方法を使用する場合、この情報
が失われる。 固定範囲を使用する正常化は、1つのベクトルの相対的強弱度に含まれていた情
報を保持する。これから、基線方法のその上に固定範囲正常化で調整されたネッ
トワークの実行が増加することは期待される。しかしながら、正常化なしでは、
入力範囲が、0から最大の値まで概しない(図1を参照)。入力層のデータの絶対値
はネットワーク容量調整に影響する(方程式[1]および[2]を参照)。ネットワーク
調整中に、より小さな入力範囲を備えたベクトルは、十分な範囲を測るベクトル
より各処理要素(ニューロン)で計算された容量に影響する。 lcoef は学習係数です; ej [s] は層sの中のニューロンjのローカルのエラーで
す; xI[s]は層sの中のニューロンjの現在の出力状態です。 Dwij [s] = lcoef ・ ej [s] . xI [s-1] [1] ej [s] = xj [s] . (1.0 -xj [s]) . Dk (ek [s+1] . wkj [s+1]) [2]
【0028】 入力層で評価における最高と最低の変動はネットワークの調整に負の効果をも
たらす。これは、評価データにより低く反映される原因になる。 正常化の第2の影響は、0〜1の十分な範囲上に信号を伸ばすことにより、包括的
に信号の分解を増加させることである。ネットワークが信号の高いピークから修
得するので、それは一般化能力に良い影響を与え、評価も高くされる。 相対的なベクトルの強度に含まれていた情報を保持するよりネットワーク調整に
入力価値の固定範囲および基線正常化方法に起因する、増加した解決の影響が、
より強い効果があることが結論を下される。 表14 Low Thresholdフィルタ 3.2 Low Threshold フィルタの生の信号に含まれていたすべての情報がネ
ットワーク調整に役立つと考えるわけではない。低い振幅エコーは、調整・デー
タに含まれていてはならない超音波のフィールドの以外のオブジェクトから後ろ
に受け取られる。さらに、低い振幅雑音は様々な出所から、信号内に含まれてい
ます。この雑音は信号が弱いところで現われ、最も強いLow Threshold フィル
タの使用によって、それらがネットワーク・トレーニングのために使用される前
に、ベクトルの信号対雑音比は改善することができます。 3遮断レベルは使用さ
れていた: 信号の最大値(4095)の5%、10%および20%。使用される方法は、Low
Threshold レベルまでのしきい値より下の値をもたらす。後のベクトル正常化(
基線方法)は十分に信号を伸ばす範囲の[0、1]. Low Threshold 研究の結果は
テーブル14の中で要約されます。テーブル14、Low Threshold フィルタ研究結
果Threshold レベル自己テスト(Low Threshold Filter Study Results Th
reshold Level Self Test)、無所属のテスト、評価のテスト(Independent T
est Validation Test)
【0029】 Low Thresholdフィルタ 5%および10%のフィルタで調整されたネットワークの実行は、基線ネットワー
クのそれに似ている。小さな実行低下は、20%のフィルタで調整されたネットワ
ーク用に観察される。これから、騒音レベルがネットワーク調整に影響しないの
に十分に低いことは結論を下される。同時に、ネットワーク実行に影響せずに、
信号のより低い10%を廃棄することができることは結論を下されるかもしれない
。これは、信号が最大のフィールドの強度の10%と等しい、超音波のフィールド
の以外の境界線の定義を許可する。
【0030】 一般的なネットワークは伝播(back-propagation)タイプのネットワークであ
る。伝播(back-propagation)により帰ってきた情報は一般的な問題を解決し、
予測、分類、システム・モデリング、フィルターリングのために使用されたネッ
トワーク・パラダイムである。伝播(back-propagation)が実際の出力と希望し
た出力間のエラーを計算し、ネットワーク中の各波節にこのエラー情報を広める
ことにより修得する。この伝播(back-propagation)で広められたエラーは各ノ
ードで修得を駆り立てるために使用される。伝播(back-propagation)ネットワ
ークの利点がいくつかある。それがグローバルエラーを最小限にすることを試み
て、それが、複雑なデータ・セットで非常にコンパクトに分けられた表現を提供
することができることである。弱点はネットワークの分布された性質によりその
遅い修得、および不規則な境界および予期しない分類地方である。また、限られ
ていないトランスファーの使用は機能します。これらの弱点のうちのいくつかは
、Extended Delta-Bar-Deltaパラダイムのような修正済の伝播(back-propagat
ion)方法の使用により克服することができる。
【0031】 EDBDアルゴリズムは、ネットワーク(それはネットワーク調整の最適化を促進
する)中の各接続の修得範囲および勢いを自動的に計算する。基線ネットワーク
とは異なっている特性を持っている、他の多くのネットワーク・アーキテクチャ
ーもある。これらのうちの1つはロジコン射出ネットワーク(Logicon Projectio
n Network)である。このネットワークは開いた境界ネットワーク(伝播(back-p
ropagation)ネットワークはそれに属する)と閉じた境界ネットワークの種の利
点を組み合わせている。閉じた境界ネットワークが入力データ・ポイントに直ち
にプロトタイプを置くことができ、これらのプロトタイプに入力データをすべて
一致させることができるので、修得して、閉じた境界ネットワークは速い。開い
た境界ネットワークは、他方では、適正なgradientによって出力エラーを最小限
にする能力を持っている。
【0032】 結論、 評価データ・セットに対して92.7%の成功率に修得された基線の人工ニューラ
ル・ネットワーク。このネットワークは4層伝播(back-propagation)アーキテ
クチャーを持っており、拡張デルタ棒デルタ(Extended Delta-Bar-Delta)修得
規則およびsigmoidを使用し、機能を転送する。ポストプロセシング処理が“fiv
e consistent decision”フィルタを包含していた一方、前プロセシングはベク
トル正常化を包含しました。無所属のテスト・データのために使用された対象お
よびオブジェクトはそれらが調整データのために使用したのと同じ物でした。こ
れはネットワークの分類および一般化の能力に悪い影響を及ぼす可能性がある。
無所属のテスト・データの空間の分布は、調整データのそれと同じくらい広かっ
た。これは、空間の大量を横切って一般化することができるネットワークに帰着
した。より小さなボリュームを横切ったより高い実行、ものが分布カーブの以外
のより低い実行と結合して、正規分布のピークの近くで直ちに位置した、望まし
い。これを達成するために、無所属のテスト・セットの分布はシステム用の正常
分布の反映 (a.k.a.現地人の人口)である必要がある。前プロセシング方法の
修正か追加の前プロセシング方法の適用は、基線ネットワークのその上に実行の
重要な改善を示さなかった。それが、固定範囲の中で入力価値を維持することに
より修得を改善し、信号の解決を増加させるとともに、基線正常化方法は最良の
結果を与えた。Low Threshold研究は、エコー・パターン中のより大きなピーク
からネットワークが修得することを示した。前プロセシング技術は、これらのピ
ークを出す信号の解決を増加させることに向けられるべきだ。原寸には満たない
を使用して、固定範囲正常化とLow Thresholdを組み合わせて、調査するために
一層の研究を実行することができる。これは、0と1の間に写像することができる
固定範囲へ有効に各ベクトルを強要して、飽和にLow Threshold価値および1つの
値で少なくとも1ポイント含めることを各ベクトルに強いるだろう。相対的なベ
クトルの強度に含まれていた情報を保持している間、これは肯定的な結果に基線
正常化に関係している。その後、スケーリングの結果、0〜1の範囲の外部で落ち
る生のベクトル・ポイントは、0と1までそれぞれ写像されるだろう。ポストプロ
セシングはメモリ機能を備えたネットワーク認識能力を増強するために使用され
るべきだ。そのようなものの可能性は、空間の置く機能も両方のオブジェクト分
類も実行する1つのネットワークの必要によって現在挫折する。空間の置く機能
の実行は、急速にシステム・ステータスを更新する柔軟性を要求する。ネットワ
ークによって不正確に分類される時折の模様の影響を無効にするために、オブジ
ェクト分類は他方では、決定厳格から利益を得る。
【図面の簡単な説明】
【図1】 本発明に基づく光学的死角検出装置の好ましい設置位置を示す車
両の斜視図である。
【図2】 ハイウエーを走行中の図1に示した車両の斜視図である。
【図3】 図3AはLEDアレイまたはスキャニングレーザとCMOSカメ
ラの位置を示す車両のミラー装置の詳細図であり、図3BはLEDアレイまたは
スキャニングレーザとCMOSカメラの位置を示すトラックのミラー装置の詳細
図である。
【図4】 光源とカメラが連動していない別の死角検出システムの平面図で
ある。
【図5】 好ましい車両のミラーから照射されたレーザダイオードによる光
の照射パターンを示す図2に類似の図面である。
【図6】 図6Aは、側面死角スポット領域を示す大型トラックの平面図で
あり、図6Bは、側面死角スポット領域を示す図6Aに示した大型炉ラックの側
面図である。
【図7】 図7Aは、トラックの右前方の死角を示す平面図であり、図7B
は、トラックの右前方の死角を示す側面図である。
【図8】 図8Aは、バスの前方の空間をモニターするバスへの適用例を示
す側面図であり、図8Bは、バスの前方の空間をモニターするバスへの適用例を
示す前面図である。
【図9】 バックアップ事故からの保護を目的としたトラックトレーラの後
方モニタに適用されたシステムの平面図である。
【図10】 死角検出装置、ステアリング制御装置、表示装置および警報シ
ステムを示すブロック図である。
【図11】 対称車両の位置と近傍の事故の可能性を有する他の車両の位置
を示すための装置パネル状でのアイコン表示と他の頭上表示装置を上方から見て
示したものである。
【図12】 頭上表示装置を示す図11に類似の図面である。
【図13】 図13Aは、図1に示した側面後方カメラによる映像、図13
Bは、画像処理を行った後の図13Aに示した映像、図13Cは、車両を抽象化
した後の図13Bに示す映像である。
【図14】 交通量の多い状況に置ける車線変更の問題を示す図である。
【図15】 本発明に基づく予知センサの種々の部分の位置を示す、車両型
の車両に衝突する直前の状態を示す斜視図である。
【図16】 車線変更問題に関するフローチャートである。
【手続補正書】
【提出日】平成15年6月18日(2003.6.18)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の名称】 車両の死角識別及びモニタリング・システム
【特許請求の範囲】
【発明の詳細な説明】
【0001】 発明の属する技術分野 この発明は衝突回避システム、特にトラック及び乗用車の周囲にある死角内の
様々な物体を検知し、車線変更といった行動が事故に結びつく可能性がある場合
に、そのような行動に対して警告を発する、あるいは妨げるシステムに関する。
【0002】 発明の技術背景 車両を操作している運転者にとって、車線を変更する十分な時間があるかどう
かなどの判断をするためには、様々な危険な対象物の接近およびそれらの相対速
度に関する情報を得ることが必要である。この情報は、車両の全周囲から得られ
るべきである。この情報を得るために、運転者は、例えば死角に物体があるかな
いかを確認するために振り返るなどの動作を頻繁に要求される。そのような動作
を取る際に、運転者の注意は、必然的に車両のコントロールから一時的にそれて
しまう。
【0003】 乗用車では、死角は車両の両側面に存在し、その範囲はほぼ運転者の位置から
車両の後方へ広がり、場合によっては後部まで伸びている。これらの死角は、鏡
の角度の調節に極度に依存しており、鏡角度によって死角の位置は変わる。ある
車両について鏡があるかどうか、あるとしたらどのように設置されているかは通
常分からないため、死角検知器は、鏡の有無及び角度に関わらず車両の両側面全
域に渡って対象物を検知しなければならない。
【0004】 車両の両側面にさらに大きな死角を持っているだけでなく車両の右フロント
バンパーの前から右ドアを越える範囲に重大な死角を持っているトラックにとっ
て、問題はさらに複雑である。特に市内運転の場合、この範囲に入った小さな車
両、オートバイ、歩行者、自転車などは完全に運転者の視界から隠れてしまい、
この死角が重大な問題となる。
【0005】 運転者が死角内にある対象物を視覚的に見ることを可能にするため、鏡を回転
させる多くのシステムが設計された。これは、運転者の目の位置に関する情報が
ない場合困難である。運転者の目の位置を決定することができる占有者センサを
組込まないシステムの殆どは、鏡が間違った位置に位置する危険があり、したが
って死角検知問題を支援するのではなくむしろ悪化させる危険がある。さらに運
転者が見慣れている範囲を見ることができなくなるので、鏡を回転させるシステ
ムは運転者を神経質にする可能性がある。
【0006】 また、「頭上」ディスプレイ(“heads-up"display)として、計器板あるいは
フロントガラスいずれかの上に設けたディスプレイに、ビデオカメラを使用して
死角の画像を表示する多くのシステムが提案された。しかしながら、運転者はそ
の画像を自車両の側面の死角にある他の車両といった対象物に関連づけることが
できないので、車両内部のスクリーン上に対象物の画像を表示するいかなるシス
テムも運転者を混乱させることになる。さらに、そのようなディスプレイの既存
技術では、夜と明るい日光の中で同等に明瞭なディスプレイが提供できない。し
たがって、CRTやLCD上のディスプレイは自然ではなく、運転者がこれらの
画像に慣れることは難しい。日光の下では画像の明度は弱すぎ、夜間走行中は明
るすぎる。したがって、これらテレビ状のディスプレイのどれも、運転者の実際
の視界の代わりになることはできない。
【0007】 また、レーダ及び超音波に基づくシステムも、コスト、正確さおよび誤報に関
する理由のために広く採用されていない。双方のシステムとも、死角の端に達す
る時に直径で数フィートになることがあるエネルギー・ビームを使用するため、
2つの車線にまたがる大型車両、ガードレール、道路標識、あるいは駐車中の車
両を死角にある車両と混同しやすい。そのようなシステムの中には、対象物の相
対的な速度に基づいて危険のない対象物から危険な対象物をフィルタリングする
ことを試みているが、かなりの数の危険を排除してしまうという誤りを起こして
いる。そのようなシステムの全てに、危険な対象物の全てが運転者に知らされる
と誤報率が許容できない程高くなり、運転者のシステムに対する信頼が失われて
警報を無視するようになり、逆に誤報率を低く維持すると多くの危険な状況が無
視されるという矛盾が存在する。
【0008】 したがって、上に議論された先行技術のシステムはすべて重大な欠点を持って
いる。先行技術により明らかなのは、バックミラーのような視覚に基づくシステ
ム(vision system)に非視覚的ステム(non-vision system)が代わる時は、非
視覚的システムの質は視覚的システムとほとんど同程度に良質でなければならな
いということである。
【0009】 自車両の車線に別の車両が入ってくる場合に別の問題が生じる。ほとんどのシ
ステムは運転者に警告せず、事故の原因となる。したがって、死角の問題は実際
には衝突する可能性のある車両と衝突される可能性のある車両両者に関する2つ
の問題であるといえる。
【0010】 この発明が扱う問題は、死角内の対象物についてどんな情報が必要かを決定し
、そして運転者が死角内の対象物を見なかったことにより発生する事故を排除す
るために、そのような対象物についての情報をどのように運転者に提示するかを
決定することである。この情報には、対象物の自車両に対する正確な位置、その
サイズ、その相対的及び/又は絶対的速度、および対象物が何であるかあるいは
どのような種類の物体であるかが含まれている。この情報は、険しい丘および急
なカーブのような道路形状の変化あるいは環境上の状態の変化にかかわらず検知
されなければならない。一般への販売を意図するのであれば、当然低コストでな
ければならない。
【0011】 研究により、運転者に0.5秒を与えることで事故の50パーセントを防ぐと
ことができることが分かっている。したがって、運転者が回避的な処置を講じ、
または車線変更のような特定の行動を取らないように、事故の危険は適時に運転
者に伝えられなければならない。
【0012】 したがって、必要なのは運転者の目のように働き、状況を解釈し、実際に事故
の可能性がある場合のみ警告を与えるシステムである。死角内に対象物が入るた
びに、鏡の上のライトを点けるという形で消極的な警告を与えてもよいが、音に
よる信号やハンドルの操作制限など、積極的な警告は事故を防ぐことが必要な場
合にのみ発せられる。誤作動が重傷または死に繋がる可能性があるので、このシ
ステムは非常に高い信頼度で正確に働くべきである。
【0013】 1. 死角検知システムの先行技術 フロリダ国際大学のUttamkumar DravidamおよびSabri Tosunogluによる “A S
urvey of Automotive Collision Avoidance Systems"において、障害物センサの
分野について詳細な分析が提供されている。以下に該分析を要約すると、死角検
知のために使用される障害物センサは、以下3つのタイプに分類することができ
る: 光学センサには受動的赤外線、レーザ・レーダおよび視覚が含まれる。それら
は通常外部の環境条件に敏感であるが、検知されるべき対象物は通常自車両の近
くにあるため死角検知上問題ではない。視界の一部が点光あるいは構造化光によ
って照らされていない限り、受動的赤外線および視覚は対象物との直線距離を測
定することができない。以下に記述するように、レーザ・レーダは直線距離を測
量することができ、またステレオ・カメラも距離情報を提供することができる。 AMCW(Amplitude Modulated Continuous Wave)、FMCW(Frequency Mocu
lated Continuous Wave)および衝撃レーダは、一般に悪環境条件によって影響さ
れない。比較的高価であるが、FMCWレーダは検知されるべき対象物が選択さ
れた際に長距離の距離測量を行うのに良い技術である。一般にレーダは、自車両
からある程度離れると画素が大きくなるため、道路標識、橋、ガードレールなど
による多重パス効果および多重反射に対して高い誤報率を有する。 超音波センサは、比較的安いコストで目標とする分解能に高い精度を提供でき
るので、短い相対的な距離測量だけが要求される場合に適用するのに良い。しか
しながら、画像化に応用するには、低速であることと比較的画素が大きいことが
超音波の使用の限界となる。さらに、超音波は熱および風により著しく変形する
【0014】 多くの研究者がこれら技術を組み合わせる試みを行っており、特にレーザ・レ
ーダおよびパルスとFMCWの組み合わせは長距離衝突回避に有利であることが
分かっている。
【0015】 様々なタイプのセンサについて、それらの長所・短所を含め、以下に操作法を
記載する。死角検知に適用するために、センサは対象物の位置及び自車両に対す
る障害物の速度を正確に決定できなければならない。これがどれくらいの精度で
達成されているかは次の指標で評価する: 感知範囲: センサが作動する最大範囲及び最小範囲 範囲分解能: 測定することができる範囲の相対的な変化 ピクセル分解能: センサが敏感に反応する受信時のビーム幅あるいは画素の
サイズ レスポンス時間: 死角内の変化にセンサがどれだけ迅速に応答することがで
きるか
【0016】 超音波センサ: これらのセンサは、典型的には40-200kHzの周波数で
、超音波エネルギーの波長の短い突発波の伝播時間を測定することにより働く。
超音波が発信されて障害物に反射し戻ってくるまでの時間は、障害物と自車両の
間の距離に正比例する。主要な利点は相対的にコストが低く大きさが小さいこと
である。これらのセンサは、例えば風速や温度勾配が大きいことにより引き起こ
される空気密度の変化に非常に敏感である。 受動的赤外線センサ: これらのセンサは、対象物が放射する熱エネルギーを
測定する。それらの主な長所はコストが低く大きさが小さいことである、主な短
所は検知された対象物までの距離を決定することができないことと、レスポンス
時間が遅いことである。 レーザ・レーダ・センサ: 一般的なレーダと同様、2つの技術が存在し、そ
れらは(1)伝播時間の測定と組み合わされた赤外線パルス・ビーム、および(
2)連続的な光ビームの変調である。パルス技術は長距離に対応し、高い方向性
を持ち、レスポンス時間が早い。その限界は環境条件に影響されやすいことであ
る。 FMCWあるいはAMCWレーダ: この種のレーダは調整されたマイクロ波
周波数を使用し、反射された信号と送信された信号の周波数差は対象物の相対速
度に比例する。わずかに異なる周波数の2つの波を使用する場合、受信されたそ
れら2つの波の反射の位相関係によっても対象物への距離を決定することができ
る。コストは高いが、この技術には環境条件に左右されないという利点がある。
欠点は、画素サイズが大きいことである。 衝撃レーダ: このレーダは、連続波の代わりに非常に短いパルスを使用する
点でFMCWと異なる。 FMCWレーダのように環境条件に左右されないが、
コストはFMCWより著しく低い。伝播時間の測定により距離を決定することが
でき、連続的な距離測定により速度を決定することができる。しかし、やはり画
素サイズが大きいために誤報率が高く、対象物を識別するには不十分な情報しか
得られないという欠点を持っている。 容量および磁気センサ: 容量および磁気センサは、低周波、典型的には5k
Hzで起動された電極間のキャパシタンスまたは磁界の変化を使用して、接近し
ている対象物(約2m以内に)を検知することができる。それらの検知範囲には制
限があるものの、それらはコストが低く、外部環境の影響に強い。他の技術と比
較して分解能が低いため、対象物の多くが車両に接近しているとはいえこれらの
装置が死角検知のために使用される可能性は低い。 視覚システム: これらの技術は、カメラおよび画像処理ソフトウェアの使用
に基づく。それらは外部環境条件の影響を受けやすいが、これは死角検知用の重
要な欠点ではない。
【0017】 本発明に関する先行技術には、米国特許No. 4,766,421; 4,926,170; 5,008,67
8; 5,087,918; 5,122,796; 5,229,975; 5,235,316; 5,289,321; 5,291,261; 5,3
11,012; 5,325,096; 5,122,796; 5,354,983; 5,418,359; 5,424,952; 5,463,384
; 5,467,072; 5,517,196; 5,668,539; 5,670,935; 5,675,326; 5,765,116と6,03
8,496、ならびに国際公表番号WO 90/13103、WO 95/25322およびWO 99/42856が含
まれる。 上記先行技術のいずれにも、死角を占める1つ以上の対象物の画像を分析し、
それを識別し、自車両に対する対象物の位置とその相対速度を判断し、潜在的に
危険な状況において運転者に正確に警告することを可能にする、車両の死角モニ
タのための方法あるいは装置は記載されていない。
【0018】 2.定義 以下に本発明の好適な実施例を記載する。特に言及しない限り、明細書および
請求の範囲に使用される単語および語句は当業者にとって通常の慣習的意味を持
つものとする。他の意味を意図するときは、その都度特に述べる。
【0019】 本発明において「死角」とは、様々なバックミラーを使用しても運転者が容易
に見ることが出来ないが、車両占有者あるいは対象物占有者に対し、または死角
にいる例えば歩行者に対し脅威となり得る対象物を含む可能性のある、車両周囲
のエリアを意味する。
【0020】 パターン認識は本発明を実行するのに一般に使用される。ここに使用される「
パターン認識」は、対象物の属性を決定するために、対象物が発する信号、ある
いは対象物と影響し合うことにより変調した信号を処理するあらゆるシステムを
意味する。そのようなシステムは、対象物が指定した1つの属性に属すか属さな
いかを単に判断するか、対象物を指定した属性を含む大分類に分類するか、大分
類中の属性のどれにも属さないことを判断する。処理された信号は一般に聴波あ
るいは電磁波に敏感な変換器から発せられる電気的信号であり、電磁波に敏感な
変換機から発せられている場合、それらは可視光、赤外線、紫外線、及びレーダ
のうちのどれかであるか、あるいは容量か磁気に基づくセンサに使用されるよう
な低周波放射線である。
【0021】 本発明に使用される、訓練可能な、あるいは訓練済のパターン認識システムは
、様々な例にシステムをさらすことにより様々なパターンを習得したパターン認
識システムである。そのようなシステムで最も成功しているのはニューラル・ネ
ットワークである。すべてのパターン認識システムが訓練されたシステムとは限
らず、また、すべての訓練されたシステムがニューラル・ネットワークとは限ら
ない。他のパターン認識システムはファジー論理カルマンフィルタ、センサ・フ
ュージョン、相関作用ならびに線形かつ非線形回帰に基づいている。また、ニュ
ーラル・ファジー・システムのように複数のシステムの雑種であるシステムもあ
る。
【0022】 ここに使用する「識別する」ということは、特定の分類あるいは種別に対象物
が属することを決めることを意味する。種別はシステムの目的により、例えば人
間対象物すべて、自動車、トラック、自転車、オートバイ、ガードレール、木、
などを含むものになる。消防車のような特別の車両が認識されることになってい
る場合は、分類あるいは種別は単一の要素、つまり認識される車両だけを含む。
【0023】 死角の「占有物」は、乗用車、トラック、オートバイ、歩行者、自転車、動物
、ガードレール、木、標識その他多くの対象物を意味する。
【0024】 本発明の記述で「接近する」という語が、別のものに接近する対象物あるいは
車両への言及に関して使用された時、センサ・システムを搭載している車両への
対象物の相対的な動きを意味する。言いかえれば、一般に使用される座標系は車
両に存する座標系になる。この方法により、動いている車両が静止している車両
に接近する場合や両方の車両が動いている場合など、全ての場合を一般的に記述
することが可能になる。
【0025】 ここで使用する「電子シャッター」または「光バルブ」は、装置の電子信号制
御に基づき、装置を通り抜けることができる光の量を制御するすべての方法を意
味する。
【0026】 3.パターン認識の先行技術 パターン認識技術としてのニューラル・ネットワークは、モニタリング・シス
テムを強健で確実で、実用的にするので、この発明の幾つかの実施例の中で使用
される。ニューラル・ネットワーク・プログラムによって作成されたアルゴリズ
ムは、通常C又はC++コンピュータ言語で書かれた数百行のコードだけである
。結果として得られたシステムは低コストで容易に実行でき、乗用車への適用を
現実的なものにする。例えば、最近までCCD及びCMOSのコストは割高で、
それらを死角システムに使用するのは非現実的であった。同様に、ニューラル・
ネットワークおよび類似した訓練可能なパターン認識技術の実行では、大量に仕
入れた場合は典型的には10ドル未満という安価なマイクロプロセッサの使用が
可能であるのに対し、上記に参照した特許の技術を実行するにはしばしば高価な
マイクロプロセッサが必要である。
【0027】 本発明は、好適にはニューラル・ネットワークのような精巧な訓練可能なパタ
ーン認識能力を使用する。通常、下に議論されるように様々な特徴抽出技術を使
用して、データは前処理される。ニューラル・ネットワークをソナー信号に使用
するパターン認識システムの例は、Gorman, R. P. 及びSejnowski, T. J.による
“Analysis of Hidden Units in a Layered Network Trained to Classify Sona
r Targets", Neural Networks, Vol.1. pp 75-89, (1988年) と “Learned Cl
assification of Sonar Targets Using a Massively Parallel Network, IEEE T
ransactions on Acoustics, Speech, and Signal Processing, Vol. 36, No. 7,
(1988年7月)という2つの文献に記載されている。特徴抽出技術の例は、Gree
nらによる米国特許No. 4,906,940に記載されている。パターン認識の他の最も効
果的な先端技術は、S.T. Wangらによる米国特許No. 5,390,136 及び米国特許No.
5,517,667に記載されている。他の例は 米国No. 5,235,339, 5,214,744, 5,181
,254及び4,881,270である。
【0028】 4.光学 光学は車両の外部を監視するためのいくつかの構成の中で使用することができ
る。受信器は放射されたかあるいは反射された光を受け取るためにCCDまたは
CMOSイメージャである。レーザは走査モードで使用されるかあるいは光レン
ズの使用によって死角内の対象物の大部分をカバーする光の錐体を作成すること
がでる。これらの構成では、光は車両の特定の部分だけを照らすよう正確にコン
トロールすることができる。光の錐体の場合には多くの能動素子が必要である一
方で、走査モードにおいては受信器は単一あるいは少数の能動素子を含んでいる
だけでよい。レーザ・システムは、米国特許No. 5,653,462に開示されているよ
うに、照射された対象物への距離を決定することができるという1つの重要な長
所を持つ。
【0029】 より単純な場合、非干渉性の発光ダイオード(LED)装置によって生成され
た光が所望のエリアを照らすために使用される。この場合、カバーされたエリア
はそれほど正確に制御されず、より大きなCCDかCMOSアレーが要求される
。最近CCDとCMOSのアレーのコストが実質的に下がった結果、この構成が
発信器から対象物までの距離を決める必要がない限り死角をモニタするためのシ
ステムにおいて最もコスト効率の良いシステムとなっている。この距離が必要な
場合は、ここに述べるような変調および位相検知又は伝播時間を使用するレーザ
・システム、あるいは立体画法システム、集束システム、超音波と光学の結合シ
ステム、又はここに多重CCDあるいはCMOSアレーシステムが要求される。
【0030】 1つの実施例では、照射光は、死角内の対象物を照らすために線状に走査され
る変調された赤外線レーザ光の形式である。反射された光は、狭い周波数バンド
ノッチ・フィルタを通過した後にピン・ダイオードによって受信される。ダイオ
ードは単一画素装置であるが、発信された光の方向が分かるので、反射された光
の方向も分かる。受信光の位相は発信された光の位相と比較される。1種類の光
の波長のみが死角エリア内に存在するように、変調周波数が選択される。光を反
射する対象物の位置が、発信された光と反射された光の位相差により決定される
。記述されたシステムは線走査を使用するが、二次元走査を使用して死角の三次
元マップを得ることも可能である。これは記述するようなピン・ダイオードの使
用により可能であり、あるいは、CMOSアレーによって受信した光を、Schwar
teらによる“New Powerful Sensory Tool in Automotive Safety Systems Based
on PMD-Technology"に記載されたPMDシステムと同様の方法で画素上でモニ
タすることができる。後者の場合、死角エリア全体が、文献に記述されるように
変調された赤外線光にさらされる。他方では、日光のような自然な光を単一の投
光照明灯によって克服することは困難であり、よって適度な強度の光源を使用し
た線走査あるいは走査点源により、よりよい距離測定を行うことができる。
【0031】 いくつかのカメラ・システムに使用されている機械的な集束システムは、死角
内の対象物の初期位置を決定することができる。集束に基づき距離を測定するシ
ステムは、(Subbaraoによる)米国特許No. 5,193,124に記載されており、機械的
な集束システムあるいは2台のカメラと共に使用することができる。Subbarao特
許はカメラの焦点集束技術について詳細に記述しているが、本発明を実行するた
めに必要であるより複雑なシステムである。実際、ニューラル・ネットワークま
たは光学相関システムはまた、Subbarao特許に開示され、その技術を本発明の目
的に利用することが可能な技術を持つカメラと同様、異なる位置に設置されたカ
メラまたは2つの隣接したCCDと異なる特性を持つレンズにより得られる2つ
の画像に基づいて距離を決定することができる。米国特許No. 5,003,166に記載
されたシステムを用いて、対象物に投射する構造化光のパターンを広げるか、あ
るいは偏光することにより距離を決定することもできる。さらに距離は、この発
明の原理が教示するように、複数のCCDまたはCMOSアレーにより、あるい
は電磁波の伝播時間を測定することにより測定することができる。 これらの場合の各々では、使用される距離測量システムの種類にかかわらず、
訓練(調整)されたパターン認識システムは、上に定義されたとおり、照射した
対象物を識別し、分類し、そして場合によっては、その位置を決定することもで
きる。
【0032】 5. 光学と音響学 一般に、レーザ光学および非レーザ光学のシステムの両方は、画像の2次元平
面上で対象物の位置を判断することに優れており、走査モードの連続的変調レー
ダ・システムまたはパルスレーザ・システムは、伝播時間あるいは位相を測定す
ることにより受信器からの画像の各部分の距離を決定することができる。間隔を
空けて設置した2つの受信器を使用すれば、上に記述した集束を行うことにより
、あるいは立体画像により、非レーザ・システムでも距離を決定することが可能
であり、場合によっては、例えば死角内の対象物の位置を推測するために、単に
視界中の位置を使用する。最終的に、最近発展したパルス化量子井戸ダイオード
・レーザも、低費用での距離測量を可能にする。
【0033】 比較的速度の低い音は電子回路の設計を単純にし、マイクロプロセッサの容量
も最小で済むため、音響システムもまた距離測量において非常に有効である。
z軸が変換器から対象物まである場合に座標系を使用する場合、音響学はz次元
を測定することに適しており、一方単一のCCDを使用する単純な光学のシステ
ムはx次元及びy次元の測定に適している。よって、音響学と光学を組み合わせ
ることにより、同一出願人による米国特許番号 5,845,000と5,835,613に説明さ
れるような低コストの部品を使用して、1つの位置から3方向すべての測定が可
能になる。
【0034】 これらの考えを使用したシステムの一例は光学システムであり、該システムは
自然光とレンズ、画像の受信及び表示のためのCCDまたはCMOSのアレー、
及びCCDまたはCMOSの出力をデジタル化し、人工ニューラル・ネットワー
ク(ANN)あるいは分析用の他のパターン認識システムにそれを与えるAD変
換器(ADC)またはフレーム取込み器(frame grabber)を利用するものである
。このシステムは、死角に位置する対象物までの距離を測定するために超音波の
発信器および受信器を使用する。受信変換器は、ADCにそのデータを送り、そ
こで変換されたデータはANNに送られる。両方のシステムに同じANNを使用
することができ、それによりANNが分析するために完全な三次元データを提供
する。このシステムは、低コストの部品を使用し、二つのシステムがそれぞれ単
独で動作したのでは不可能な、正確な識別および距離測定を可能にする。フェー
ズドアレーシステムをシステムの音響部分に加えた場合、光学部分が対象物の位
置を決定し、フェーズドアレーがその位置に狭帯ビームを照射し、伝播時間によ
り対象物までの距離を決定することができる。
【0035】 距離測量に超音波を使用することには多くの利点があるが、それはいくつかの
欠点も持っている。最初に、音速は、対象物の位置を更新できる速度を制限する
。次に、超音波は、熱の勾配が存在する場合や変換器に吹き付ける高速気流があ
る場合に生じる可能性がある空気密度の変化によって回折される。第3に、超音
波の分解能はその波長および高Q調整器(high Q tuned device)である変換器
によって制限される。典型的には、超音波の分解能は約2−3インチである。最
終的に、超音波変換器からのフィールドの制御は難しく、よって目標としない対
象物あるいは表面からの反射がデータに雑音を与えてしまう。
【0036】 6.死角に関する問題とその解決策 上述した死角検知システムの先行技術の分析により、既存のシステムは十分に
適切であると考えられない。根本的な問題は、運転者が視覚的なシステムに慣れ
ており、本質的に他の技術を信用しないことである。視覚的でないシステムが誤
報を出したり、死角内の対象物を検知できなかったりすると、直ちに運転者はシ
ステムに依存するのを止めてしまう。理論的には、最良のシステムは、運転者が
死角をすべて見ることを可能にするカメラに基づくものである。しかしながら、
運転者にとって実際の景色に匹敵するのに十分なディスプレイシステムはない。
CRTとLCDは運転者の注意を要求し、明度の動的な強弱がない。ディスプレ
イは夜明るすぎるか、あるいは日光の下では暗すぎるだろう。レーダ・システム
は対象物への距離を正確に測定することができるが、それらは、車両に関する側
面かつ垂直の座標に対象物を置くことに弱く、その結果多くの誤報を発する。
【0037】 最も単純なシステムは、自車両に対する死角内の対象物の位置を正確に把握し
、運転者が例えば車線を変更する場合、衝突可能性が存在すると運転者に通知す
ることができなければならない。この警告は、車線変更の運転操作を考えている
ときに運転者が殆ど無意識に警報を確認するのであるか、あるいは、運転者がそ
のような車線変更の操作を試みると警告音を出すようになっているかでなければ
意味がない。そのようなシステムがはじめて、運転者がそのような操作を行うの
を防ぐことができる。
【0038】 もっと精巧なシステムは、上から見た自車両および周囲すべての車両を単純な
アイコン・イメージで提供することである。このようにすればほぼ一目で、運転
者は死角内及び自車両周囲の全方向にある対象物の位置および種別を判断するこ
とができる。このディスプレイを単純な形式で使用すれば、視覚的な動的濃淡の
問題はそれほど重要でなくなる。すなわち、運転者が白い背景上に黒い対象物を
みるだけでよく、またこれらの対象物のサイズが十分大きければ、昼夜を問わず
ディスプレイを見ることができる。
【0039】 これらの目的を達成するために、死角内の対象物を明確に捕らえ、その対象物
が何か識別することが必要である。対象物がガードレールや駐車している車の列
であるときに取る運手者の行動は、150キロで追い越して行くポルシェに対し
て取る行動とはまったく異なっているだろう。
【0040】 したがって、システムの必要条件は、対象物を識別し、かつ自車両に対する対
象物の位置を決定することである。対象物を識別するために、好ましくはニュー
ラル・ネットワークあるいは光学的相関システムなどのパターン認識システムを
必要とする。対象物の位置決定には、カメラから対象物までの距離を測定する手
段が必要とされる。CMOSカメラは、死角内の対象物の画像を捕らえるのに非
常に有効で、カメラがHDRCカメラである場合は、真夜中から明るい日光の下
まですべての正常な条件の下で、特に光源が最小の暗い夜など、高い性能を提供
する。
【0041】 レーザ・レーダ、FMCWまたはAMCWレーダ、範囲ゲート・パルス化微小
消費電力衝撃レーダなどを使用して、超音波的な測定も含めた様々な方法により
、対象物までの距離測定を行うことができる。これらすべての距離測定技術、並
びに立体画像、集束、構造化光、三角測量および他の類似した技術を、この発明
に使用する目的で検討する。
【0042】 距離測定の問題を解決する方法として、HDRCカメラ・システムの使用に合
う廉価なアプローチは、一定量の死角に連続した赤外線光パルスを照射すること
である。これらパルスは、死角内の対象物に反射された光のパルスがカメラの視
界中のある特定の画素エリアに現われるような方法でカメラから取り除かれるレ
ーザ・ダイオードのアレーによって作成される。そして、パルスの伝送位置、お
よびカメラの位置が分かっているため、反射する表面への距離は、三角測量によ
って求めることができる。レーザ・ダイオードアレーからの伝送角度を正しく選
択することによって死角の全容量を十分な精度で覆うができ、それによりある程
度の大きさの対象物は死角に入ると必ず反射を起こすことになり、その結果対象
物までの距離を決定できる。
【0043】 レーザダイオードアレーからの一連のパルスを考慮したが、他の技術によって
もまた、一般にコストは高くなるが、同じ目的を達成することが出来る。例えば
、1次元あるいは2次元で死角エリアを走査する、連続的なレーザ・ビームを使
用することができる。レーザの方向がいつも分かっているので、その反射及びC
MOSアレー上の画素の励振により、ここでも、死角内の対象物上の様々な部位
までの距離を正確にマッピングすることが可能である。しかしながらこの技術に
必要な走査レーザ・システムは、より正確だが一般に単純なLEDアレーより高
価である。繰り返すが、上述したフォトニック複合装置も、以下に述べる好まし
いシステムと同様に死角内の内容物について三次元の画像を提供する。
【0044】 別の技術は死角エリアの上に、一般に構造化光と呼ばれる光のパターンを重畳
することである。構造化光の光源は造影アレーから取り除くべきである。パター
ンの各部分の距離等の反射されたパターンの特性を観ることによって、対象物へ
の距離を決定することができる。このシステムは、機械的応用を考えた場合には
一般的だが、上述した単純なLEDアレーより大きい計算資源を必要とする。し
かしながら、このアプローチは実行可能であるし、発明への使用を考慮すること
ができる。
【0045】 様々な形式の構造化光を、カメラのレンズに特有か、あるいは画像に数学的に
重畳したほかのパターンと組み合わせることにより、一般にモアレ・パターン(
Moire patterns)として知られている、カメラから対象物までの距離を測定する
パターンを作成することができる。いくつかの精巧な例において、この技術は、
対象物の理解または識別において価値を持つ、死角内の対象物の立体形図に相当
する物を現実に提供することができる。しかしながら、これらの技術は相当な計
算の力を要求し、上述の単純なLEDアレー、線形走査LED,ピン・ダイオー
ドを用いるレーザ、それらの相当物、及び下に示すような受信器と比較して費用
がかかる。
【0046】 これらのシステムはすべて、送信された赤外線システムから反射される光と、
日光から来る光との識別を行なう。時として、カメラのある特定のピクセルが、
自車両のシステムによって発信された赤外線の反射を圧倒する赤外線の放射を受
け取ることが有りえる。この放射線が予想される以外のピクセルから来る場合、
システムは結果が誤りであることを認知する。したがって、上述のシステムは、
データ分析能力を持ち、高い精度で結果を出すことが出来る。結果が予測と一致
しない場合、それは無視される。それがある程度の時間続いた場合、車両の運転
者は死角検知システムが使用不能であると警告される。しかしながら、精巧な画
像処理および数学的な技術を使用するので、使用不能な時間は最小であると思わ
れる。しかし、運転者は誤報にさらされず、代わりに、過度の日光などによりシ
ステムが一時的に使用不能であると伝えられることになる。一般的な運転者にと
っては、この現象は身近であるので容易に理解でき、そのためシステムに対する
信頼を失わないだろう。狭い刻み目を有するフィルタを使用することにより、反
射した日光から反射された人工的な光をうまく分離させることができる。
【0047】 最初に、車両の運転者が関心を持つ唯一の状況とは、運転者が車線を変更した
い場合、バックミラーを調査して死角に対象物を見出さない時、車線変更を実行
する場合だと思われるだろう。残念ながら、死角問題はもっと複雑である。道は
カーブしており、車線変更の操作が全く容易に遂行されうるのに、先行技術シス
テムを使用した死角検知システムの構成により、運転者はそのような車線変更を
実行することができないと警告される可能性もある。システムが死角内にあると
検知した車両は実際には異なる車線の中にあるかもしれず、この点でシステムは
あてにならない。運転者は、混雑した交通状態からくるストレスの下、エラー・
メッセージを許容できず、そのために、システムに対する信頼を失うかもしれな
い。
【0048】 死角内の対象物の識別は重要であり、本発明の有意義な部分である。以前の死
角検知器はすべて、車線を変更するかあるいは他の運転操作を実行するといった
運転者の意図に邪魔になるかならないかに関わらず、車両周辺の対象物からの反
射があることを単に示しただけであった。これは、何かがそこにあるがそれは何
であるかわからないと伝えられた運転者にとって、非常に不安なことである。例
えば、右からの自車両の車線に侵入して来る車両を回避するために部分的に路肩
に乗るという状況に自車両を移動させたいと運転者が考えたとしよう。今日のシ
ステムはすべて、彼がそのように行うことができないと運転者に伝えるだろう。
本発明に記述されたシステムは、ガードレールが左15フィートのところにあり
、そのため路肩の上に10フィートだけ乗ることができ、それにより右から自車
両の車線に侵入する車両を回避することができると伝えてくれる。これは現実の
世界で起こる状況であるが、すべての既存の死角検知システムは運転者に誤った
答えを与えるかあるいは答えを与えない。
【0049】 将来の自動車安全システムは差動GPSとセンチメートル単位の精度を持つ道
路地図に基いたものになるだろう。この発明の死角検知器は、現在起こっている
事故のうちのいくつかを除去することを支援する一時的な段階である。現在道の
特別の形状は車両に知られていないため、死角検知システムはその意思決定機能
において例えば、道路の前方に左への急カーブがあるという情報を使用すること
が出来ない。それでもなお、これは現実にあることであるから、実際には左へ急
カーブしているのに道路が直線だという仮定に基づいた分析によって、衝突の危
険があるという誤報を運転者に与えるべきでない。この問題は完全には解決され
えないものだが、自車両のハンドルの角度位置のような特徴をデータとしてシス
テムに入力することができれば、このようなタイプの状況はそれ程危険ではなく
なる。本発明の好ましい実施例では、意志決定プロセスに他の車両を情報源とし
た、ハンドルの角度位置、車両速度などを含む情報と、入手可能な場合は地図お
よび所在情報を使用する。
【0050】 先行技術を使用した死角検知システムにおいて、発明者は対象物が死角内にあ
るという警告を車両の運転者に継続的に通知することはできないと分かるように
なった。そうでなければ、ラッシュアワーのハイウェー上にいるすべての運転者
は、そのような警告の集中砲火にさらされてしまう。先行技術のシステムは、一
般に、点灯により警告するLEDをバックミラーにつけ、運転者が方向指示器を
作動したときにだけ鳴る警報を提供している。残念ながら、正常な運転の条件の
下では、運転者の約70%だけが車線変更の表示として方向指示器を使用する。
ストレスの多い混雑している交通状況で自動車を運転する場合、その割合は著し
く落ちるだろうと予想することができる。運転者が車線変更する際に警告するべ
きだが、方向指示器の利用が十分ではない。
【0051】 様々な研究は、運転操作に先立つ数秒間の運転者の動作に基づいて、彼の意図
を予測することができることを示している。例えばニューラル・ネットワークを
使用して、運転者をモニタし、運転者の行為を予測するようなシステムは多少成
功しているといえる。しかしながら、これら計算集中的なシステムは恐らく、ま
だ適用可能ではない。
【0052】 別の方法は、運転者が車両の進行方向を変えようとしたときに、死角内の対象
物に基づいて、ハンドルへ路面の凹凸の擬似振動を与えたり振動を作動させたり
することである。振動タイプの注意は運転者に伝わるが、実際に道路は急なカー
ブを切っているかもしれないのでシステムは車両の制御を予測できず、また車両
を制御することが事故に繋がるかもしれない。振動法または同様の触覚に訴える
方法は潜在的に危険な状況を運転者へ通知するのに好ましいアプローチである。
最初に、運転者が車両の方向を変更しようとすると、ハンドルに抵抗がかかる。
運転者が路上のカーブに入っているか、あるいは車線を変更しようとしているの
かシステムは認知できないため、運転者はこの抵抗を容易に克服することができ
る。しかしそれでも、それは潜在的な問題があることを運転者に示している。運
転者が操作を変更しない場合、適度な振動がハンドルに与えられる。ここでも、
運転者はこれを容易に克服することができるが、対象物が運転者の死角の中にあ
るという事実に基づき、事故を起こす可能性のある運転操作をしようとしている
のだと彼に警告することができる。
【0053】 発明の好ましい実施例は、死角内の対象物の存在をモニタするために受動的光
学システムを使用する。ニューラル・ネットワークや光学的相関システムのよう
なパターン認識技術は死角の中にある対象物を能動的に識別するために使用され
る。この対象物は歩行者か、自転車、オートバイ、ガードレール、動物、自動車
、トラック、などである。システムは対象物が死角に現われるということを光学
上あるいは口頭で運転者に通知するように訓練されるかプログラムされる。それ
は、さらにどの死角が対象物を含んでいるかに関して運転者に通知する。システ
ムは、さらに、この対象物が移動しているか、(絶対的な位置において、および
/または自車両に対して)静止しているかに関して運転者に通知することができ
る。この情報は様々な方法で運転者に提示される。まず、ある対象物が存在する
か特定の対象物が存在することを示す光または単純なアイコンを、バックミラー
に現わすことができる。もっと精巧なシステムでは、単純なアイコン・ディスプ
レイ上に、自車両を表すアイコン及び死角内の対象物およびその位置を示すアイ
コンを、頭上から見た形で表示する。あるいは、口頭の通知は、彼の左3フィー
トのところにガードレールがある、だとか、隣の車線を後ろから相対速度100
kphで近づいてくる車両がおり、現在その車両との距離は50フィートである
、といったアナウンスを流すことができる。死角にある対象物を認識し、該対象
物の自車両に対する位置および速度を正確に測定することができれば、これら全
てのタイプの警告が提供できる。これがこの発明の目的である。
【0054】 上記記述により明らかになったように、本発明のシステムは、死角にある対象
物のタイプ、その詳細な位置、自車両に対する相対速度について運転者に通知し
、さらに精巧なシステムでは、真上から見た自車両に対する対象物を示すアイコ
ンを使用して画像に表示することで、運転者が一瞥するだけで容易に理解できる
ようにする。したがって、本システムは、先行技術によるシステムに関して上述
した異議および問題をすべて克服するものである。
【0055】 ここまで、HDRCカメラのような受動的光学カメラ・システムの使用につい
て説明を行ってきた。また、ニューラル・ネットワーク及び光学的相関性による
認識システム及び他のタイプの認識システムを使用する方法について説明した。
それにより、本発明によりどのように死角を占める対象物を認識できるかが例証
された。以下に、対象物の位置決定がどのように行われるかについて更に詳しく
説明する。
【0056】 上で説明したように、多くの技術が距離の測定に利用可能であるが、そのコス
トは様々である。上記システムは、低コストで、本発明の好ましい実施例である
と思われる。しかし、本発明はこの技術に限定されるものではなく、いかなる実
用的な距離測定システムも検討可能である。
【0057】 本発明では単純なアイコンの表示を検討したが、これは現在のディスプレイ技
術の洗練度あるいは能力が不足しているためである。言いかえれば、従来のディ
スプレイによって放射することができる光のダイナミック・レンジは、単純なメ
ッセージ以外のものを表示するのには不十分である。技術は進歩し、高いダイナ
ミック・レンジを備えた正確なカラー・ディスプレイがあまり遠くない将来に登
場するであろうと期待される。そのようなディスプレイが登場すれば、死角内の
対象物をより正確に、さらには実際の画像により表示することが可能になるかも
しれない。
【0058】 この発明では、概して、運転者が実際に死角の内容を見ることを可能にするバ
ックミラーの使用を考慮しない。これは、正確にこれを遂行するためには運転者
の目の位置を把握する要求があるからである。運転者の目の位置を決定するのに
ミラーの角度の使用が適さない範囲に、運転者がバックミラーを調節することが
ある。さらに、運転者はバックミラーの位置を変更せずに、体の位置を変更する
かもしれない。自動車用乗員検知システム(OSS)は、運転者の目の位置を決
定する能力を持っている車両で使用されている。そのようなシステムを持つ車両
では、最適に死角の内容を表示するよう鏡を自動的に調節するだけでなく、運転
者が注意するべき対象物が死角の中にある場合に鏡の方向を変更する。本発明は
、自動車用乗員検知システムが車両に搭載されている場合の、そのような取り組
みを検討する。
【0059】 システムの好ましい実施例では、レーザダイオードからの光が、カメラの視界
を現実に横断する。例えば、死角の周辺に深い霧があるとしたら、霧に光が反射
してカメラのセンサアレー上に楕円の画像を作成するだろう。大雨または大雪の
場合も同様である。この事実は視界の良し悪しを決定するために使用することが
できる。厳しい天候の中にあってもなお死角内の対象物の可視状態を観察したこ
とにより、本発明の発明者は、視界が非常に悪いために前記レーザダイオードを
使用した受動的光学システムが十分な精度で機能しない場合、運転者は路上で車
両を運転するべきでなく、安全な運転は不可能であると通知されるべきであると
結論した。したがって、視界が非常に悪いために、本発明によるシステムを使用
しても死角にある対象物を見ることができない場合は運転が許されてはならない
のであるから、レーダあるいは他の技術を使用して死角(この場合、実際には車
両のごく近い範囲)を見る必要はないのである。いずれにしろ、運転者がそのよ
うな(悪天候下の)運転を試みた場合も、楕円形の影に基づいてレーザダイオー
ドが視界が許容範囲外であることを示し、システムが警告するので、このような
状態においても本発明は安全運転に役に立つと言うことができる。
【0060】 CMOSカメラの光学システムの性能がレンズの汚染により低下する場合があ
る。同様に、レンズが汚れている場合、レーザダイオードを放射する光が弱くな
る。本発明のシステムは、これらどちらかの状態を感知することができる、継続
的に判断作業を行う仕様を検討している。これは、例えば、CMOSカメラの視
界内で車両に近い道路表面に向けて発せられるレーザダイオードと同様の、様々
な方法で遂行することができる。ある期間の反射が十分でない場合、メンテナン
スが要求であると運転者に通知する警告灯が、計器パネル上に現われる。当然、
同様の判断機能を果たす多くの方法がある。
【0061】 三角測量を使用した本発明の実施例においては、三角測量計算用の精度を最大
にするために、レーザダイオード、走査を行うレーザダイオードあるいは他の光
源を、カメラから合理的に可能な限り離して置くことが望ましい。自動車では、
外部のバックミラーの片側から反対側までは最大6インチになる。これが限度で
ある。大きなトラックについては、後部ハウジングの上部と底部を隔てる垂直方
向の距離は24インチになる。両方の場合とも、レーザダイオードがミラーハウ
ジングの一方の端に、およびカメラが他方の端に配置される。別の方法は、ミラ
ーの上にカメラを置くことである。しかしこの場合光源は車両側に置く。あるい
は、カメラおよび光源の両方を、車両の横の適切な位置に置くことができる。鍵
になるのは、少なくとも10度の角度で光源の方向がカメラの視界を横断するべ
きということである。
【0062】 光源によって作成されたドットあるいはラインは赤外線スペクトルであり、死
角内の対象物から来る大多数の光が光学スペクトルであるので、赤外線フィルタ
を使用してそれらを分離し、光学アレー上へのレーザダイオードからの反射の位
置をもっと正確に決定することができる。そのようなフィルタは数学的、あるい
は物理的なフィルタによって可能である。しかしながら、このアプローチは、カ
メラの視界にフィルタを入れたり出したりして移動させるために機械的なメカニ
ズムを要求する。または、フィルタを移動させる必要を排除するために、ピン・
ダイオードあるいはそれに相当する専用受信器が、反射された赤外線光を受信す
るために使用される。
【0063】 トラックの死角問題は特に複雑である。車両の縦の長さに沿うところでは、ト
ラックは自動車と同じ死角を持っている。しかし、トラックの運転者は、それに
加えてトラック正面前方に伸びる典型的には25フィートの範囲にある対象物を
見ることができない。その死角は米国特許No. 5,463,384特許および国際公開公
報WO90/13103に、詳細に記載されている。トラックは、さらにバックする際、荷
台の後ろに死角を持つ。ここに開示した発明は、トラック、自動車及びその他の
車両の3つの死角すべてに適用可能である。
【0064】 トラックの中には、運転台と荷台の間の相対的な角度に基づいて、サイドミラ
ーを自動的に回転させる機能を持っているものがあることは注目すべきである。
それらは運転台ではなくむしろトレーラーに対する方向を維持するように、設計
されている。この発明の死角モニタ・システムは、この技術を運転台より荷台の
側面に沿ったスペースをモニタするのに適切に利用することができる。
【0065】 バスもまた、車両の正面に直接接するところに死角を持っており、バスから降
りた子供がバスの前を横断していることに運転者が気づかなかった時、子供はス
クールバスにひかれた。本発明のシステムは、さらにこの死角をモニタし、子供
がこの死角の中にいるとバスの運転者に警告するのに適用可能である。
【0066】 当然、カメラあるいは光ファイバーどちらかのシステムにより、車両の外側の
様々な位置の画像を得ることができる。本発明は、光ファイバー伝送システムも
使用可能であるとき、特定の位置に置かれたカメラの物理的な配置に制限されな
い。
【0067】 本発明の原則は、知的航行制御、地上制限速度オーバー・センサ、駐車援助、
アクティブ・サスペンション用の高さセンサ、衝突予測センサおよび障害物検知
システムなど、他の目的のために使用することができる。
【0068】 本発明の好ましい実施例で訓練されたニューラル・ネットワークを考慮したが
、特に自車両が訓練された静的システムを混乱させるような様々な貨物を牽引し
ている場合は、適応型ニューラル・ネットワークを使用することも可能である。
この場合、システムの一部は、牽引されている特定の貨物を調節するために適応
させることができる。
【0069】 発明の目的と概要 この発明は第1に、電磁波放射、および好ましくは赤外線放射線で車外の対称
物を照射することにより、あるいは対象物から自然に発せられる放射または環境
に反射した放射を利用し、1つあるいは複数のレンズを使用してそれらの画像を
1つあるいは複数の電荷結合素子(CCD)アレー、あるいはCMOSアレー上
に集束することにより、自動車やトラックといった車両外部の対象物を識別し、
位置を決定し、かつモニタするシステムである。CCDまたはCMOSアレーか
らの出力は、外部対象物を分類、識別および/または位置決定をするために、訓
練されたパターン認識技術を使用する適切な計算的手段によって分析される。一
般に、識別およびモニタリング・システムによって得られた情報は、車両の中の
少なくとも1つの別のシステムのオペレーションに影響するように使用される。
【0070】 本発明のいくつかの実施例では、複数のCCDあるいはCMOSアレーは、車
両の方向へ向かう対象物の位置および運動がアレーのフィールドを横切る運動と
してモニタできるように配置される。この方法により、アレーから対象物まで距
離を測定する必要が除去される。他の実施例では、範囲ゲートの技術を使用可能
な放射線パルスの伝播時間の測定によって、反射ポイントへの距離を正確に測定
することが可能なパルス変調レーザを、赤外線光源として使用する。また他の実
施例では、赤外線LEDの走査アレーを使用し、視界内のスポットの反射位置が
、三角測量によって車両に対する対象物の位置に関する情報を提供するように、
対象物上のスポットを照射する。また他の実施例では、走査レーザダイオード、
あるいはその相当物は変調され、距離は範囲ゲートを備えた、あるいは備えてい
ない位相測定によって決定される。さらに光は、もう少し複雑なエレクトロニク
スおよび(または)ソフトウェアを使用して、範囲精度を損なわずに範囲を拡張す
るために複数の周波数で調整することもできる。
【0071】 いくつかの適用例では、ニューラル・ネットワークまたはニューラル・ファジ
ー・システムなどの訓練されたパターン認識システムが、車両の死角内の対象物
を識別するために使用される。これらの場合のいくつかでは、パターン認識シス
テムが、画像ライブラリのどれが死角内の対象物と最もよく一致するかを決定し
、それにより一致した画像および取得した画像の相対的な大きさから対象物の位
置を正確に推定することができ、よって特別な照明またはその他の距離測定シス
テムの必要性を排除することができる。
【0072】 本発明による光学的感知システムの主要な目的および利点は、次のとおりであ
る: 1.車両の両側、正面あるいは後部の対象物の存在を識別し、この情報を特に
ハンドル、ブレーキ装置、衝突警告装置のような別の車両装置の操作に利用する
こと。 2.自動車の死角内の特定の対象物の存在を認識し、ついでその位置および/
または速度を決定し、この情報を別の車両システムの操作に利用すること。 3.自動車の死角内の対象物の位置、速度または大きさを決定し、この情報を
車両の運動の速度または方向を制御するために利用すること。 4.雪および/および霧がある状態でセンサが車両の内に位置する場合、衝突
直前の対象物の正確な識別を可能にする予測センサを提供すること。 5.前方から接近する車両のヘッドライトあるいは自車両の前方にある後部ラ
イトを感知し、交通標識あるいは道路表面からの反射と異なるこれらのライトを
識別し、次いで、ヘッドライトを減光する信号を送信し、および随意で、これら
他の車両の存在および位置の外部モニタリング・システムに通知する信号を送信
する、知的なヘッドライト減光スイッチ・システム(smart headlight dimmer s
ystem)を供給すること。 6.運転者の死角あるいは車両の近傍の他の位置にある対象物を検出して分類
し、例えば運転者が車線を変更しようとした場合に運転者に警告する、または死
角の占有状態を連続的に運転者に通知する、死角検知器を提供すること。 7.車両の近傍にあるすべての対象物の位置を正確に決定することを可能にす
る、高分解能を有する車両外部モニタリング・システムを提供すること。 8.占有者の目と光源との間にフィルタを設けることにより、日光とヘッドラ
イトからの閃光を低減し、次いでヘッドライトを暗くする信号、および随意で他
の車両の存在および位置について通知する信号を送信する対象車両外部モニタリ
ング・システムを提供すること。 9.受信光の強度をピクセル単位で調節することができる外部モニタリングの
ためのカメラ・システムを供給すること。 10.特定の選択地点、線またはピクセル単位のいずれかに、死角内の対象物
までの距離を決定するため変調した照射を使用すること。 11.夜間および日中の強い日光の下での使用を可能にする広範囲の周囲光条
件下での画像取得を可能にする外部モニタリングのための高度ダイナミックレン
ジカメラシステム(dynamic range camera system)を供給すること。 12.夜間および日中の強い日光の下での使用を可能にする広範囲の周囲光条
件での画像取得を可能にし、またCMOS構造内に影響力を有する他の電子また
は光学要素の付加を可能にする外部モニタリングのためのアクティブピクセルカ
メラシステムを供給すること。 13.伝播時間または変調光および位相比較情報を使用することにより、車両
外部の対象物の要素までの距離測定値を得る方法を提供すること。 14.伝播時間または変調光および位相比較情報を使用することにより、車両
外部の対象物の三次元情報を得る方法を提供すること。 15.対象物から反射された光の経路をそのような反射光の位相の関数として
制御電子シャッターまたは光バルブを使用して、車両外部の対象物の三次元情報
を得るための装置を提供すること。
【0073】 これらおよび他の目的および利点は、本発明の車両外部識別およびモニタリン
グ・システムの好ましい実施形態についての以下の説明から明らかにする。
【0074】 先術の目的の1つまたは複数を達成するために、車両周囲の環境内にある対象
物に関する情報を得るための構成は、車両周囲の環境内へ赤外線を発するために
車両に設置された光投射手段と、車両周囲の環境から赤外線を受信するために車
両に設置された受信手段と、光投射手段からの赤外線光発信と受信手段による赤
外線光受信の間の時間を測定するために光投射手段と受信手段に連結された測定
手段とを備える。測定された時間は、車両と赤外線光を反射する対象物の距離に
相関する。光投射手段は、赤外線光をライン化するレーザダイオードのアレー、
パルス・レーザあるいは連続的レーザ・ビームと、赤外線光が車両側面の大きな
空間を横断するようにレーザ・ビームの方向を制御するための手段を備えること
ができる。レーザ・ビームの方向制御手段を備える場合、受信手段は単一ピクセ
ル受容器を備えることができる。あるいは、受信手段は、CCDアレー、CMO
Sアレー、HDRCカメラ、動的ピクセル・カメラおよびアクティブ・ピクセル
・カメラを備えることができる。
【0075】 プロセッサまたは制御回路は、有線または無線で、受信器手段に連結され、光
を反射する対象物の識別を行う。プロセッサは、ニューラル・ネットワークまた
は場合によってはモジュラー・ニューラル・ネットワークのようなパターン認識
技術を利用し、車両と対象物との間の距離、対象物の位置を決定し、および/ま
たは光を反射する対象物を識別する。プロセッサは、受信した光学的波あるいは
エネルギーに基づいて車両を囲む環境の一部の三次元マップを作成し、次いで該
三次元マップから特徴を抽出するように設計することができる。特徴を抽出する
場合、車両の運転者に見える同乗者区画に、三次元マップから抽出された特徴か
ら得た特徴あるいは形状を表示するためのディスプレイが設置される。
【0076】 光を受信する部品および関連する受信器の位置は、連結していてもよいし、互
いに離間していてもよい。死角検知のために使用される時、運転者の死角を包囲
するように車両の周囲に配置されるべきである。
【0077】 車両周囲の環境中の対象物の存在に基づく車両システムの制御システムは、車
両を囲む環境中の対象物に関する情報を得るために上述した配置構造のいずれか
を備える。次いで、車両のシステムは、車両周囲の環境中の対象物の存在が決定
されると制御または調整のために適応される。この目的のために、プロセッサは
、少なくとも受信手段が受信した赤外線光に基づいて対象物に関する情報を得て
、取得した情報に基づいて車両システムを制御するための構成および車両システ
ムに連結される。車両システムは、受信手段が受信した光学波または光学エネル
ギーからプロセッサが生成した三次元マップから抽出された特徴または形状を表
示するための、車両の運転者に見えるディスプレイとすることができる。車両シ
ステムはまた、(事故を回避するために)調整可能な回転抵抗を有するハンドル
、およびオーディオ・アラームおよび運転者に見える視覚的な警告とすることも
できる。
【0078】 この発明の1実施例のキーとなるのは、重畳された赤外線パターンと光学シス
テムとの組み合わせである。言いかえれば、基礎的なシステムは受動的光学シス
テムである。別のキーは、画像の取得に使用できる高度ダイナミック・レンジ・
カメラの使用である。 3番目のキーは、死角内の対象物までの距離を決定する
ために調光あるいは三角測量を使用することである。
【0079】 本発明の別のキーは、運転者にそれを単に提示することよりむしろ、画像を解
釈し、識別することである。
【0080】 本発明のまた別のキーは、反射された光からの変調された照射および位相情報
を使用することにより、車両近傍の対象物に関する3次元の情報を得る方法を提
供することである。
【0081】 以下に参照する添付図は、本発明の例示的実施形態を示すものであり、請求の
範囲に規定される本発明の範囲を制限するものではない。
【0082】 好適な実施形態の説明 ここで、同様の要素には同じ参照番号を付した図面を参照する。自動車の半透
視斜視図が図1で100と示されている。自動車の運転者101が座席102に座ってい
る。 5台の発信器および/または受信器アセンブリ110、111、112、113および11
4が、車両を囲む環境のビューを得ることができる、異なる場所に配置されてい
る。制御回路120のようなプロセッサ手段は、適切な有線、または無線(図示しな
い)によって発信器/受信器アセンブリ110-114に接続されており、アセンブリの
発信器部分からの波動あるいはエネルギーの送信を制御し、アセンブリの受信器
部分によって受信したリターン信号を捕らえる。コントロール回路120は、1つ以
上のアナログからデジタルへのAD変換器(ADC)あるいはフレーム・グラバ
、十分なメモリとパターン認識アルゴリズムを含む適切なソフトウェアを備える
マイクロプロセッサ、および他の適切な動力電動部、信号の調整器、信号発生器
などを通常含んでいる。一般に、任意の実施例では、発信器/受信器アセンブリ
を2つから4つのみ使用する。以降変換器アセンブリとも呼ぶ光学的発信器/受
信器アセンブリは、光学的送信器/または発光部品(赤外線LEDでもよい)、
偏光レンズ、投光器あるいは走査レーザアセンブリ(いずれも変調可能)、およ
びCCDまたはCMOSアレーまたはピン・ダイオードまたはその相当物などの
受信器で構成される。好適には、発信器/受信器アセンブリは、アクティブピク
セルCMOSアレーあるいは後述するようなHDRCアレーを備える。変換器の
アセンブリは、対象物の位置およびその特徴を二次元および/または三次元の画
像にマッピングする。これについて以下に詳細する。
【0083】 前述したような、使用可能な波動/エネルギー/光を放射する部品および光/
波/エネルギー受信器部品の例は、本発明を制限するものではなく、本発明の範
囲およびその理念から逸脱することなく、他の発信器および受信器部品および組
み合わせを使用できることは、当業者には自明である。
【0084】 好ましい実施形態では、それぞれ1つ以上のLEDまたは走査レーザダイオー
ド、および光バルブおよび適切なレンズを備えたCMOSアレーを含む、4つの
変換器アセンブリが、車両外部のモニタするスペースに配置される。併せて説明
したが、以下に詳述するように、特に三角測量による距離測量を使用する場合、
照射源は受信アレーと同じ位置に配置されないことが多い。LEDまたはレーザ
は、特別のスペースを照らすための角度が制御された赤外線放射線偏光ビームを
発し、車両に対する対象物の位置、およびLEDまたはレーザ・ビームの方向に
応じて特定の地点で対象物を照らす。
【0085】 各アレーからの画像は、対象物の位置に関する二次元あるいは三次元情報を捕
らえるために使用され、よって、ほぼ中柱上の運転者のドアの背後に位置するア
センブリのアレー110は、車両近傍の対象物の位置についての垂直および水平両
方の情報を提供する。同乗者の位置からの同様の視界はアセンブリのアレー111
から得られる。図1に示すアセンブリ110、111の搭載位置は例示的なものであり
、アセンブリを配置可能な位置を制限するものではない。車両の側面にアセンブ
リを搭載する他の位置を考えることができる。例えば、同乗者用区画、エンジン
区画あるいはトランク区画に沿って車両の側面にアセンブリを配置することがで
きる。
【0086】 例えば、アセンブリ110の受信アレーが100 X 100ピクセルのマトリクスを含
んでいる場合、システムが車両の運転者側面の空間を調査するたびに、情報の10
,000のピクセルあるいはデータ要素が作成される。車両の運転者側面の空間の調
査は、アセンブリ110の発信器コンポーネントによって、アセンブリに車両を囲
む環境の中へ光学的波動あるいはエネルギーを送信することを指令することと、
アセンブリ110の受信器部品により反射された光学的波動あるいはエネルギーを
受信することを伴う。いかなる有用な情報も含んでいないため、いずれの画像に
も除去することができる多くのピクセルがある。これには、典型的には隅のピク
セルおよび対象物が存在しえない領域のピクセルが含まれる。このピクセル除去
により、ピクセルの数を20パーセント減らすことができ、その結果残るピクセル
は約8,000となる。次いで、各アレーからの出力は顕著な特徴を抽出するために
前処理され、対象物を識別するための人工ニューラル・ネットワークあるいは他
のパターン認識システムに供給される。この前処理は、1つの対象物を別の対象
物から、およびシーンの他の部分から分別するために距離情報を利用することが
多い。対象物の画像すべてにこの作業を完了したら、車両の運転者側の近傍の空
間における対象物の識別がなされる。
【0087】 訓練されたニューラル・ネットワークのようなパターン認識技術を、訓練され
た占有物のどれが測定データに最も近いかを決定するために使用することができ
る。ニューラル・ネットワークの出力は、現在の測定状態に最もよく合致する、
訓練の間に使用された設定のインデックスになり得る。このインデックスは、合
致した訓練された占有物から格納された情報を見つけるために使用することがで
きる。訓練された占有物についての格納されている情報は、典型的には複数の異
なる対象物の中心の軌跡および適切なアイコンを含んでいる。図1の場合には、
車両に対する対象物の位置が、以下に説明する技術の1つから明らかになる。
【0088】 上記のプロセスを単純化するために利用できる数学的な技術が多く存在する。
例えば、軍事的パターン認識に使用される技術の1つは、画像内の特定の領域の
フーリエ変換を使用し、相関により既知の画像のフーリエ変換と調和させる。こ
の方法で、識別および位置特定が同時になされる。フーリエ変形を光学的に比較
する、目標の識別に利用される技術もある。他の技術はこれらのプロセスのうち
のいずれでも分析されるピクセルを制限するために閾値設定を利用する。また別
の技術は、特定の特徴を検索し、それらの特徴を抽出し、単にこれらの特徴のう
ち特定のものの位置に専念する。特に有用な技術は、死角内の対象物の端部の位
置を計算し、ニューラル・ネットワークに供給される特徴として抽出された端部
を使用する。(例えば、下記に言及するKage他の人工網膜に関する文献を参考。
【0089】 発明の好ましい実施形態に使用される原理は、死角占有のためのニューラル・
ネットワークを訓練するために使用された既知の画像と相関させるために、死角
にある対象物の様々なビューの画像を使用することである。次いで、注意深く測
定した既知の画像の位置を使用し、フロントガラス、タイヤ、ラジエーター・グ
リル、ヘッドライトなどの、対象物の特定の部分の位置を突き止める。別の方法
では、アセンブリ110-114の受信器部品によって受信された、光学的エネルギー
あるいは波動に基づいて、死角内の対象物の三次元マップを作成し、ニューラル
・ネットワーク、ファジー論理あるいは他の規則を使用して、正確にこれらの特
徴の位置付けを行う。三次元マップを得る1つの方法は、レーザをパルス・モー
ドで操作し、照射された対象物からの距離を、McEwanのマイクロパワー衝動レー
ダ(micropower impulse radar)に関する様々な特許(例えば、米国特許第5,45
7,394および同5,521,600号参照)に開示されたものと同様の方法で範囲ゲートを
使用することにより決定する、走査レーザ・レーダ・システムを利用することで
ある。あるいは、レーザを変調し、反射され、送信された光の位相を比較して対
象物までの距離を決定することができる。
【0090】 レーザ・レーダ装置の走査部分は、回転鏡、機械的モータ、あるいは好適には
固体システム(例えば、超音波により駆動されるリチウムニオブ塩酸結晶体を備
えた光学的回析結晶体としてTeOを利用する固体システム)を使用すること
により達成される(必ずしもTeOとリチウムニオブ塩酸結晶体を使用しない
他の固体システムを使用することもできる)。別の方法は、小型のコイルによっ
て、あるいは静電気によって偏向される、マイクロ加工された鏡を中央で保持し
て使用することである。そのような装置はレーザに2次元走査を提供するために
使用されている。これは、本質的に小さく、低コストであり、小型装置に2次元
の走査能力を提供するという点でTeO−リチウムニオブ塩酸技術より大きな
長所を持つ。この処理で達成することができる最大の偏向角度は約10度の大きさ
である。必要であれば、偏向レンズまたはミラーを使用してより大きな角度の走
査を達成することができる。好適な方法は、赤外線レーザダイオードのアレーに
よって作成された重畳赤外線ドットを備えた受動的光学画像を使用する(米国特
許第6,038,496号に記載の方法と同様の)方法である。
【0091】 走査レーザ・システムから三次元の情報を得る別の方法では、図1に使用した
単一のアレーの代わりに複数のアレーを使用する。その場合、アレーは三角測量
により互いに配置され、レーザ・ビームによる照射を反射する対象物上の点の位
置が、三角測量、および/または当業者に既知の相関法によって決定される。
【0092】 光学アセンブリの位置および数に関する1つの重要なポイントがある。自動車
には、一般に1つのアセンブリが車両の各側面110、111に配置される。いくつか
の実施形態では、第3のアセンブリ112を車両の後部の死角を見るために配置す
ることができ、進行方向制御のため車両の前方を見るために第4のアセンブリ11
3を配置することができる。
【0093】 114に示される別の構成は、約20度毎に360度の視界を提供するレンズの構成で
ある。このカメラは複数の死角内対象物の完全なビューを提供するものではない
が、単一の装置により車両の両側面に加えて前方および後方のエリアを観察する
ことが可能である。同じレンズを使用して、画像の受信と、20度の角度をほぼ2
分する回転走査レーザ・ビームの保護保護を行うことができる。この回転レーザ
・ビームを変調することにより、反射されたレーザ光までの距離を決定すること
が可能となる。戻ってきたレーザ光は、レーザ・ビームを偏向する機能も有する
回転ミラーによって捕らえられる。このミラーは、レーザ・システムが画像作成
システムを妨害しないように、画像受信に使用されるレンズ部分の上方に配置さ
れる。縁部を分割したレンズから集光し、合成画像をCMOSイメージャに投射
するために特殊なレンズが使用される。画像分析のために既知のひずみを削除す
るためのソフトウェアを用いる場合や、パターン認識システムが受信した合成画
像、または例えば左、右、後部、前部の4区画に画像が分割された画像について
訓練されているために、そのようなソフトウェアが不要な場合がある。
【0094】 光学アセンブリの特定の位置は、死角内の対象物の位置に関して正確な情報を
提供するように選択される。これは、どのような情報が視覚的な画像から得られ
る最善の情報であるかという見解に基づいている。これは光学センサから直接距
離を測定しようと努める人間側に自然な傾向である。これは集束システム、立体
画法システム、複数のアレーおよび三角測量、伝播時間の測定、位相比較などを
典型的に伴う。人間の直感にないのは、装置または搭載位置に関する技術からこ
の距離を直接得ようと努めないことである。超音波が変換器(Z軸)から距離を
測定するのに非常に適している一方、光学システムは、垂直および水平方向(X
およびY軸)の距離を測定することにより適している。1999年12月30日出願の米
国特許出願番号 09/476,255に記載されているように、車両内部をモニタするた
め、別の変換器によりこれを間接的にもっと容易に行うことができる。すなわち
、変換器にとってのZ軸は別の機器のX軸である。後述する好適な方法では、外
部をモニタするために、適切に配置した提携カメラにより三次元情報が直接提供
される場合もあるが、LEDのアレーあるいは走査レーザを使用し、三角関数、
伝播時間、または位相測定により死角内の対象物の位置決めを行う。
【0095】 超音波とニューラル・ネットワークおよび光学および光学的相関に基づいたシ
ステムは、自動車内部の同乗者と運転者両方の座席の着席した状態の分析に成果
をあげている。そのようなシステムは、後ろ向きのチャイルドシートがある、ま
たは占有者が座席からはずれている場合に、エアバッグの散会を防ぐための製造
段階に入っている。しかし、超音波システムの弱点は、システム精度が約99パー
セントよりよくなるのを妨げる、ある種の自然な限界を有することである。この
限界は、波長が典型的に3から8mmであるという事実に関係している。その結
果、特に異なる表面からの反射の干渉による、予期しない結果が生じる。さらに
、商業的に利用可能な超音波の変換器は、それらが大きなエネルギーを送信する
前に複数の周期を必要とし、またそれらが反射された信号を有効に受信する前に
も同様にいくつかの周期を必要とする同調装置である。最近改善が見られるとは
いえ、このような必要性により、例えば、従来の40kHzの変換器を使用した
場合にシステムの分解能がおよそ3インチになるまで、超音波の分解能が落ちる
。これらの限界は、車両外部のモニタリングのための超音波の使用にも存在する
【0096】 対照的に、発明に好適な使用に考慮される赤外線スペクトルの部分の波長は5
ミクロン未満であり、著しい干渉は生じない。その結果、それを使用した場合、
光学システムの分解能は、CCDまたはCMOSのアレーのピクセル間隔、ある
いはピン・ダイオードおよびスキャナの速度によって決定される。この用途に、
100×100ピクセルとなる典型的なアレーが選択されており、したがって、画像化
される空間を数インチよりもずっと小さな大きさに分割することができる。当然
、より大きな分解能が要求される場合には、より多数のピクセルを有するアレー
を容易に利用することが可能である。光学システムの別の利点は、情報が最も重
要となるエリアを拡大し、且つそうでないエリアを低い分解能で処理するために
特別のレンズを使用することができるということである。例えば、死角の中心に
最も近いエリアは拡大することができ、死角から外れるが、なおモニタされてい
るエリアを縮小することができる。これは、対象物の識別を可能にするために十
分な分解能の画像を得ることさえ非常に困難な超音波またはレーダシステムでは
不可能である。
【0097】 超音波システムの別の問題は、速度が遅いことおよび空気密度の変化によって
引き起こされた回析から生じる。音の速度は遅いために、データ収集率を制限し
、車両に対して高速で移動する対象物の運動を追跡する可能性を除去する。
【0098】 図1の場合には発信器/受信器アセンブリ110-114は、死角内の対象物に赤外線
波を放射し、反射された波を受け取る。周期的に、コントロール回路120の指令
で1つの装置が赤外線波のパルスを送信し、反射された信号は別の装置によって
検知される。あるいは、連続的走査構造を使用してもよい。発信器による送信は
、同時的または連続的とすることができる。関連する電子回路およびコントロー
ル回路120のアルゴリズムは、上述の返された信号を処理し、死角内の対象物の
識別および位置決定を行う。その後、この情報は、以下に詳述するような、対象
物の存在を運転者に警報する警告システムに送られる。運転者の側面のシステム
を示したが、同乗者側にも類似したシステムが存在している。また、類似のシス
テムを車両の正面および後部に適用もすることができる。
【0099】 光学センサの正確さはカメラの正確さに依存する。車両外部のダイナミック・
レンジ光は120デシベルを超える。例えば、夜間運転中は光がほとんどない一
方、明るい日光の下で運転する場合、光の強度はほとんどのカメラを圧倒する。
さらに、カメラは、例えば、トンネル、または木、建物、他の車両などの障害物
の横を通過する場合に一時的に日光が遮られ、1kHzに近い周波数でストロボ
効果を引き起こす事態による変化および光に合わせて、急速に調節が可能でなけ
ればならない。
【0100】 最近、CMOSカメラが改良され、それらのダイナミック・レンジが著しく増
大した。ドイツ国シュトゥットガルトのIMSチップスが開発したような新しい
対数的高度ダイナミック・レンジ技術が、今やHDRC(高度ダイナミック・レ
ンジCMOS)カメラに利用可能である。この技術は単色のモードにおいて各ピ
クセルに120dBの動的な強度レスポンスを提供する。よって、この技術は、
各ピクセルに100万対1のダイナミック・レンジを持っている。これにより、
CMOSおよびCCDカメラ技術に通常みられるようなブルーミング、飽和現象
およびゆらぎを防ぐことができる。これは、暗いトンネルから明るい日光に入っ
たとき自動車が遭遇する問題を解決する。
【0101】 明るい日光、および白熱光からの赤外線放射線の存在も大きい。そのような状
況は、HDRCカメラのダイナミック・レンジを超過する場合があり、補足的フ
ィルタリングが必要となる場合がある。受信器アレー上のバイアス変更、機械的
な虹彩、光バルブ、あるいはエレクトロクロミック(electrochromic)ガラスの
使用、または液晶、または類似のフィルタは、バイアス全体にこのフィルタリン
グを提供することができるが、ピクセル単位では提供できない。フィルタリング
はCCDアレーにも使用することができるが、必要なフィルタリングの量はHD
RCカメラよりも実質的に大きい。
【0102】 液晶は高速で作動し、10,000対1程度のダイナミック・レンジを提供するが、
ピクセル干渉をもたらす場合がある。 エレクトロクロミックガラスは、速度が
もっと遅いが、より一様に動作し、それによりピクセルへの影響が除去される。
ピクセル装置が2つ縦に並んでいると、ピクセルへの影響が発生する。これは、
様々な折り返し雑音、モアレ・パターンおよび他の不明瞭さに帰着する。これを
回避するための1つの方法は、画像をぼかすことである。別の方法は、多くのピ
クセルを使用し、ピクセルのグループを組み合わせて1つの情報ピクセルを形成
し、それにより端部をぼかして、折り返し雑音およびモアレパターンに関する問
題を部分的に除去することである。最終的に、KerrまたはPockelセルに基づいた
様々な光バルブを少数の問題に使用することができる。
【0103】 1つの直接的アプローチは、機械的な絞りの使用である。標準のカメラは既に
数十ミリ秒のレスポンスタイムを有する。それらは、例えば、典型的なビデオカ
メラのフレーム速度(1フレーム=1.033秒)でスイッチングする。これは分類に
は十分な速さであるが、死角内の対象物がホスト車両に対して高速で動いている
場合、動的な対象物位置トラッキングには恐らく遅すぎる。
【0104】 IMSチップスのHDRCカメラの重要な特徴は、各ピクセルで完全なダイナ
ミック・レンジが利用可能だということである。したがって、車両死角内に、例
えば、強い日光の中で木立の間を通る場合のように、光の強度に著しい変化があ
り、よってピクセル全体に変化がある場合、カメラは、自動的に調節し、ピクセ
ル単位で最適な露光を行うことができる。この特性を有するカメラの使用は、本
明細書に開示する発明に有益で、システム精度に著しく寄与する。CCDはそれ
らに固有の線形レスポンスにより、そのダイナミック・レンジはやや限定されて
おり、よって人間の目の動きに匹敵することができない。IMSチップスHDR
Cカメラの重要な利点は、人間の目の動きに最も近い対数的レスポンスである。
【0105】 CCDアレーのような他の画像化システムを本発明に使用することができる。
しかしながら、明るい光の下ではカメラが飽和状態になってしまうことが多く、
光が乏しい場合は完全な分解能能を必要とする。通常、本発明を実行する場合、
スポット的に、またはライン状に、走査モードで赤外線放射線を死角に照射する
。非高度ダイナミック・レンジ・イメージャを使用する場合、死角エリア全体の
照射が必要となる場合がある。
【0106】 好ましい実施形態では、本発明はそれに制限されるものではないが、赤外線照
射が使用される。しかしながら、考慮しなければならない他の赤外線源がある。
これらは、他の車両のヘッドライトを含め、車両の外部に存在する太陽、および
任意の電球を含んでいる。 CCD技術に固有のこのような高度ダイナミック・
レンジのこの不足により、カメラとシーンの間に配置される虹彩、液晶、電球お
よびエレクトロクロミックガラス、または類似したフィルタの使用が本質的に必
要となる。しかしながら、これらのフィルタを使用する場合でさえ、明るい日光
または白熱電球に曝されるとCCDカメラでは飽和状態が起こる場合がある。こ
の飽和は、画像の正確さを低下させ、したがってシステムの正確さも低下する。
特に、CCD カメラが適切に適応することができないので、飽和状態となる場
合をすべて考慮しなければならず、カメラに実行される訓練方法はもっと厳しい
ものになる。よって、CCDカメラを用いることができても、IMSチップスに
よって製造されたカメラなどのHDRCロガリズムカメラ(HDRC logarithmic ca
meras)が好ましい。それらは非常に正確な画像を提供するだけでなく、ニューラ
ル・ネットワーク・アルゴリズムあるいは他の計算上の知的システムの開発の間
に行わなければならない訓練努力および関連するデータ収集の量を低減する。光
学的相関技術などのニューラル・ネットワークよりも、他の決定論的画像処理、
またはパターン認識システムを使用することができる応用分野もあることに注意
されたい。
【0107】 IMSチップス社のHDRCカメラの別の重要な特徴は、シャッター時間がシ
ーンの明るさに関係なく100ns未満で一定であることである。ピクセル・デ
ータは、内部イメージャ時計と同期化されて一定の速度で到着する。各ピクセル
へのランダムアクセスは、任意のサブフレーム(ブロック)サイズあるいはサブサ
ンプリング比率への高速な知的アクセスを促進し、よってフレーム速度およびフ
レームサイズのトレードオフをもたらす。例えば、1フレーム当たり128Kピ
クセルのシーンが毎秒120フレームで得られるか、または1フレーム当たり8
ミリ秒で得られる一方、1フレーム当たり4Kピクセルでは1サブフレームが1
秒につき4000フレームにおいて得られる。この組み合わせにより、対象物の
認識と分類に最大の分解能が可能になる一方、動的な位置トラッキングのための
対象物の先端を追跡する、上記の特別のピクセルに集中することを可能にする。
実際、これらのカメラのランダムアクセスという特徴は、画像の複数の部分を追
跡する、つまり場合によっては同時に複数の対象物を追跡するために使用するこ
とができ、他方画像の大部分を無視することができるものであり、且つこれを高
速で行う。例えば、死角内の複数のオートバイあるいは歩行者を、各対象物につ
いて接続する必要のない個別のサブフレームを定義することにより、同時に追跡
することができる。したがって、このランダムアクセス・ピクセル能力は、死角
内の複数の対象物の認識および追跡に最もよく適している。またこれは、衝突回
避および予測感知などの死角検知の目的以外に、車両外部の環境をモニタするこ
とにも適している。 Photobit Corporation (135 North Los Robles Ave., Suit
e 700, Pasadena, California 91101は、IMSチップスカメラに類似の特性を
備えた別のカメラを製造している。競合する他のカメラも市場に現われると予想
される。
【0108】 Photobit社はそれらのアクティブピクセル技術をAPSと称している。Photob
it社によれば、APSでは、フォトディテクターおよび読み出しアンプの両方が
各ピクセルの一部である。これは、CCDの場合のように電荷領域変更レジスタ
を使用する代わりに、統合された電荷をX−Yワイヤ上に読み取ることができる
ピクセル中の電圧に変換することを可能にする。このように行と列へアドレスが
可能であることにより(通常のDRAMに類似)、チップエレクトロニクス上で
利用可能な興味深い読み出しウィンドウ(ウィンドウ化)を、パン、ティルトお
よびズームすることができる。ウィンドウ化により、本明細書に開示するように
、画像圧縮、運動検知または目標物追跡を必要とする応用への柔軟性が増す。A
PSは、一時的および固定両方のパターンノイズ抑制回路と併せてピクセル内増
幅(すなわち相関ダブルサンプリング)を利用し、それによってワイドダイナミ
ックレンジ(〜75dB)の観点から際立った画像性と、低い固定パターンノイ
ズ(<0.15%sat)を持つ低ノイズ(〜15e−rms雑音床)を生成す
る。CCDと異なり、APSは、ぼけたピクセルによる列断裂に弱くない。これ
はCCDが、CCDレジスタがオーバーフローした場合、隣接したピクセルに電
荷を放出することができるチャージ領域変更レジスタに依存するからである。し
たがって、明るい光は「ぼやけ」、画像中に望まれない断裂を引き起こす。アク
ティブなピクセルは、受動的ピクセル・センサおよびCCDより大きな割合でカ
ラム・バスを駆動することができる。オンチップアナログ・ディジタル転換(A
DC)は、チップからの高速信号の駆動を促進する。さらに、デジタル出力は、
ピックアップおよびクロス・トークに対する感受性が低く、システムの強健さを
増加させる一方でコンピュータおよびデジタル・コントローラのインターフェー
スを促進する。カスタムバイナリ出力アプリケーションのために最近開発された
高速APSは、128×128ピクセルの分解能を持つ毎秒8,000を超える
フレームを生んだ。この設計を1024×1024のアレーサイズまで拡大し、
機械ビジョンのために1秒当たり1000を超えるフレームを達成することが可
能である。これらの特徴はすべて、本発明の多くの用途に重要である。米国特許
第5,471,515は、Photobit社のAPSカメラについて補足情報を提供する。これ
を考慮すると、60mphの相対速度で別の車両を追い越す車両は、遅い車両に
比べて1ミリ秒当たりおよそ1インチ移動する。これはフレーム速度および計算
時間が決定的に重要であるということを意味し、HDRCとAPS技術の能力の
範囲内にある。
【0109】 HDRCおよびAPSカメラに代表されるこれら高度なカメラは、車両近傍の
環境をより正確にモニタすることが可能である。上述で、環境内の光の大きなダ
イナミック・レンジにより、明るい光の下に曝されるとカメラは何も見えない状
態になり、さもなければ光のレベルが低い場合は画像を記録することができない
ことを述べた。120dBのダイナミック・レンジを備えたHDRCカメラでさ
え、環境内で起こる光の変動を扱うのにかろうじて十分という場合がある。した
がって、エレクトロクロミック、液晶、光バルブあるいはその他類似のフィルタ
を加えることが必要となる場合がある。これは、75dBのダイナミック・レン
ジを備えたPhotobit社のAPSカメラなどのカメラの場合は特に必要である。
【0110】 毎秒約120フレームでは、車両間の相対速度が低い場合にはこれらのカメラ
で十分である。しかしながら、このような場合とは別に、より高いモニタ速度割
合が要求される場合も多い。これは、例えば、衝突回避および予測センサといっ
た応用分野、ならびに1台の車両が高速で別の車両を追い越す場合における死角
への応用に生じる。HDRCカメラは、もっと少数のピクセルを備えた1秒当た
り約4000フレームという高いフレーム速度レートを生むようモニタされるピ
クセルの数を制御することができるので、これらの場合を扱うのに最も良く適し
ている。
【0111】 HDRCカメラの別の重要な利点は、それが、0.8−1マイクロメートルの
波長範囲の赤外線放射に敏感であるということである。この範囲は、通常人間の
可視領域外であり、このカメラを人間の目に見えない照射源と共に使用すること
ができる。当然、ノッチ周波数フィルタが、望まれない波長を除外するためにカ
メラに使用されることが多い。これらカメラは、マイクロエレクトロニクス(I
MSチップス)社(Allamndring 30a, D-70569 Stuttgart, Germany)から供給さ
れており、その分解能は512×256から720×576まで多岐に亘り、ま
た必要な分解能およびレスポンスタイムにカスタマイズ可能である。
【0112】 図2は、図1の構造を交通状況の中で説明する。「ホスト」車両上の光学アセ
ンブリ111は、照射光源およびCMOSアレーを含んでいる。この照射光源は、
走査LEDのアレーあるいは走査レーザ・レーダ装置により、境界線117と118の
間の死角をカバーするか満たす複数の狭角ビームあるいはラインの形態で赤外線
放射線あるいはエネルギーを分配する。車両200のようなこの死角の中にあるい
かなる対象物も赤外線によって照射され、対象物の画像はCMOSアレーによっ
て捕らえられる。
【0113】 光学的赤外線発信器および受信器アセンブリを、図3の112に示す。該アセン
ブリは側方のバックミラー135上に搭載される。拡大して示したアセンブリ112は
、131に示す20個の赤外線LEDのアレーを含む赤外線放射線源と、一般に160
×160ピクセルのCCDまたはCMOSアレー132とを含む。本実施形態では、ホ
スト車両と後述する死角内の対象物を示す人工画像を運転者に見せるために頭上
ディスプレイを使用することができる。
【0114】 2つのCCDアレーを間隔を開けて配置して使用する場合、両方の画像に類似
した特徴を位置付け、画像上のそれらの相対的な位置を決定する三角測量アルゴ
リズムを使用することにより、死角内の様々な対象物までの距離を発見すること
ができる。これは、ステレオスコープシステムと呼ばれることが多く、EP088578
2A1に記載されている。別の方法は、短い集束距離を備えたレンズを使用するこ
とである。この場合、レンズは、最も明瞭な画像を決定し、それにより対象物ま
での距離を得るために機械的に収束する。これは日本のフジによって製造される
ような、特定の自動集束カメラのシステムに似ている。当然、上記に参照した特
許および特許出願に記載されている他の方法も使用することができる。
【0115】 図4はトラックのミラー上に搭載するための同様な構造を示す。この場合、ミ
ラーの寸法により水平方向の距離より垂直方向の距離が大きくなるので、照射源
131がミラーハウジングの上部に、イメージャ132がミラーハウジングの下部に配
置される。イメージャはCCDアレーまたはCMOSアレーを含む。
【0116】 ニューラル・ネットワークまたは光学相関システムのような精巧なパターン認
識システムを使用する車両外部モニタリング・システムが適所にあれば、時間の
経過に伴う対象物の運動をモニタし、それにより対象物が予知可能な状態で動い
ているかどうかを決定することが可能である。そうでない場合、ホスト車両の運
転者は回避的な処置を講ずるよう警告される。例えば、車両が死角内にあり、該
車両を通過する際に、その車両が氷の部分にぶつかるなどして運転者が車両のコ
ントロールを失う可能性がある場合が挙げられる。この警告はホスト車両の運転
者が速度を落とし、そのためにコントロールを失った車両との事故を回避するこ
とを十分可能にする。さらに本システムは、危険車両の運転者が居眠り運転をし
ている場合に、ハザードライトをつける、ホーンを鳴らす、またはその他適切な
処置を講ずるために使用することができ、また潜在的に危険な状況にある近傍の
車両に警告するために使用することができる。したがって、一般に、車両の他の
システムを、死角内に検知された対象物の運動の決定に基づいて制御することが
できる。運転者はフロントガラスの方向を見ていると思われるので、頭上ディス
プレイの使用はそのような警告システムに特に有益である。路傍あるいは他の近
くの車両に沿う対象物に対するホスト車両の軌道が予期できない場合、コントロ
ールを失った状態のモニタリングはホスト車両にも当てはまる。
【0117】 図5には、側面の変換器アセンブリ140および143から赤外線波が発せられてい
る様子が示されている。この場合、CMOSイメージャ145および146は、三角測
量計算に十分な移動を供給するように、側面のバックミラーに搭載される。した
がって図5は非連結の発信器および受信器の配置を示す。発信器が受信器と連結
していない他の構造も本発明の範囲および本発明の理念に含まれるということに
注意されたい。
【0118】 図6は、それぞれ赤外線放射源、およびCCDまたはCMOSのアレー受信器
を備える2つの光学システムを示す。この実施形態では、変換器110および111は
レンズによりカバーされた160×160ピクセルを有するCMOSアレーであ
る。レンズは、監視する死角領域を完全にカバーするように設計されている。左
外部のミラーの横にそのようなセンサの1つが配置されており、その位置におい
て該センサは死角の占有を決定するのに十分な分解能で車両外部左側の死角全体
をモニタすることができる。ここに使用されるようなCCDは、Marshall Elect
ronics Inc.社(Culver City, CA)から入手可能である。レンズは非歪曲性でな
くともよい。レンズのひずみは、同乗者区画外部の特別の部分が観察できるよう
にレンズの形を修正することにより設計することができる。特別のレンズ設計は
、車両上の位置および特定の受信器の目的に依存するだろう。本実施では、光源
は修正したLCDのアレーであり、CMOSイメージャと連結している。図では
車両の一方の側につき4本のビームしか示されていないが、典型的にはそのよう
なビームは20本使用される。調整された走査レーザが交互に使用される。
【0119】 CCDアレーは例えば、画像を電気信号に変換するためにテレビカメラに一般
に使用される。本目的のために、CCDは、CMOSアレー、APSアレー、T
FAアレー、人工網膜、および特に、赤外線、可視光線および紫外線を含む光の
周波数を変換することが可能なHDRCおよびAPSアレーを含むすべての装置
を含むと定義される。本明細書に示す適用例の多くに使用される特定のCCDア
レーは、一辺2センチメートル未満の単一のチップ上に組み込まれる。CCDア
レーからのデータはデジタル化されており、データ分析用のマイクロプロセッサ
を含む電子回路に(ここでは120回に設定)連続的に送信される。格納する必
要のあるデータの量を最小限にするために、CCDアレーからの受信時に画像デ
ータの初期処理を行う。上述のKage他による人工網膜の文献に記述されているよ
うに、チップ上で画像処理の一部が行われる場合もある。
【0120】 距離計を使用せず対象物までの距離を直接決定する1つの方法は、多数のアレ
ーを必要とし、機械的な収束システムを使用することである。しかしながら、そ
のような装置の使用は厄介で、高価で、遅く、その信頼度も疑問である。別の案
は米国特許第5,193,124および5,003,166に記載された収束システムを使用するこ
とである。しかし、そのようなシステムには高価なハードウェアおよび/または
緻密なアルゴリズムが必要で、やはり遅い。
【0121】 赤外線源による死角の全領域の照射を可能にする広い送信角度を有する場合の
別の方法は、一種の赤外線投光器である。コントロール回路120が立体画法的な
分析をなすことができるように、受信CCD変換器は間隔を置いて配置すること
ができる。この回路120は、上述のような他の回路に加えて適切なパターン認識
アルゴリズムを備えたマイクロプロセッサを含んでいる。この場合、CCD変換
器のいずれかからの返された2つの画像のうちの1つから位置付けを所望する特
徴を最初に選択する。次いで、相関分析または他の方法により、ソフトウェアが
別の画像上に同じ特徴の位置決定を行い、それにより周知の技術により変換器か
ら該特徴までの距離を決定する。
【0122】 車両のサイドミラー上に搭載した変換器110および111を説明したが、これら変
換器は非常に小さく、典型的に一辺約2cm程度なので、代わりに車両側面、ま
たは死角の明瞭な視界を提供する多くの位置に搭載することもできる。
【0123】 レーザ距離計の新しい種類には特別の用途がある。この製品は、Power Spectr
a, Inc.社(Sunnyvale, California)によって製造されており、2cm未満の精
度および1cm未満の分解能で30メートルまでの測定が可能なGaAsパルス
・レーザ装置である。このシステムは変換器110あるいは111と併せて組み込むこ
とができる。死角内の対象物の特定の特徴が位置付けされると、該特定の特徴に
レーザ・ビームを向けるために適切な照準メカニズムと共に本装置を使用するこ
とができる。次いで、該特徴までの距離が、2cm以内の精度、およびさらに精
確な較正により判明する。
【0124】 死角内の測定に加えて、この装置は、車両外部の予測センサアプリケーション
に特に適用可能性を持っている。さらに優れた解決法を用いて電磁パルスの伝播
時間を測定する範囲ゲートまたは位相測定を使用する別の技術を、上記のMcEwan
特許の教示に基づき、またはレーザ・ビームの変調により、米国特許第5,653,46
2号に記載された位相測定を使用して実行することができる。
【0125】 図7および図8はそれぞれトラックの上面図および側面図であり、光学的外部
車両モニタリング・センサ(発信器/受信器アセンブリあるいは変換器)160,161の
好ましい搭載位置を示す。典型的な装置では、レンズの直径はおよそ2cmであ
って、搭載面からおよそ1cm突出している。このように小型であることにより
、これら装置は車両外部からはほとんど見えない。これらのセンサが光学的なも
のであるため、レンズ表面を比較的清潔に保つことが重要である。制御回路120
は自己診断の機能を含み、変換器によって返された画像が格納された画像と比較
され、特定のキーとなる特徴の存在が検証される。受信器がこのテストに失敗す
れば、レンズ表面の清浄が必要であることを示す警告が運転者に表示される。
【0126】 図7および8に示されるトラック・システムは、トラックの全長に亘る単一の
死角検知システムの使用を例証する。単一のシステムでモニタされる死角の大き
さを決定する基本的問題は、対象物の位置を測定する能力に関連する。HDRC
カメラが使用される場合、人間の目によって死角に対象物を見ることができるな
らば、カメラはさらに合理的な画像を取得できなければならない。夜では、死角
内の対象物に何らかの照射があたっていることが必要となる。暗い曇りの夜には
、人間の目では、ライトを消して道路に駐車している自動車を見るのは難しい。
当然、照明が存在しない場合、対象物が離れているほど認識可能な画像を得るこ
とは困難である。死角が、低いレベルでもよいので赤外線放射で満たされている
場合、状況は大きく改善する。これは、赤外線距離測定システムに加えて赤外線
投光器が必要であるという根拠となる。赤外線投光器が互いに離間して配置され
た複数のカメラに加えて使用される場合、2つの画像間の光学的相関および三角
測量計算により、死角内の対象物の位置を決定することができる。これは、特に
複数のトレーラーを有するトラックの実際的な解決法である。
【0127】 他の制限的状況は、明るい日光が存在し、単一のイメージャのみが特別の死角
に使用される場合である。このような場合のために、狭いノッチ・フィルタを特
定の赤外線周波数以外の周波数をすべて排除するために使用した場合、走査レー
ザ赤外線ビームは、死角内の対象物からの反射として識別することができる。こ
の場合も、明るい日光の下で反射された赤外線ビームを確認する場合の距離は1
5メートル制限される。したがって、このシステムは長いトラックには限界を有
する。
【0128】 上記の説明から、多数のカメラが長いトラックのための唯一実行可能な解決法
であることが分かる。このシステム設計に生じる次の問題は、カメラが異なるト
レーラーに配置されるか、何らかの理由のために互いに対して移動可能な場合、
分析コンピューターは各カメラの位置および方向を認知していなければならない
点である。レーザ・ビームの位置を確認する、トラックの様々な補足物の相対的
な位置をモニタするなどにより、この方向を達成する様々な方法がある。一例で
は、複数のカメラ位置から観察することができる路上のスポットを照らすために
レーザビームが使用される。様々なカメラによって取得した画像にこの反射され
たドットの位置を使用して、相対的な位置がほぼ決定される。当然、より複雑で
精巧なシステムが可能である。
【0129】 図7および8で上述した死角モニタリング・システムは、主に、ハイウェーで
運転する場合の死角に適用可能である。ターンの多いトラックの市内運転では、
車両の右側から前方および後方に伸びる死角が発生する。運転者が見ることので
きないこの領域には、歩行者、小型車両、自転車、バイク、ならびに様々な他の
対象物が含まれる場合がある。従って、図9および10の163で例証したよう
な、このエリアをカバーする別のより局所的な死角システムが必要である。
【0130】 本明細書では、主に車両の運転者側で使用する使用例を開示した。死角内の対
象物の位置を決定する同じシステムを、同乗者側にも適用することができる。
【0131】 毎年たくさんの子供がスクールバスに轢かれて死亡している。これらの悲劇的
な事故は、子供がスクールバスから降り、運転者の死角であるバスの前を歩いて
いるときに起こる。運転者がバスの運転を開始し、子供にぶつかってしまう。本
発明の死角モニタが、図11および12中に、スクールバスのエンジン・コンパ
ートメント180の上部近傍に搭載された形式で示されている。本モニタリング・
システムは、スクールバスの走路を妨害する対象物の存在を運転者に警告する。
【0132】 ニューラル・ネットワークのような訓練可能なパターン認識技術の使用は、本
発明の重要な部分であるが、さらに、ファジー論理、相関性、カルマン(Kalman
)フィルタおよびセンサ・フュージョンなどの他の訓練されないパターン認識シ
ステムも使用できる。これらの技術は、異なる種類の対象物の違いを決定する、
事例のパターン分析を行うコンピュータ・プログラムを使用して、実行される。
これらのコンピュータ・プログラムは、トレーニング・セットと呼ばれる訓練の
過程で収集された1セットの代表的なデータを使用することにより得られる。訓
練後、コンピュータ・プログラムは、車両に設置された後で得られたデータに基
づき、目標の対象物の分類を可能にする規則を含むコンピューター・アルゴリズ
ムを出力する。これらの規則は、車両に搭載されるシステムにおいてアルゴリズ
ムの形態で実行される。これらの規則を決定することは、本発明に使用されるパ
ターン認識技術にとって重要である。
【0133】 後方伝播(back-propagation)を使用する人工ニューラル・ネットワークは、
規則決定法の中で最も有効なものであるが、ネットワークを理解する能力がない
、または最良の解決法に集中しない場合があるなどの欠点がなく、後方伝播ニュ
ーラル・ネットワークが持つ訓練による学習などの利点を多く備えたシステムを
開発する研究が進行中である。特に、受け取ったデータが訓練データ内に無い場
合、後方伝播ニューラル・ネットワークは頻繁に不合理な回答を出すだろう。ニ
ューラル・ネットワークは、補間法では優秀であるが、補外法に弱いことがよく
知られている。一方、ニューラル・ネットワークとファジー論理を組み合わせた
システムは、本質的にこの問題を解決することができる。また、後方伝播に加え
て他に多くのニューラル・ネットワーク・システムがある。実際、ある種のニュ
ーラル・ネットワークは死角の含有物の認識に最適であり、別のニューラル・ネ
ットワークは対象物の位置をダイナミックに決定するのに最適であるという状況
である。
【0134】 上述では、死角の内容を識別するために使用される、パターン認識システム、
特にニューラル・ネットワークパターン認識システムを説明した。1つの特定の
ニューラル・ネットワーク・アーキテクチャーが、この分野で特に有効である。
これはモジュール式ニューラル・ネットワークとして知られている。モジュール
式ニューラル・ネットワークの概念は、ニューラル・ネットワークが複雑のタス
クを遂行する場合、全体の問題を多くのより小さな問題に分割すれば、速度と精
度を著しく改善することができる場合があるということである。次いで個別のニ
ューラル・ネットワークが各サブタスクを割り当てられる。したがって、ニュー
ラル・ネットワークのネットワークが形成される。
【0135】 人間が木を観察するとき、人間の注意は自動車の特徴ではなく、その木の特徴
だけに集中する。したがって、人間の心もモジュール式ニューラル・ネットワー
クのように動いているように見える。死角モニタリングにこの概念を適用するの
に多くの方法がある。死角内の対象物の識別と位置決定両方を行うので、問題を
、対象物を識別する第一のネットワーク、次いで対象物が識別されたうえでその
位置を決定する様々な付加的ネットワークに分割することが論理的である。これ
に加えて、個別のニューラル・ネットワークを訓練し、訓練データベースに類似
したものがないためにニューラル・ネットワークでは理解できないデータから未
確認の対象物をすべて分離することもできる。特定のニューラル・ネットワーク
に割り当てることができる追加のタスクは、車両が作動している環境を決定する
ことである。明らかに、死角内の自動車は、夜ヘッドライトを点けた状態では、
明るい日光の中とは非常に違って見える。光の条件によって分割すると、識別お
よび位置決定のタスクの精度は向上する。同様に、霧、雨、雪、レンズの汚れお
よび他の要因はシステムの精度に多大な影響を及ぼす場合があり、ニューラル・
ネットワークの異なるグループに割り当てることができる。
【0136】 本発明のいくつかの実施形態の規則は、訓練された研究者が、反射された光学
信号を見て、決定に必要なアルゴリズムを得ることができるのに十分明確である
。他の実施形態では、人工ニューラル・ネットワークが規則を決定するために頻
繁に使用される。パターン認識規則を決定するためのニューラル・ネットワーク
・ソフトウェアのそのようなセットの1つはNeuralWare Corporation(ペンシ
ルベニア州ピッツバーグ)から、別のセットがInternational Scientific Res
earch(ミシガン州ロチェスターヒル)から入手可能である。500を越える米国特
許を含め、多数の本および文献にニューラル・ネットワークが詳細に記載されて
おり、よって、この技術に関する理論および応用は周知であるのでここでは繰り
返さない。ニューラル・ネットワークは、エンジン制御、エアバッグ制御のため
の空間占有感知、前側面衝突センサ・アルゴリズムおよび車両診断システム、な
どの使用を含め、現在、自動車産業において広範囲の用途を取得し始めている。
【0137】 死角内の対象物の存在を決定するために本発明に一般に使用されるシステムは
、人工ニューラル・ネットワークあるいはニューラル・ファジー・システムであ
る。この場合、ネットワークは、図1の110、111、113および114などの変換器に
よって感知されたCCDまたはCMOSアレーから反射された信号を使用して作
動する。左の死角の場合、トレーニングを通じて、システムは、自動車、歩行者
、自転車、トラック、動物、オートバイ、フェンス、ガードレール、駐車車両な
ど多くの場合を区別することを訓練される。これは、様々な位置、速度、および
車両制御状況(雨、夜、日光下、田舎道、州間高速道路など)にある各対象物の
データを利用した多数の実験を行なうことによりなされる。様々な状況を区別し
、非常に高い精度で正確な決定を出力することができるように、ニューラル・ネ
ットワークが十分に訓練され有効になる前に1,000,000回に上る実験が実行され
る。
【0138】 ネットワークが決定されると、結果を検証し、ソフトウェアを生成するニュー
ラルネットワークアルゴリズムにより作成されたアルゴリズムから、テストとエ
ラー訓練技術により最終的に得られる規則を決定することが可能である。その場
合、マイクロプロセッサに規則のプログラムすることができる。あるいは、直接
ネットワークを実行するために、ニューラルコンピュータを使用することができ
る。いずれの方法も、ネットワークを使用するパターン識別の技術者であれば実
行できる。
【0139】 現在では、車両の後部にある障害物をモニタし、運転者が車両を後退させよう
とするとき、運転者に対してそのような障害物の存在を警告するシステムが市場
に多くある。現在使用されている技術には、レーダ、超音波およびテレビカメラ
が含まれている。レーダと超音波は物体を識別することができず、このようなシ
ステムの多くは、例えば縁や柱を避けるために、運転者が方向を変えることがで
きるような対象物の位置付けを行うことができない。テレビカメラシステムは一
般に照射源を持たないので、日光の下では運転者にとって見ずらい低質のテレビ
画像しか作れない。
【0140】 図13に示すシステムは、本発明による死角モニタリングシステム190を示
している。このシステムは、高度ダイナミックレンジカメラ、識別および領域性
能を利用する。運転者に提供される画面には、後退する車両の経路上に存在する
すべての物体の位置、大きさおよび識別結果を示す。画面に死角内の物体と自車
両を示すためにアイコンを使用することにより、比較対照を最も行い易くする。
例としてトラックが挙げられているが、バス、自動車などの車両にも適用できる
。それは後部の衝突予測センサにも使用することが可能である。
【0141】 図14は、コントロール回路120と五つの死角モニタリングシステムとの間
のインターフェースを示すブロック図である。コントロール回路120は、五つ
の死角モニタシステムからの出力をモニタし、アイコンを作り、そのアイコンを
自車両と自車両のすぐ近くにあるすべての物体を表示するディスプレイ140、
145上に配置する。運転者が死角内に対象物を含む車線に車線変更をしようと
する場合など、所定の状況下で警告シグナル146を発するためにマイクロプロ
セッサにはソフトウェアが組み込まれている。この警告シグナルは、運転者が右
折・左折信号を出すとき発生するようにすることができる。音による警告シグナ
ルに加え、ディスプレイ上の視覚的フラッシュシグナル、およびハンドルに振動
、圧力、トルクまたはその他体感できるシグナルを装備することにより、運転者
の操作を防ぐ、またはより難しくすることができる。
【0142】 図15は、さまざまな電子部品172−178を含むコントロールモジュール
170を示している。コントロールモジュールは、死角モニタに、ワイヤ(図示
せず)または無線により接続され、次いで計器盤上のディスプレイ145、また
は頭上ディスプレイ140に接続している。マイクロプロセッサ177で行われ
た計算に基づいて、コントロールモジュール170は、ディスプレイ140、1
45上にアイコンを作り、付加的に上述のような音響的および体感的警告を行う
【0143】 図16は、図15に示した頭上ディスプレイ140をさらに説明するものであ
る。頭上ディスプレイ140は、周知の原理に基づいて構築されたものであり、
画像は運転者が道路から目を離さないで画像を観察することができるよう、車両
の前部に向かって映写される。
【0144】 図17−19は、識別のため、ニューラルネットワークへの入力準備において
、死角内の物体とその他の物体を区別する好適な方法を示すものである。図17
は、図1の後部側面カメラから見た画像のビューを示すものである。画像をより
単純におよび最適化するために、さまざまなフィルタが使用されている。それら
の画像の出力を図18に示す。図19に示すように、背景となる画像の残りの部
分を排除し車両のみを残す多くの技術が存在する。1つの好適な方法では、車両
の左右から対象物までの距離を、上述のレーザ・レーダ・システムによって測定
することができる。この方法により、死角内の車両とは異なる面にある物体を除
去することができる。パターン適合またはパターン連結技術と併せて上述したい
かなる距離測定計画も、車両を抽出するために使用することができる。他の技術
では、光流量の計算を使用する死角内の物体の相対的な運動を利用する。シーン
全体の三次元表示が達成されない限り、どのようなシステムも理想とは言えない
。従って、当面の問題によってさまざまな技術が用いられる。
【0145】 図20は、混雑した交通状況で車線を変える際の問題を示している。この図で
は、車両310の運転者は、車両322を追い越すために車線を変えようとして
いる。しかし、車両321が死角にあるので、車両310が車線を変えると事故
が起こりかねない。本発明の技術を使用することにより、車両310の運転者は
、視覚的ディスプレイ、または警告シグナル、音響的または体感的シグナルを通
して、そのような車線変更をしてもいいかどうを通知される。
【0146】 図21は、接近する車両720の側面衝突を受ける直前の車両710を斜め上
方から見た斜視図である。車両710には、車両720の方向へ、赤外線などの
電磁波を送信するトランスミッタ730が図示された予測センサ・システムまた
は死角モニタが装備されている。これは、外部モニタリングを行う本発明の多く
の使用例の一つである。トランスミッタ730は、電子モジュール740に接続
している。モジュール740は、トランスミッタ730を駆動する回路742と
、受信器734と736から受信したシグナルを処理する回路744を含んでい
る。回路744は、ニューラルコンピュータ745を含み、該コンピュータは受
信器734と736(図21)からの信号に基づいてパターン認識決定を行う。
受信器734と736は、車両のB柱に設置され、透明な保護カバーに覆われて
いる。設置可能な別の位置として、738のように、後部ミラーが取り付けられ
ることが多いドアの窓の縁部パネルがある。このシステムのもう一つの利点は、
赤外線が可視光より霧と雪をよく貫通するとういう能力であり、そのためこの技
術は死角検知と予測センサへの応用に特に適している。赤外線は、雪と霧の両方
により大部分が薄められるということはよく知られているが、選択する周波数に
よってその程度は可視光より小さい。(例えばL.A.Kleinによる「Millimeter-Wa
ve and Infrared Multisensor Design and Signal Processing」(ボストン、Ar
tech House, Inc, 1997年, ISBN 0-89006-764-3を参照されたい。)
【0147】 車両内部での使用に適さないレーダ・システムは、現在では車両外部の感知装
置に幅広く使用されており、警察のレーダはそのよく知られた一例である。現在
では、安価で限られた空間に適用できる小型のレーダ・システムが利用可能であ
る。このようなシステムは、上術のMcEwanによる特許に開示されている。したが
って、これらの場合における本発明の特に効果的な実行モードは、CWレーダ、
またはパルス・レーザ・レーダ・システムをCCDアレーと共に使用することで
ある。この場合、レーダを距離測定のために、CCDを識別のために使用する。
【0148】 好適な実施形態では、トランスミッタ730は赤外線トランスミッタであり、
受信器734、736および738は、車両720から反射された赤外線を受信
するCCD変換器である。図21の実施形態では、米国特許出願第09/307,883号
に開示されている、側面衝突の直前に開く外部散会式エアバッグ790が示され
ている。
【0149】 上術の応用例のほとんどでは、走査点、あるいは光線が与えられると想定され
ているが、これらは必ずしも必要ではない。対象物を照射するために発せられる
光は構造化光でもよい。構造化光は、例えば長方形またはその他微小パターンか
ら始まる光など多くの形状を取ることができ、フィルタを通過させることにより
、その光に暗部を重畳させることができる。類似したパターンをカメラと反射の
間に入れると、結果として、Moireパターンとして知られる擬似干渉パターンが
できる。同様の効果は、発せられた光を偏光することにより照射されている対象
物の異なる部分を異なる偏光の光で照射することにより達成できる。ここでも、
類似の偏光アレーを通して反射を観察することにより、特定の対象物を照射する
光源の位置に関する情報を得ることができる。いろいろなパターンを作るために
さまざまな変調計画を使用することができ、特定の用途のために適宜変調を変え
ることができる。
【0150】 車両内部モニタリングに関する米国特許第5,653,462号に初めて開示され、車
両外部モニタリングに関しては1994年5月23日に出願された米国特許出願第08/24
7,760号に開示されているように、車両の内部または外部の対象物までの距離を
測定するために、変調された光源を使用することができる。基本的な原理は、反
射された光の位相を発信された光の位相と比較し、反射された物体までの距離を
位相差により測定することである。この原理を実行する多くの方法がある。最近
開示された方法は、フォトニック・ミキシング装置(photonic mixing device)
、またはPMDと呼ばれている。この装置では、光学フィルタが同じ周波数と発
信された光ビームを変調するために使用される位相に変調されている。PMDで
は、この原理はピクセル単位で実行されており、CMOSアレー構造に包含され
ている。これは、本発明の開示内容の一部であるが、結果的に不要に複雑な構造
をもたらす。別の方法を後述する。
【0151】 死角内の対象物、または車内の対象物は、変調された光で照射され、またその
光を受信器に反射する。反射された光と発信された光との間の位相の関係は、反
射面までの距離の関数である。対象物全体を照射するために使用される変調され
た照射光の光源は1つのみであるので、すべてのピクセルで同じ周波数と位相に
ついて比較が行われる。従って、変調された周波数と位相で各ピクセルを別個に
扱おうとすることに利点はない。類似の、好適な方法は、照射された対象物から
戻って来る光をすべて変調するために、シングル光バルブ、または電子シャッタ
ーを使用することである。
【0152】 光バルブ、あるいは電子シャッターを変調する技術は何年も前から知られてお
り、Kerr cellまたはPockel cellと呼ばれている。これら装置は毎秒100億サ
イクルまで変調することができる。死角内の車両までの距離を測定するためには
、5〜100MHzでの変調が必要である。変調周波数が高いほど、物体までの
距離の測定の精度が高くなる。しかし、自車両と対象物の間に1よりも大きいか
、またはそれよりも良いが4分の1より大きい波長が存在すると、結果として不
確実さが残る。一方、より長い波長により車両の大まかな位置が測定されると、
不確実さが排除されているので、変調周波数を上げることにより精度の高い測定
が可能になる。
【0153】 従って、本発明の1つの好適な実施形態では、赤外線投光照明灯が5〜100
MHzの周波数に変調され、CMOSアレーピクセルに当たる光の量が光バルブ
と反射した光の位相の差によって決定されるように、返って来る光が光バルブを
通過する。一つのフレームのために光バルブを変調し、光バルブを次のフレーム
に対して透過性にすることにより、カメラの視界のすべての点までの距離を、対
応するピクセルの相対的な明るさに基づいて決定することができる。
【0154】 カメラの視界内にあるすべてのピクセルまでの範囲が決定されると、範囲ゲー
トは簡単な計算でとなり、画像内の対象物を特徴識別のために簡単に区別するこ
とができる。このようにして、死角内の多くの対象物をそれぞれ区別し、識別す
ることができる。
【0155】 上述したように、時に日光などの大きな照射源から光を区別することが困難な
場合がある。しかし、明るい日光の下でも、赤外線レーザ光の狭いビームからの
反射は、受信器に入る光に狭い周波数のフィルタを設ければ観察することができ
るということが確認された。しかし、狭いレーザビームを大量に照射されたピク
セルのサンプルは観察可能であり、距離決定にも使用することができるので、上
述の原則を適用することも可能である。
【0156】 広角赤外線投光照明灯を使用する技術は、特に発光していない対象物を観察す
ることが困難である夜間に有用である。明るい日光の下では、相対的運動などの
他の技術を使用して特徴抽出、識別、距離決定などを行うために、カメラによっ
て取得される視覚的画像から多くの情報を得ることができる。従って、上級死角
モニタリングシステムは、環境条件に応じて、様々な技術を使用する。
【0157】 本発明のより洗練された実施形態では、画像システムと赤外線レーザ光線の照
射方向とを相互作用させることができる。例えば、画像システムが複数の対象物
を区別することができない時、画像の特定の領域を赤外線システムによって走査
することができる。上述の技術が発展するに伴って、本発明の研究に基づく非常
に知的な死角センサ、予測センサ、および一般的な外部モニタシステムが発展す
ると予想されている。
【0158】 本発明の目的は、照射源から発せられた時の、特定の光線の方向を決定するこ
とである。すると、変換機の幾何学的搭載位置を考慮して反射された光線により
どのピクセルが照射されたかを確認することにより、対象物の反射点までの距離
を決定することができる。これには、光源がCCDアレーと同位置に配置されな
いことが必要となる。特定の光線が、例えば光源に近い対象物の表面を照射する
と、該表面からの反射がCCD整列の特定の地点のピクセルを照射する。もっと
離れた表面から同じ光線の反射が到来すると、CCDアレーの別のピクセルが照
射される。このようにして、物体の表面からCCDまでの距離を、三角測量によ
り決定することができる。同様に、トランスミッタからの特定の光線の反射によ
りCCDのあるピクセルが照射され、トランスミッタから送られた該光線の方向
が既知であれば、反射点における対象物までの距離を決定することができる。各
光線を個別に識別することが可能で、よって発せられた角度と相関することがで
きれば、識別問題を簡単にする対象物の完全な三次元画像を得ることができる。
【0159】 トランスミッタから到来する光線の符号化を行うには多くの方法がある。一つ
の方法は、光をフィルタに通過させることにより偏光させるという方法である。
この場合、偏光は偏光の量と角度の組み合わせである。これにより、二次元的に
光が送られる角度を固定することができる。もう一つの方法は、例えば液晶フィ
ルタ、電気クロムフィルタ、またはガーネット結晶アレーなどの光バルブを使用
することにより、アナログまたはデジタル信号を光に重畳するという方法である
。このアレーのそれぞれのピクセルは、CCDで識別されるよう符号化される。
または、伝送される放射は、照射源を識別するために変調されたAMまたはFM
でもよい。
【0160】 上述の技術は、特定の反射の特定の伝送角を識別するために、偏光を変化させ
ることか、時間領域または周波数領域を使用することか、あるいはそれらを組み
合わせることに基づいている。空間的パターンも、上述のように、通常構造化光
の下を通る光の上に乗せることができる。この考え方は、パターンが識別された
場合、発信された光の方向を確認することができるか、あるいは、発信源が受信
器から離れていても同軸上に位置していれば、パターンが対象物の方向へ進むに
従い異なる速度で広がって行き、受信したパターンの大きさを測定することによ
って、対象物までの距離を測定することができる、というものである。場合によ
っては、モアレパターン技術が使用される。
【0161】 本発明のさらなる考えは、例えば死角に実際に対象物が存在することを確認す
る際の補助機能として、連続する複数のアレーで確認した対象物の運動を利用す
ることである。ばらつきのある動作により、視界内のさまざまな物体を区別する
ことができ、また絶対的な動作を背景除去に利用することができる。
【0162】 図22は、発明の一つの実施形態のフローチャートの例である。死角モニタは
、まず識別の対象物を含む死角の画像を取得して対象物までの距離を測定し、距
離情報と画像情報を特徴抽出ルーチンに出力する。特徴抽出ルーチンからの出力
は、ニューラル・ネットワーク、あるいは他のパターン識別アルゴリズムに供給
される。アルゴリズムは物体を識別する。物体が識別され物体までの距離が決定
されると、ディスプレイに最新情報を与えることができる。現在および最近の情
報を使用して、相対速度アルゴリズムが自車両に対する対象物の相対速度を測定
する。死角内の対象物の位置、速度、種類が判明すると、適当なアルゴリズムが
車線変更の操作が可能かどうかを決定する。決定が「はい」であると、制御は画
像収集と距離測定に戻り、新しい画像と距離測定が行われる。車線変更可否の決
定が「いいえ」であると、ウィンカーが起動しているかどうか(運転者の車線変
更の意思を示すかどうか)の決定が行われる。この決定が「はい」の場合、音声
および/または視覚による警告が与えられる。「いいえ」の場合、運転者が車線
変更を始めるために車両の方向を変え始めている(ウィンカーの起動は単に忘れ
ている)かを判断する。その結果が「はい」の場合、音声および/または視覚に
よる警告が再度発せられ、体感的システムが、運転者によるハンドル回転動作に
反対する回転モーメントをかけ始める。あるいは、運転者に対して車線変更を行
ってはならないと警告するために、ハンドルに振動をかける。このような動作の
後、制御は画像取得と距離確認に戻り、プロセスが再び開始する。
【0163】 このように、目指す目的と利点のすべてを満たす、一つ以上のCCDまたはC
MOSアレーとその他関連する設備を備える光学システムを使用し、車両外部を
モニタするためのモニタシステムを開示および説明した。
【0164】 さらに詳細には、上述の方法は、車両外部の対象物の識別および位置確認のた
めの方法であって、光学波を一または複数の位置から車両周囲の空間に発信する
段階と、車両外部の画像を、保存されている車両外部の画像と比較し、保存画像
のどれが該対象物の画像に最も適合するかを決定することにより、保存画像に関
連するデータに基づいて対象物の識別と位置確認を行う段階を含む。光学波は、
車両外部の、それぞれ車両近傍の特定の空間に対して視界のよい、一または複数
の位置に配置された送信器/受信器アセンブリから発信することができる。各ア
センブリは、光学的送信器(赤外線LED、集束レンズを有する赤外線LED、
集束レンズと走査レーザアセンブリとを有するレーザ、赤外線投光照明灯または
その他の光源)と、光学アレー(CCDアレーおよびCMOSアレーなど)を備
えることができる。従って、この光学アレーは、ピクセルのマトリクスで表され
る車両外部の画像を得るために構成されている。この方法を向上させるためには
、画像を比較する前に、それぞれのアレーからの出力を、光学的相関技術を使用
してさまざまな対象物を表す一連の保存アレーと比較することができる。好適に
は、保存画像のライブラリは、物体を車両の近くに配置し、一または複数の位置
から物体に向かって光学波を発信し、それぞれの位置から車両の外部の画像を取
得し、画像を物体の位置と種類に関連づけ、そして異なる位置にある同じ物体、
および異なる位置にある異なる物体について、配置、発信、画像取得、関連付け
という四つの段階を繰り返すことにより作成する。この方法は、1999年8月
24日出願の米国特許出願番号09/382,406に詳述されている、訓練と適応プロセ
スに似たものである。
【0165】 本発明の利点の1つは、物体の識別と位置確認が行われた後、少なくとも1つ
の対象物の種類と位置に基づいて、車内の一または複数のシステムを作動させる
ことができることである。このようなシステムには、運転者に死角内の物体の存
在、位置、速度に対する注意を喚起するための視覚的および/または音響的警告
システムと、対象物の進行方向へ方向転換しようとする運転者の操作を抑制する
ための、ハンドルの回転に対する抵抗力を調節するシステムが含まれる。別のシ
ステムは、方向指示器と関連させることができ、意図する右折/左折を行った場
合に衝突する恐れのある物体が死角内に存在する場合に、ウィンカーを起動する
と警報を出すというものである。
【0166】 画像の比較は、画像または画像の一部をニューラル・ネットワークに入力また
は形成し、該ネットワークが各画像に対し、入力された画像に最も適合する保存
画像のインデックスを与えることを必要とする。よって、特に物体の前部中央の
位置および表示に適切なアイコンを含め、適合した画像から保存された情報を検
索するために該インデックスが利用される。このために、車両を囲む環境の視覚
的外観を表示するために、頭上ディスプレイの使用により、または同乗者区画に
、ディスプレイを設置することができる。アイコンは、一般的な物体の一般的な
アイコンか、または車両の種類などを示す特定のアイコンとすることができる。
さらに、衝突の原因となり得る運転者の動作を回避できるように、車両に対する
対象物の位置を測定することができる。画像比較により対象物の位置に関する情
報も取得することができ、また対象物の位置に基づいて一または複数の後部ミラ
ーの位置を調整することができる。また、外部の光源を物体に向けて識別条件を
改善し、物体の位置を測定することができる。
【0167】 また、画像の比較、および時間の経過に伴う車両外部の物体の中央の位置の変
化に基づいて制御される車内の1または複数のシステムにより、車両の外部の物
体の中央の位置をモニタすることができる。このモニタリングは、直前の画像ま
たはそれに相当する部分から、最も最近得た画像またはその一部を抽出し、画像
内の変化の先端を分析するか、または、対象物が最初の位置にある画像と最も最
近得た画像の相関関数を得ることを伴ってもよい。
【0168】 車両外部の物体の識別と位置決定を行うための本発明による別の方法では、複
数の位置から光学波を車両近傍の空間に発信し、各位置から車両外部の複数の画
像を得て、該画像に基づいて車両外部の三次元マップを作成し、パターン認識技
術を用いて対象物の識別と位置決定を行う。パターン認識技術は、ニューラル・
ネットワーク、ファジー論理、または、光相関器であるか、あるいはそれらの組
み合わせである。マップは、レーザがパルス・モードまたは連続変調モードで動
作する走査レーザ・レーダ・システムを使用し、伝播時間、変調波、範囲ゲート
を使用した、または使用しない位相測定により照射された対象物からの距離を決
定することにより作成してもよい。(参考:H. Kage, W. Freemen, Y. Miyke, E
. Funstsu, K. Tanaka, K. Kyumaによる「Artificial retina chips as on-chip
image processors and gesture-oriented interfaces」, Optical Engineering
, December,1999, Vol.38,Number 12,ISSN 0091-3286)
【0169】 上述の、本発明による車両の運行追跡方法では、少なくとも1つの位置から光
学波を対象物の方向へ発信し、車両外部の空間の一部の最初の画像を取得し、該
最初の画像をピクセルのマトリクスで表す。続いて同じ位置から光学波を対象物
に発信し、同乗者区画の外部の特定の空間の追加画像を取得し、該追加画像もピ
クセルのマトリクスで表す。最初の画像から追加画像を差し引き、どのピクセル
の値が変化したかを決定する。変化したピクセルの先端と変化したピクセルのフ
ィールド幅を決定し、それにより最初の画像と追加画像を取得した時間の差から
対象物の相対的運動を決定する。次に追加画像を最初の画像として、追加画像を
取得する段階、および最初の画像から追加画像を差し引く段階をくり返し、よっ
て対象物の連続的相対的運動を取得する。
【0170】 また、上述には車両のステアリング・システムの制御方法も開示されており、
該方法は、光学波を車両近傍に位置する対象物に発信する段階と、車両直近の外
部空間の1または複数の画像を取得する段階と、各画像を分析して車両から対象
物までの距離を決定する段階と、決定された車両から対象物までの距離に基づい
て、運転者が対象物との衝突を引き起こさないようにステアリング・システムを
制御する段階とを含む。画像の分析は、車両外部の一部の画像と、車両に直近の
空間に対象物が様々な配置で存在する保存画像とを比較し、それぞれが車両から
画像内の対象物までの距離に関するデータを有する保存画像のうち、いずれが車
両外部の画像に最も適合するかを決定することにより行うことができる。画像比
較の段階では、画像、形状、またはその一部をニューラルネットワークに入力す
る段階を含むことができる。それにより、それぞれの画像に対し、車両外部の画
像に最も適合する保存画像のインデックスが与えられる。特に有利な実施形態で
は、対象物の大きさを測定し、決定された車両から対象物までの距離と、物体の
大きさとに基づいて車両のシステムを制御する。
【0171】 上述に開示した車両近傍にある対象物の識別と位置決定を行うための別の方法
では、車両近傍の外部空間、その一部または車両近傍の対象物から発せられる放
射の1または複数の画像、および対象物からの放射の画像を、車両近傍の様々な
物体から発せられる放射の保存画像と比較し、保存画像の関連データに基づいて
対象物の識別と位置決定が行われるように、保存画像のどれが車両外部の対象物
の画像に最も適合するかを決定する。本実施形態では、対象物を光学波で照射す
ることは行わない。それにもかかわらず、上述した同じ方法を、この方法と組み
合わせて用いることができる。例えば、対象物の位置と種類に基づいて他のシス
テムを作動させること、保存画像のライブラリの生成、外部光源のフィルタリン
グ、ノイズフィルタリング、占有者制止システム配置制御および車両システム制
御への対象物の大きさの利用などが挙げられる。
【0172】 本明細書および好適な実施形態を示す添付図面から、当業者には、本発明に様
々な変更、修正、変形、及び他の使用例および応用例が可能であることが明らか
である。本発明の精神および範囲を逸脱しないこのような変更、修正、変形およ
び他の使途、応用のすべては、請求の範囲により規定される本発明に含まれると
考える。
【図面の簡単な説明】
【図1】 本発明による光学的死角検出システムの好ましい設置位置を示す
車両の斜視図である。
【図2】 ハイウエーを走行中の図1に示した車両の斜視図である。
【図3】 LEDアレーまたはスキャニングレーザとCMOSカメラの位置
を示す車両のミラーアセンブリの詳細図である。
【図4】 LEDアレーまたはスキャニングレーザとCMOSカメラの位置
を示すトラックのミラーアセンブリの詳細図である。
【図5】 光源とカメラが連動していない別の死角検出システムの平面図で
ある。
【図6】 好ましい車両のミラーから照射されたレーザダイオードによる光
の照射パターンを示す図2に類似の図面である。
【図7】 側面死角スポット領域を示す大型トラックの平面図である。
【図8】 側面死角スポット領域を示す図7に示した大型トラックの側面図
である。
【図9】 トラックの右前方の死角を示す平面図である。
【図10】 トラックの右前方の死角を示す側面図である。
【図11】 バスの前方の空間をモニタするバスへの適用例を示す側面図で
ある。
【図12】 バスの前方の空間をモニタするバスへの適用例を示す前面図で
ある。
【図13】 バックアップ事故からの保護を目的としたトラックトレーラの
後方モニタに適用されたシステムの平面図である。
【図14】 死角検出装置、ステアリング制御装置、表示装置および警報シ
ステムを示すブロック図である。
【図15】 計器パネル上のアイコン表示と、自車両および衝突の危険をは
らむ周囲の車両の位置を上方から見た平面図を示す頭上表示装置を示している。
【図16】 頭上表示装置への画像投影を示す図11に類似の図面である。
【図17】 図1に示した側面後方カメラによる画像を示す。
【図18】 画像処理を行った後の図17の画像を示す。
【図19】 車両を抽出した後の図18の画像を示す。
【図20】 交通量の多い状況での車線変更の問題を示す図である。
【図21】 本発明の予知センサを搭載する車両側面に別の車両が衝突する
直前の斜視図であり、本発明に基づく予知センサの種々の部分の位置を示す。
【図22】 車線変更問題に関するフローチャートである。
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) // G08B 21/00 G01S 17/88 A 5L096 (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CO,CR,CU,CZ,DE ,DK,DM,DZ,EC,EE,ES,FI,GB, GD,GE,GH,GM,HR,HU,ID,IL,I N,IS,JP,KE,KG,KP,KR,KZ,LC ,LK,LR,LS,LT,LU,LV,MA,MD, MG,MK,MN,MW,MX,MZ,NO,NZ,P L,PT,RO,RU,SD,SE,SG,SI,SK ,SL,TJ,TM,TR,TT,TZ,UA,UG, UZ,VN,YU,ZA,ZW (72)発明者 デュ ヴォール, ウィルバー, イー. アメリカ合衆国 モンタナ州 65686 キ ンバーリン シティー, ノースウッズ ドライブ 57 Fターム(参考) 2F112 AD01 BA03 CA05 DA02 DA25 DA32 FA35 FA45 GA01 GA03 GA05 3D054 EE11 EE13 EE31 5C086 AA47 AA51 AA53 BA22 CA12 CB16 DA08 DA33 EA11 EA41 EA45 FA02 FA18 5H180 AA01 BB19 CC03 CC04 CC12 CC14 LL01 LL02 LL07 LL08 5J084 AA01 AA05 AA10 AA14 AB01 AB07 AC02 AD01 AD06 BA04 BA05 BA13 BA34 DA01 DA07 EA07 EA22 EA29 5L096 BA04 CA02 HA11

Claims (29)

    【特許請求の範囲】
  1. 【請求項1】 車両の周囲に存在する物体に関する情報を取得するための装
    置であって、 車両の周囲の対象物に対して赤外線を照射するための、車両に搭載された光投
    射手段と、 車両の周囲の環境からの赤外線を受け取るための、車両に搭載された受光手段
    と、 前記光投影手段および前記受光手段に接続されて、前記赤外線投射手段からの
    赤外線投射から前記受光手段による赤外線の受光までの時間を測定し、当該測定
    値に基づいて車両から赤外線を反射した対象物までの距離を求める手段を具備す
    る装置。
  2. 【請求項2】 前期光投射手段はレーザダイオードのアレイを具備する請求
    項1に記載の装置。
  3. 【請求項3】 前記光投射手段はパルスレーザを具備する請求項1に記載の
    装置。
  4. 【請求項4】 前記光投射手段は、線状に連続的なレーザビームを投射する
    手段と、当該赤外線が車両近傍の空間を横切るようにレーザビームによるスキャ
    ンを制御する制御手段とを具備する請求項1に記載の装置。
  5. 【請求項5】 前記受光手段は単一ピクセルからなる受容器を具備する請求
    項4に記載の装置。
  6. 【請求項6】 前記受光手段は、CCDアレイ、CMOSアレイおよびHD
    RCカメラのうちの少なくとも1つを具備する、請求項1に記載の装置。
  7. 【請求項7】 さらに、前記受容器に接続されて、光を反射した対象物を特
    定するプロセッサを具備する請求項1に記載の装置。
  8. 【請求項8】 前記プロセッサはパターン認識手法を使用する請求項7に記
    載の装置。
  9. 【請求項9】 前記プロセッサは光を反射する対象物を認識するために、モ
    ジュラーニューラルネットワークを使用する請求項7に記載の装置。
  10. 【請求項10】 前記プロセッサは車両を取り巻く環境の部分的な3次元マ
    ップを作成する請求項7に記載の装置。
  11. 【請求項11】 前記プロセッサは3次元マップから特徴を抽出するよう構
    成されている請求項10に記載の装置。
  12. 【請求項12】 さらに、前記3次元マップから抽出された特徴を表示する
    ための、車両の運転者から見ることの出来る表示装置を具備する請求項11に記
    載の装置。
  13. 【請求項13】 前記光投射手段と前記受光手段は連動している請求項1に
    記載の装置。
  14. 【請求項14】 前記光投射手段は、複数の発光エレメントを有し、前記受
    光手段は少なくとも1つの受光エレメントを有する請求項1に記載の装置。
  15. 【請求項15】 前記関連した発光エレメントと前記少なくとも1つの受光
    エレメントは互いに離れて設けられている請求項14に記載の装置。
  16. 【請求項16】 前記受光手段は前記光投射手段が投射した赤外線以外を取
    り除くためのノッチフィルタを具備する請求項1に記載の装置。
  17. 【請求項17】 前記受光手段は光バルブを有する請求項1に記載の装置。
  18. 【請求項18】 さらに、前記測定手段に接続されて、車両から赤外線を反
    射する対象物までの距離と、複数の位置測定結果から対象物の移動速度を決定す
    るプロセッサを具備する請求項1に記載の装置。
  19. 【請求項19】 車両近傍に対象物がある場合に車両を制御するシステムで
    あって、 対象物の情報を取得するために、車両の近傍に赤外線を投射する車両に搭載さ
    れた投光手段と、 車両の周囲から赤外線を受光するための車両に搭載された受光手段と、 車両の近傍に対象物が存在すると決定されたときに制御または調節される車両
    装置と、 前記装置と車両装置と接続され、前記受光手段が受光した少なくとも赤外線に
    基づいて対象物の情報を取得し、取得した情報に基づいて車両システムを制御す
    るプロセッサを具備するシステム。
  20. 【請求項20】 前記プロセッサは、前記投光手段による赤外線投射から前
    記受光手段による赤外線の受光までの時間を求め、当該測定時間に基づいて車両
    から赤外線を反射する対象物までの距離を求める請求項19に記載のシステム。
  21. 【請求項21】 前記受光手段は車両の周囲の少なくとも1つの映像を取得
    するように配置されており、前記プロセッサは前記少なくとも1つの映像を処理
    して当該少なくとも1つの映像に含まれる対象物を識別する請求項19に記載の
    システム。
  22. 【請求項22】 前記プロセッサはパターン認識技術を用いる請求項21に
    記載のシステム。
  23. 【請求項23】 前記プロセッサは前記少なくとも1つの映像に含まれる対
    象物を識別するためにモジュラーニューラルネットワークを使用する請求項22
    に記載のシステム。
  24. 【請求項24】 前記受光手段は、CCDアレイ、CMOSアレイおよびH
    DRCカメラのうちの少なくとも1つを具備する、請求項19に記載のシステム
  25. 【請求項25】 前記プロセッサは、前記受光手段によって受光された赤外
    線に基づいて、車両周囲の一部の3次元マップを作成する請求項19に記載のシ
    ステム。
  26. 【請求項26】 前記プロセッサは前記3次元マップから特徴を抽出する請
    求項25に記載のシステム。
  27. 【請求項27】 前記車両システムは、車両の運転者に対して、3次元マッ
    プから抽出された特徴を表示または表す、運転者から見ることが出来る表示装置
    である請求項26に記載のシステム。
  28. 【請求項28】 前記車両システムは回転抵抗を調節することが出来るステ
    アリングホイールである請求項19に記載のシステム。
  29. 【請求項29】 前記車両システムは、オーディオアラームと車両の運転者
    から見ることが出来る視覚的警報装置のうちの少なくとも1つである請求項19
    に記載のシステム。
JP2001582119A 2000-05-08 2001-05-08 車両の死角識別及びモニタリング・システム Pending JP2003532959A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US20242400P 2000-05-08 2000-05-08
US60/202,424 2000-05-08
PCT/US2001/014876 WO2001085491A1 (en) 2000-05-08 2001-05-08 Vehicular blind spot identification and monitoring system

Publications (1)

Publication Number Publication Date
JP2003532959A true JP2003532959A (ja) 2003-11-05

Family

ID=22749815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001582119A Pending JP2003532959A (ja) 2000-05-08 2001-05-08 車両の死角識別及びモニタリング・システム

Country Status (5)

Country Link
US (1) US7049945B2 (ja)
JP (1) JP2003532959A (ja)
AU (1) AU2001259640A1 (ja)
GB (1) GB2369737B (ja)
WO (1) WO2001085491A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101342124B1 (ko) 2013-10-18 2013-12-19 주식회사 지티 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
JP2015081877A (ja) * 2013-10-24 2015-04-27 日立建機株式会社 後退支援装置
JP2015521727A (ja) * 2012-06-14 2015-07-30 株式会社ニコン 測定アセンブリ、表面上の特徴を測定する方法、構造を製造する方法、及びポインター
JP2017191617A (ja) * 2013-04-10 2017-10-19 グーグル インコーポレイテッド 自律運転のための作業中及び非作業中の工事区域のマップ作成
KR101964100B1 (ko) * 2017-10-23 2019-04-01 국민대학교산학협력단 신경망 학습 기반의 객체 검출 장치 및 방법
US20230095698A1 (en) * 2021-09-27 2023-03-30 Robert Bosch Gmbh Method for radar-based monitoring of a rearward area

Families Citing this family (262)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102220B2 (en) * 1992-05-05 2015-08-11 American Vehicular Sciences Llc Vehicular crash notification system
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US8041483B2 (en) 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7359782B2 (en) 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US20070135982A1 (en) 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
US10573093B2 (en) 1995-06-07 2020-02-25 Automotive Technologies International, Inc. Vehicle computer design and use techniques for receiving navigation software
US9008854B2 (en) 1995-06-07 2015-04-14 American Vehicular Sciences Llc Vehicle component control methods and systems
US9443358B2 (en) 1995-06-07 2016-09-13 Automotive Vehicular Sciences LLC Vehicle software upgrade techniques
US7744122B2 (en) 1995-12-12 2010-06-29 Automotive Technologies International, Inc. Driver side aspirated airbags
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6526157B2 (en) * 1997-08-01 2003-02-25 Sony Corporation Image processing apparatus, image processing method and transmission medium
US8209120B2 (en) 1997-10-22 2012-06-26 American Vehicular Sciences Llc Vehicular map database management techniques
US9177476B2 (en) * 1997-10-22 2015-11-03 American Vehicular Sciences Llc Method and system for guiding a person to a location
US10358057B2 (en) * 1997-10-22 2019-07-23 American Vehicular Sciences Llc In-vehicle signage techniques
US10240935B2 (en) 1998-10-22 2019-03-26 American Vehicular Sciences Llc Vehicle software upgrade techniques
JP3750102B2 (ja) * 1999-11-24 2006-03-01 富士通テン株式会社 車載レーダ装置
ES2158827B1 (es) * 2000-02-18 2002-03-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos.
DE10059313A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
ES2287266T3 (es) 2001-01-23 2007-12-16 Donnelly Corporation Sistema de iluminacion de vehiculos mejorado.
US20020117340A1 (en) * 2001-01-31 2002-08-29 Roger Stettner Laser radar based collision avoidance system for stationary or moving vehicles, automobiles, boats and aircraft
GB0111979D0 (en) * 2001-05-17 2001-07-04 Lucas Industries Ltd Sensing apparatus for vehicles
US7280674B2 (en) * 2001-06-05 2007-10-09 University Of Florida Research Foundation Device and method for object illumination and imaging using time slot allocation based upon road changes
US7183944B2 (en) * 2001-06-12 2007-02-27 Koninklijke Philips Electronics N.V. Vehicle tracking and identification of emergency/law enforcement vehicles
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
DE10138361A1 (de) * 2001-08-04 2003-02-27 Daimler Chrysler Ag Verfahren zur Verbessung der Sicht in Fahrzeugen
ITTO20011057A1 (it) * 2001-11-07 2003-05-07 Fiat Ricerche ,,metodo e sistema per assistere il conducente di un autoveicolo in unamanovra di cambio di corsia,,.
US20030139881A1 (en) * 2002-01-24 2003-07-24 Ford Global Technologies, Inc. Method and apparatus for activating a crash countermeasure
EP1497160B2 (de) * 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
JP2003320898A (ja) * 2002-04-26 2003-11-11 Sony Corp 車両用サイドミラー装置
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US7308314B2 (en) * 2002-06-06 2007-12-11 Advanced Medical Electronics Method and apparatus for sensory substitution, vision prosthesis, or low-vision enhancement utilizing thermal sensing
DE10392601D2 (de) * 2002-08-09 2005-02-03 Conti Temic Microelectronic Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb
KR20040019427A (ko) * 2002-08-26 2004-03-06 석정호 자동차 감지 시스템 및 방법
JP4156307B2 (ja) * 2002-09-09 2008-09-24 株式会社デンソー レーダ装置、プログラム
US6919796B2 (en) * 2002-09-12 2005-07-19 Magna Donnelly Mirrors North America, Llc Dimming mirror with blind zone sub-mirror and indicator
US20040051659A1 (en) * 2002-09-18 2004-03-18 Garrison Darwin A. Vehicular situational awareness system
US6937165B2 (en) 2002-09-23 2005-08-30 Honeywell International, Inc. Virtual rumble strip
US7310071B2 (en) * 2002-10-18 2007-12-18 Kopin Corporation Instrument panel with active display
US6859148B2 (en) * 2002-10-30 2005-02-22 Ford Global Technologies, Llc Blind spot warning system for an automotive vehicle
US20110010041A1 (en) * 2003-01-30 2011-01-13 Smr Patents S.A.R.L. Software for an automotive hazardous detection and information system
DE10303578B4 (de) * 2003-01-30 2015-08-13 SMR Patents S.à.r.l. Gefahrenerkennungssystem für Fahrzeuge mit mindestens einer seitlichen und rückwärtigen Umgebungserfassung
ITTO20030197A1 (it) 2003-03-14 2004-09-15 Fiat Ricerche Dispositivo elettro-ottico attivo per il rilevamento di
DE10313002B4 (de) * 2003-03-24 2006-03-23 Daimlerchrysler Ag Fahrzeugumgebungserfassungseinheit
EP1467225A1 (de) * 2003-04-10 2004-10-13 IEE International Electronics & Engineering S.A.R.L. Einparkhilfe für ein Fahrzeug
US6985212B2 (en) * 2003-05-19 2006-01-10 Rosemount Aerospace Inc. Laser perimeter awareness system
DE10324217A1 (de) * 2003-05-28 2004-12-16 Robert Bosch Gmbh Vorrichtung zur Klassifizierung von wenigstens einem Objekt mit einer Umfeldsensorik
GB0314156D0 (en) * 2003-06-18 2003-07-23 Dsine Technology Ltd Proximity sensing system
JP3925474B2 (ja) * 2003-07-18 2007-06-06 日産自動車株式会社 車線変更支援装置
US6834232B1 (en) 2003-07-30 2004-12-21 Ford Global Technologies, Llc Dual disimilar sensing object detection and targeting system
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP2005078528A (ja) * 2003-09-02 2005-03-24 Honda Motor Co Ltd 物体検出装置及び方法
DE10343331A1 (de) * 2003-09-12 2005-04-07 Valeo Schalter Und Sensoren Gmbh Verfahren und Computerprogramm zum Erfassen der Kontur eines Hindernisses in der Umgebung eines Fahrzeugs
JP2005088656A (ja) * 2003-09-12 2005-04-07 Mitsubishi Fuso Truck & Bus Corp 傾斜センサ付き車両
JP4158664B2 (ja) * 2003-09-25 2008-10-01 三菱ふそうトラック・バス株式会社 車両用ヘッドランプの光軸制御装置
JP2005202922A (ja) * 2003-12-18 2005-07-28 Nissan Motor Co Ltd 運転支援装置及び運転支援プログラム
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
JP4280648B2 (ja) * 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
EP1711006B1 (en) * 2004-01-26 2018-12-12 NEC Corporation Video type judgment system, video processing system, video processing method, and video processing program
JP4293917B2 (ja) * 2004-01-26 2009-07-08 アルパイン株式会社 ナビゲーション装置及び交差点案内方法
DE102004005688A1 (de) * 2004-02-05 2005-08-25 Arvinmeritor Gmbh Einklemmschutzsystem für ein Fensterhebersystem in einem Kraftfahrzeug sowie Verfahren zur Steuerung eines Fensterhebersystems
DE102004005798A1 (de) * 2004-02-06 2005-09-01 Daimlerchrysler Ag Fahrzeug mit Infrarotbeleuchter
JP2005284410A (ja) * 2004-03-26 2005-10-13 Omron Corp 車両認識装置及び車両認識方法
DE102004015671A1 (de) * 2004-03-31 2005-10-27 Daimlerchrysler Ag Warn- und Informationssystem für ein Fahrzeug
EP1584901A1 (de) * 2004-04-08 2005-10-12 Wolfgang Dr. Sassin Vorrichtung zur dynamischen optischen, akustischen oder haptischen Darstellung der Umgebung eines Fahrzeuges
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP2005343431A (ja) * 2004-06-07 2005-12-15 Denso Corp 車両用情報処理システム
DE102004036580A1 (de) * 2004-07-28 2006-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektdetektion bei einem Fahrzeug
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
EP1814760A2 (en) * 2004-10-15 2007-08-08 Trico Products Corporation Of Tennessee Self-calibrating object detection system
US20060089759A1 (en) * 2004-10-22 2006-04-27 Honeywell International Inc. Systems and methods for performing high accurate distance measuring for radar altimeters
FR2877619B1 (fr) * 2004-11-05 2008-06-13 Tietronix Optics Soc Par Actio Systeme d'eclairage a rayonnement infrarouge pour vehicule automobile
JP2006160193A (ja) * 2004-12-10 2006-06-22 Alpine Electronics Inc 車両運転支援装置
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
CN1329745C (zh) * 2004-12-31 2007-08-01 南京大学 汽车车用安全距离检测及安全控制方法和装置
KR101115221B1 (ko) * 2005-01-07 2012-02-14 주식회사 현대오토넷 차량 근접 경고 시스템 및 방법
US20060167606A1 (en) * 2005-01-27 2006-07-27 Khaled Malhas Electronically controlled mirror system for vehicle blind spot exposure
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
ES2258399B1 (es) * 2005-02-04 2007-11-16 Fico Mirrors, S.A. Metodo y sistema para mejorar la supervision de un ambiente exterior de un vehiculo automovil.
JP2006234494A (ja) * 2005-02-23 2006-09-07 Aisin Seiki Co Ltd 物体認識装置
EP1717757A1 (de) * 2005-04-28 2006-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
DE102005036714A1 (de) * 2005-08-04 2007-02-08 Daimlerchrysler Ag Verfahren zur Unterstützung des Fahrers eines Fahrzeugs bei einem Spurwechsel und Fahrerassistenzsystem zur Durchführung des Verfahrens
DE602005017144D1 (de) * 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
JP4413835B2 (ja) * 2005-08-24 2010-02-10 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4726586B2 (ja) * 2005-09-20 2011-07-20 鈴木 旭 自動車用ドライブレコーダ
US20070088488A1 (en) * 2005-10-14 2007-04-19 Reeves Michael J Vehicle safety system
US7400236B2 (en) * 2005-10-21 2008-07-15 Gm Global Technology Operations, Inc. Vehicular lane monitoring system utilizing front and rear cameras
KR100696392B1 (ko) * 2005-12-07 2007-03-19 주식회사단해 차량 외곽 모니터링 시스템 및 그 방법
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US8194132B2 (en) 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
TWM298226U (en) * 2006-04-14 2006-09-21 Lite On Semiconductor Corp Encapsulation structure of optically movement detection
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
US20080079553A1 (en) * 2006-10-02 2008-04-03 Steven James Boice Turn signal integrated camera system
US7741962B2 (en) * 2006-10-09 2010-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Auditory display of vehicular environment
US8058977B2 (en) 2006-10-24 2011-11-15 Donnelly Corporation Exterior mirror having a display that can be viewed by a host driver or drivers of other vehicles
US20080129541A1 (en) * 2006-12-01 2008-06-05 Magna Electronics Black ice detection and warning system
WO2008079926A1 (en) * 2006-12-21 2008-07-03 Johnson Controls Technology Company Integrated vehicle warning system
KR100824019B1 (ko) * 2007-02-05 2008-04-21 주식회사 성보산업 차량용 후방감지장치 및 그 제어방법
KR100846576B1 (ko) * 2007-02-28 2008-07-16 (주)한비젼 열적외선 카메라를 장착한 자동차 사이드 미러
EP1988488A1 (en) 2007-05-03 2008-11-05 Sony Deutschland Gmbh Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
JP4748111B2 (ja) * 2007-05-31 2011-08-17 株式会社デンソー 障害物検出装置
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US20090033475A1 (en) * 2007-07-30 2009-02-05 Zbigniew Zuziak Bicycle Warning Device
CN101369351A (zh) * 2007-08-14 2009-02-18 深圳富泰宏精密工业有限公司 机动车行驶记录装置
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US8645001B2 (en) * 2007-09-04 2014-02-04 International Business Machines Corporation Method and system for blind spot identification and warning utilizing visual indicators
US20090102923A1 (en) * 2007-09-24 2009-04-23 Mason Edward L Truck security system
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
US8140225B2 (en) * 2008-03-03 2012-03-20 Ford Global Technologies, Llc System and method for classifying a target vehicle
EP2119617A1 (en) * 2008-05-12 2009-11-18 IVECO S.p.A. Vehicle driving aid system for lane changing assistance
EP2123514A1 (en) 2008-05-16 2009-11-25 Visiocorp Patents S.à.r.l. Light module for a vehicle mirror assembly and vehicle mirror assembly comprising a light module
US8081209B2 (en) * 2008-06-26 2011-12-20 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system of sparse code based object classification with sensor fusion
EP2329285A1 (en) * 2008-07-16 2011-06-08 Autotalks Ltd. Relative vehicular positioning using vehicular communications
US8489284B2 (en) * 2008-08-21 2013-07-16 International Business Machines Corporation Automated dynamic vehicle blind spot determination
US20100076683A1 (en) * 2008-09-25 2010-03-25 Tech-Cast Mfg Corp. Car and ship bling spot-free collision avoidance system
US20100079267A1 (en) * 2008-09-29 2010-04-01 Tsun-Huang Lin Automobile Anti-Collision Early-Warning Device
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE112008004159B4 (de) * 2008-12-09 2014-03-13 Toyota Jidosha Kabushiki Kaisha Objekterfassungsvorrichtung und Objekterfassungsverfahren
US20100169016A1 (en) * 2008-12-29 2010-07-01 Lakshmi Aroop Kodali Safe side-view system for the driver when over-taking the vehicle in the front on a single lane shared road
US8964032B2 (en) 2009-01-30 2015-02-24 Magna Electronics Inc. Rear illumination system
IT1393868B1 (it) * 2009-04-01 2012-05-11 Elsag Datamat Spa Sensore di prossimita' per area di parcheggio
DE102009016562A1 (de) 2009-04-06 2009-11-19 Daimler Ag Verfahren und Vorrichtung zur Objekterkennung
US8416300B2 (en) 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
US8174375B2 (en) 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
US9201143B2 (en) * 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
ES2538827T3 (es) 2009-09-01 2015-06-24 Magna Mirrors Of America, Inc. Sistema de formación de imágenes y de exhibición para un vehículo
DE102009041557A1 (de) * 2009-09-15 2010-06-17 Daimler Ag Fahrzeug mit aktiver Totwinkelbeleuchtung und Verfahren
US8731815B2 (en) * 2009-09-18 2014-05-20 Charles Arnold Cummings Holistic cybernetic vehicle control
US8004425B2 (en) * 2009-09-30 2011-08-23 Gentex Corporation Blind spot detection system and method using preexisting vehicular imaging devices
PT2306426E (pt) * 2009-10-01 2013-03-18 Kapsch Trafficcom Ag Dispositivo para detecção de veículos sobre uma superfície de circulação
WO2011077400A2 (en) 2009-12-22 2011-06-30 Leddartech Inc. Active 3d monitoring system for traffic detection
WO2011085489A1 (en) 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
DE102010018038B4 (de) * 2010-04-23 2023-08-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor der Anwesenheit von Objekten in einem Totwinkelbereich und entsprechende Fahrerassistenzeinrichtung
US9177477B2 (en) 2010-07-19 2015-11-03 Honda Motor Co., Ltd. Collision warning system using driver intention estimator
US8738319B2 (en) 2010-10-29 2014-05-27 Ford Global Technologies, Llc System and method for detecting a turning vehicle
WO2012068280A1 (en) 2010-11-16 2012-05-24 Echo-Sense Inc. Remote guidance system
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
US9378640B2 (en) 2011-06-17 2016-06-28 Leddartech Inc. System and method for traffic side detection and characterization
US8441394B2 (en) * 2011-07-11 2013-05-14 Delphi Technologies, Inc. System and method for detecting obstructions and misalignment of ground vehicle radar systems
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9491450B2 (en) 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
WO2013074604A2 (en) 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
WO2013086249A2 (en) 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9398227B2 (en) * 2012-01-05 2016-07-19 GM Global Technology Operations LLC System and method for estimating daytime visibility
GB2499579B (en) 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US10493916B2 (en) 2012-02-22 2019-12-03 Magna Electronics Inc. Vehicle camera system with image manipulation
CA2865733C (en) 2012-03-02 2023-09-26 Leddartech Inc. System and method for multipurpose traffic detection and characterization
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
US9180882B1 (en) * 2012-06-20 2015-11-10 Google Inc. Avoiding blind spots of other vehicles
US9139135B2 (en) * 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US8781171B2 (en) 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
DE102012222668A1 (de) * 2012-12-10 2014-06-12 Robert Bosch Gmbh Vorrichtung zur Fahrzeugumfeldüberwachung
US9367065B2 (en) * 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
TWI488764B (zh) * 2013-03-15 2015-06-21 Ind Tech Res Inst 鄰車動態駕駛資訊輔助系統
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013205167A1 (de) * 2013-03-22 2014-09-25 Robert Bosch Gmbh Störungsunterdrückung bei Tote-Winkel-Überwachung
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
US9696420B2 (en) * 2013-04-09 2017-07-04 Ford Global Technologies, Llc Active park assist object detection
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
EP3036132B1 (en) 2013-08-19 2019-02-27 Gentex Corporation Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
US9619720B2 (en) 2013-08-19 2017-04-11 Gentex Corporation Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
JP5901593B2 (ja) * 2013-09-11 2016-04-13 本田技研工業株式会社 車両用表示装置
EP3052341B1 (en) 2013-10-01 2021-12-01 Gentex Corporation System and method for controlling exterior vehicle lights on motorways
EP3068647B1 (en) 2013-11-15 2023-05-10 Gentex Corporation Imaging system including dynamic compensation for color attenuation for vehicle windscreens
US9489849B2 (en) * 2014-03-19 2016-11-08 Honda Motor Co., Ltd. System and method for monitoring road conditions using blind spot information
KR101592676B1 (ko) * 2014-03-20 2016-02-12 현대자동차주식회사 면 발광이 가능한 거울 및 이를 이용한 자동차용 사이드미러 시스템
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
WO2015166558A1 (ja) * 2014-04-30 2015-11-05 三菱電機株式会社 周辺監視装置、周辺監視システムおよび周辺監視方法
US9393901B2 (en) * 2014-07-21 2016-07-19 Kostal Of America Turn signal systems and methods
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
WO2016038536A1 (en) 2014-09-09 2016-03-17 Leddartech Inc. Discretization of detection zone
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
US10295658B2 (en) 2014-10-02 2019-05-21 The Johns Hopkins University Optical detection system
US9600080B2 (en) * 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9469248B2 (en) 2014-10-10 2016-10-18 Honda Motor Co., Ltd. System and method for providing situational awareness in a vehicle
DE112015005020T5 (de) * 2014-11-05 2017-07-27 Trw Automotive U.S. Llc Verbesserte objektdetektion unter verwendung von strukturiertem licht
US11518309B2 (en) 2014-12-12 2022-12-06 Serge Hoyda LLC System and process for viewing in blind spots
WO2016094801A1 (en) 2014-12-12 2016-06-16 Hoyda Serge B System and process for viewing in blind spots
US10125918B2 (en) 2014-12-12 2018-11-13 Serge B. HOYDA Mounting system for a camera
US10138672B2 (en) 2014-12-12 2018-11-27 Serge B. HOYDA Mounting system for a camera
US11124116B2 (en) 2014-12-12 2021-09-21 Serge B. HOYDA System and process for viewing in blind spots
CN110450701A (zh) * 2015-01-13 2019-11-15 麦克赛尔株式会社 车辆
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9994146B2 (en) 2015-01-28 2018-06-12 Itai Achiaz Blind spot indicator
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
US9851500B2 (en) * 2015-02-06 2017-12-26 Corning Incorporated Light-diffusing optical elements having cladding with scattering centers
KR101678089B1 (ko) * 2015-03-19 2016-11-23 현대자동차주식회사 차량 및 그 제어방법
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US20160368336A1 (en) 2015-06-19 2016-12-22 Paccar Inc Use of laser scanner for autonomous truck operation
EP3330135B1 (en) * 2015-07-29 2022-08-03 Kyocera Corporation Detection device, imaging device, vehicle, and detection method
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
US11228700B2 (en) 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
US20170124881A1 (en) * 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
US9620019B1 (en) * 2015-11-03 2017-04-11 Denso International America, Inc. Methods and systems for facilitating vehicle lane change
US9569963B1 (en) * 2015-12-03 2017-02-14 Denso International America, Inc. Systems and methods for informing driver of traffic regulations
US20170203691A1 (en) * 2016-01-20 2017-07-20 Yu-Chen Chou Vehicle of no blind spot
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US9896096B2 (en) * 2016-04-11 2018-02-20 David E. Newman Systems and methods for hazard mitigation
US9734744B1 (en) * 2016-04-27 2017-08-15 Joan Mercior Self-reacting message board
US10300859B2 (en) 2016-06-10 2019-05-28 Magna Electronics Inc. Multi-sensor interior mirror device with image adjustment
SE539981C2 (en) 2016-06-28 2018-02-20 Scania Cv Ab Method and control unit for a digital mirror
US11417204B2 (en) * 2016-07-15 2022-08-16 Harman International Industries, Incorporated Vehicle identification method and system
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US11067667B2 (en) 2016-09-08 2021-07-20 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
DE102016116963B4 (de) * 2016-09-09 2024-11-07 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Vorrichtung zum Warnen eines Fahrzeugführers eines Fahrzeugs vor einem Objekt sowie Fahrzeug mit einer solchen Vorrichtung
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
ES2600319B1 (es) * 2016-10-07 2017-09-05 Javier MONTOYA CAÑIZARES Sistema para ayuda en adelantamientos en carretera y método para dicho sistema
DE112016007448T5 (de) * 2016-11-17 2019-08-14 Mitsubishi Electric Corporation Fahrzeug-Innenvorrichtung, mobile Endgeräte-Vorrichtung, Erkennungsunterstützungssystem, Erkennungsunterstützungsverfahren und Erkennungsunterstützungsprogramm
DE102016122301A1 (de) * 2016-11-21 2018-05-24 Connaught Electronics Ltd. Überwachen eines Totwinkelbereichs eines Gespanns
US11385342B2 (en) * 2017-02-06 2022-07-12 Nec Corporation Object sensing apparatus, object sensing method, and computer readable recording medium
JP7103759B2 (ja) * 2017-06-16 2022-07-20 株式会社デンソーウェーブ 車両認識装置、車両認識システム、車両認識プログラム
US10705191B2 (en) * 2017-07-31 2020-07-07 Stmicroelectronics, Inc. Three-dimensional time-of-flight sensors for a transportation system
JP6816701B2 (ja) * 2017-10-26 2021-01-20 トヨタ自動車株式会社 ヘッドライト制御システム
KR102371616B1 (ko) * 2017-11-07 2022-03-07 현대자동차주식회사 차량의 센서 데이터 연계 장치 및 방법
DE102017223486A1 (de) * 2017-12-21 2019-06-27 Continental Teves Ag & Co. Ohg Verfahren und System zum Vermeiden von lateralen Kollisionen
US10884101B2 (en) * 2018-01-30 2021-01-05 Motorola Mobility Llc Crosstalk detection and compensation
FR3084189B1 (fr) * 2018-07-19 2021-07-30 Valeo Vision Detection de marquage au sol et obstacles pour vehicule autonome
US10793150B2 (en) * 2018-09-14 2020-10-06 Wipro Limited Method and device for controlling vehicle based on neighboring vehicles
US10300851B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Method for warning vehicle of risk of lane change and alarm device using the same
US11011063B2 (en) * 2018-11-16 2021-05-18 Toyota Motor North America, Inc. Distributed data collection and processing among vehicle convoy members
CN111204333B (zh) * 2018-11-22 2023-06-27 沃尔沃汽车公司 车辆前方盲点检测和警告系统
JP7135846B2 (ja) * 2018-12-27 2022-09-13 株式会社デンソー 物体検出装置および物体検出方法
US10698222B1 (en) * 2019-01-31 2020-06-30 StradVision, Inc. Method for monitoring blind spot of cycle using smart helmet for cycle rider and blind spot monitoring device using them
US11320535B2 (en) 2019-04-24 2022-05-03 Analog Devices, Inc. Optical system for determining interferer locus among two or more regions of a transmissive liquid crystal structure
US11396986B2 (en) 2019-05-23 2022-07-26 Valeo North America, Inc. Apparatus and method for masking residual visible light from an infrared emission source
US11124114B2 (en) 2019-09-30 2021-09-21 Ford Global Technologies, Llc Blind spot detection and alert
RU2769921C2 (ru) * 2019-11-21 2022-04-08 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
US11718296B2 (en) * 2019-12-09 2023-08-08 Bendix Commercial Vehicle Systems Llc Using shared traffic information to support adaptive cruise control (ACC) between platooning vehicles
TWI765208B (zh) * 2020-01-06 2022-05-21 為升電裝工業股份有限公司 具車速偵測功能的盲點偵測系統、偵測裝置及其測速方法
US11599117B2 (en) * 2020-02-20 2023-03-07 Steering Solutions Ip Holding Corporation Systems and methods for obstacle proximity detection
CN112519674B (zh) * 2020-12-11 2022-08-16 北京一数科技有限公司 一种车辆转弯安全警示系统
DE102022126231B3 (de) * 2022-10-10 2023-10-05 Daimler Truck AG Vorrichtung und Verfahren zum Betrieb eines Fahrzeugs
CN115460351B (zh) * 2022-10-25 2023-03-28 浙江华智新航科技有限公司 一种可消除监控死角的物联网安防设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE155896T1 (de) 1989-04-10 1997-08-15 Auto Sense Ltd Zusammenstossvorbeugungssystem für fahrzeuge
US5247296A (en) * 1989-07-05 1993-09-21 Messerschmitt-Bolkow-Blohm Gmbh Device for determination of distances between close-range objects
US5354983A (en) * 1990-04-10 1994-10-11 Auto-Sense, Limited Object detector utilizing a threshold detection distance and suppression means for detecting the presence of a motor vehicle
US5675326A (en) * 1990-04-11 1997-10-07 Auto-Sense, Ltd. Method of determining optimal detection beam locations using reflective feature mapping
US5463384A (en) * 1991-02-11 1995-10-31 Auto-Sense, Ltd. Collision avoidance system for vehicles
FR2684763B1 (fr) 1991-12-10 1995-02-17 Peugeot Dispostif integre de detection et d'identification d'obstacles embarque notamment a bord d'un vehicule automobile.
US5229975A (en) * 1992-06-03 1993-07-20 Dynatech Corporation Vehicle proximity sensor
DE4218599C2 (de) 1992-06-05 1996-06-27 Bodenseewerk Geraetetech Navigations- und Führungssystem für autonome, mobile Roboter
GB9313724D0 (en) 1993-07-02 1993-08-18 Gec Ferranti Defence Syst Road vehicle cruise control system
GB2308256B (en) 1995-05-02 2000-02-09 Tokimec Inc An apparatus for measuring a shape of road surface
US6343810B1 (en) 1994-05-23 2002-02-05 Automotive Technologies International Inc. Side impact airbag system with anticipatory sensor
GB2289786B (en) 1994-05-23 1998-09-16 Automotive Tech Int Side impact airbag system with anticipatory sensor
US5644386A (en) 1995-01-11 1997-07-01 Loral Vought Systems Corp. Visual recognition system for LADAR sensors
DE19507957C1 (de) * 1995-03-07 1996-09-12 Daimler Benz Ag Fahrzeug mit optischer Abtasteinrichtung für einen seitlichen Fahrbahnbereich
JP3745472B2 (ja) 1996-11-18 2006-02-15 三菱電機株式会社 自走車、自律誘導装置、および自動搬送装置
US6429789B1 (en) * 1999-08-09 2002-08-06 Ford Global Technologies, Inc. Vehicle information acquisition and display assembly

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521727A (ja) * 2012-06-14 2015-07-30 株式会社ニコン 測定アセンブリ、表面上の特徴を測定する方法、構造を製造する方法、及びポインター
JP2017191617A (ja) * 2013-04-10 2017-10-19 グーグル インコーポレイテッド 自律運転のための作業中及び非作業中の工事区域のマップ作成
US10317906B2 (en) 2013-04-10 2019-06-11 Waymo Llc Mapping active and inactive construction zones for autonomous driving
US11287823B2 (en) 2013-04-10 2022-03-29 Waymo Llc Mapping active and inactive construction zones for autonomous driving
KR101342124B1 (ko) 2013-10-18 2013-12-19 주식회사 지티 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
JP2015081877A (ja) * 2013-10-24 2015-04-27 日立建機株式会社 後退支援装置
KR101964100B1 (ko) * 2017-10-23 2019-04-01 국민대학교산학협력단 신경망 학습 기반의 객체 검출 장치 및 방법
US20230095698A1 (en) * 2021-09-27 2023-03-30 Robert Bosch Gmbh Method for radar-based monitoring of a rearward area

Also Published As

Publication number Publication date
GB2369737A (en) 2002-06-05
WO2001085491A1 (en) 2001-11-15
GB0200235D0 (en) 2002-02-20
AU2001259640A1 (en) 2001-11-20
US7049945B2 (en) 2006-05-23
US20020005778A1 (en) 2002-01-17
GB2369737B (en) 2005-02-02

Similar Documents

Publication Publication Date Title
JP2003532959A (ja) 車両の死角識別及びモニタリング・システム
US7359782B2 (en) Vehicular impact reactive system and method
US7630806B2 (en) System and method for detecting and protecting pedestrians
US7783403B2 (en) System and method for preventing vehicular accidents
US8880296B2 (en) Techniques for improving safe operation of a vehicle
US7852462B2 (en) Vehicular component control methods based on blind spot monitoring
US7209221B2 (en) Method for obtaining and displaying information about objects in a vehicular blind spot
US6393133B1 (en) Method and system for controlling a vehicular system based on occupancy of the vehicle
US6442465B2 (en) Vehicular component control systems and methods
US6856873B2 (en) Vehicular monitoring systems using image processing
US6772057B2 (en) Vehicular monitoring systems using image processing
US6553296B2 (en) Vehicular occupant detection arrangements
US5835613A (en) Optical identification and monitoring system using pattern recognition for use with vehicles
US8538636B2 (en) System and method for controlling vehicle headlights
US6324453B1 (en) Methods for determining the identification and position of and monitoring objects in a vehicle
US6141432A (en) Optical identification
US6507779B2 (en) Vehicle rear seat monitor
US7983817B2 (en) Method and arrangement for obtaining information about vehicle occupants
US7655895B2 (en) Vehicle-mounted monitoring arrangement and method using light-regulation
US7831358B2 (en) Arrangement and method for obtaining information using phase difference of modulated illumination
US6885968B2 (en) Vehicular exterior identification and monitoring system-agricultural product distribution
JPH1143009A (ja) パターン認識を利用した車両用光学式確認および監視システム