JP2005535220A - 車両搭載用ナイトビジョン画像処理システム及びその方法 - Google Patents

車両搭載用ナイトビジョン画像処理システム及びその方法 Download PDF

Info

Publication number
JP2005535220A
JP2005535220A JP2004525727A JP2004525727A JP2005535220A JP 2005535220 A JP2005535220 A JP 2005535220A JP 2004525727 A JP2004525727 A JP 2004525727A JP 2004525727 A JP2004525727 A JP 2004525727A JP 2005535220 A JP2005535220 A JP 2005535220A
Authority
JP
Japan
Prior art keywords
vehicle
image processing
pulse
light
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004525727A
Other languages
English (en)
Other versions
JP4498135B2 (ja
Inventor
デービッド,オフェル
ボレンシュタイン,イェフダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Publication of JP2005535220A publication Critical patent/JP2005535220A/ja
Application granted granted Critical
Publication of JP4498135B2 publication Critical patent/JP4498135B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/489Gain of receiver varied automatically during pulse-recurrence period
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495Counter-measures or counter-counter-measures using electronic or electro-optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G02B2027/012Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility comprising devices for attenuating parasitic image effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

視界の悪い環境で物体を選択的に画像化することを可能とする車両搭載用画像処理システム、及び、車両搭載用画像処理方法。本システムは、不可視光パルスを供給する光源と、選択された受信画像をゲート制御することを可能とする画像増倍管を有するカメラとを備える。前記光源には、画像化される領域の幅に関連したパルス幅を発生させ得るレーザージェネレータが採用され得る。前記ゲート制御用画像増倍管は、前記画像化される領域の幅に従ってゲート制御期間を決定し得る。

Description

本発明は、暗視画像処理及びその表示システム一般の分野に関し、特に、車両での使用に適した画像化及びその表示システム並びにかかるシステムで実行される操作方法に関する。
夜間あるいは低視界状態で車両を運転する場合、車両のヘッドライト及び/又は、周辺の道路照明から発生する不十分な照明によって、たいてい、ドライバーの視界範囲は制限される。運転時、ドライバーは、遠方から危険物を識別し、それに対して反応するために、十分な視界範囲を必要とする。注意深いドライバーが、危険を回避するために必要とする視界範囲は、経験から予想されるものかもしれない。
通常、必要とされる範囲は、走行スピードに人間と車両の反応時間を合わせた時間を乗算することによって計算される。この時間は、高速道路走行時では、オフロード走行時の倍以上に増え、6秒から10秒で変動するかもしれない(列車、ボート、又はエアクラフトでは10倍になる。)。例えば、120km/h(すなわち、33m/sec)のスピードで走っているドライバーには、約200〜333メートルの視界範囲が必要である。
しかし、車両の点灯システムは、ヘッドランプがハイビームライト状態にセットされている時でも、一般に、約200メートル、すなわち、120km/hのスピードで運転時の約6秒を越える距離を照明することはない。しかしながら、ハイビームライトあるいは代わりの高出力ライトの使用は、習慣的あるいは連続運転で許容されると、他のドライバーに眩しさを与えてしまう(”目くらまし”)ということを留意しなければならない。
ヘッドライトが、ロービーム状態にセットされる時には、照明距離は、一般に、100メートル、すなわち、120km/hのスピードで運転するとほんの3秒程度を越えないので、状況はより悪くなる。
視界が50メートルまで低下し、停止時間が15秒から20秒となる、ほこりっぽい環境であるオフロード上を運転中に、あるいは、50メートルの視界であり、反応時間は30秒から60秒となる霧で包まれた港内をボートで帆走するする場合には、最も状況が悪くなる。
これは、不十分な視界範囲の条件の下、あるいは、少なくとも要求される安全な視界範囲のボーダーライン上でドライバーが現在運転していて、それゆえ、彼ら自身と他の者を危険にさらしていることを意味している。車両のヘッドライトの照明範囲を増加させるという簡単な改良では、他のドライバーの目眩ましが避けられるべきであることや技術的な制限のため、適切な解決策とならない。
かかる実情をもって、自然な結果として、航空宇宙/軍隊に適用される暗視画像化機器分野における開発によって、ドライバーの視界範囲を増大できる車両の暗視画像化システムの導入及び統合についてのアイデアが生じた。さらに、不十分な視界の下、監視システムから受け取った画像を表示するための表示システムが改善された。その顕著な例は、HUD(ヘッドアップディスプレイ)やLCD(液晶ディスプレイ)システムである。
車両に搭載され、操作される一技術として赤外線画像技術がある。検出器アレイは、赤外線の放射を感知して、車体(bodies)より放出された熱エネルギーを吸収し、吸収熱の放出に従ってビデオ画像を作成する。
熱赤外線画像技術の一例が、「暗視向上するヘッドアップディスプレイ」というタイトルで、米国特許第5414439号において説明されている。この特許文献では、赤外線画像を用いて道路状態を監視するために車両に赤外線カメラを導入することが記載されている。
前記カメラは、ビデオ信号をHUDシステムに送信し、該HUDシステムは、オペレータの前方に位置する車両のフロントガラス(あるいは、その他の光学的な結像手段)に当該画像を表示する。
前記米国特許第5414439号において説明されるシステムは、熱カメラに基づいている。該熱カメラは、灰色及びその色合いの違いを感知するための解決策を提供しない(熱カメラは、熱の区別と放射率だけを表示する。)。前記システムは熱を感知するものであり、それゆえ、仮に道路のバックグラウンド温度と等しいならば、要素温度を検出しない。換言すれば、前記システムは、ドライバーに標識や道標を認識すること等について何の手助けも提供しない。そして、車両の反射板など道路マークにおいて適用される反射色の広い使用では熱カメラは活用されない。さらに、熱カメラは可視光を表示しない(リモート赤外線範囲で動作する。)。
加えて、前記システムは、リモート赤外線波長(8mm〜14mm)で作動するIR検出器アレイに基づくため、車両のウィンドウは遠隔IR波長のエネルギーを伝えないので、車両のドライバーコンパートメントの中のシステムをインストールすることは可能でないかもしれない。
その結果、ドライバーの視界を増大させるため、車両への架設を考えると、赤外線画像化技術は、明らかに不利である。前記システムは、様々な運転状態で感知しやすいので「低温度」な道路標識のクリアな視野を与えることができず面倒であり、また、比較的高価である。
車両において明らかに統合され、吸収された別の技術として、画像増倍技術がある。該技術では、5万〜10万倍の入力で入手可能な光子が強まり、非常に暗い環境でさえ観察を可能にする。しかし、増倍技術は「ブルーミング」の問題を有する。
画像増倍管は、可視及び近赤外線波長の光子を感知する。その結果、画像増倍管は、視野に入ってくる可視の波長及び近赤外線の光源によってブルーミングされる可能性がある。
従って、ドライバーの視界範囲を増大させるため、車両への設置に関して、この技術もまた不利な点が示される。道路上を移動する車両は、当然、街灯だけでなく接近光、前方からの光及び通過光に遭遇する。これらの光源は、可視及び近赤外線スペクトルのライトを放出する。これらの光源は、増倍管を飽和させ、提供画像をブルームミングさせる。
夜間の画像処理のために使われる別の画像処理技術はゲート制御された画像処理技術である。
暗視画像処理システムとターゲットとの間の空間内で干渉する影響を減らすために、ゲート制御された画像処理が使用され、照明したターゲットから反射されたエネルギーは、指定された時間間隔だけ吸収される。このように、実際には、照射したターゲットからの反射エネルギーがそれに達する時にだけ、表示画像は画像受信機の入力によって影響される(カバー後に、光速で、ターゲットからの画像受信機までの距離)。照明ビームがターゲットまでの距離を進む間、及びターゲットやその隣接環境からの反射エネルギー(ビーム)がターゲットから画像受信機までの距離を進む間、画像受信機はOFFに切り替えられる。
ドライバーの視界を増大させることを狙って、車両設備への適用のため、光源を追加することは明らかに不都合である。例えば、そのような技術は、放射線の安全性(例えば、MPE標準の要件を満たす等)が要求されるシステムであるとの心配をさせる可能性がある。そして、追加した光源ソースは目について安全なレベルである必要がある。
夜間の運転では、拡張された観測範囲(例えば、最大500メートル前方まで)をドライバーに提供するシステムを実装することによってドライバーの視界範囲の増加を必要とする。そのようなシステムは、可視及び近IR波長の光源(例えば、他の車両のヘッドライト、沿道のライト、他の使用中のナイトビジョンシステム等)が飽和した環境で動作することが要求される。
本発明の実施形態によると、低視界状況での画像処理だけでなく夜間の画像処理も可能にする車両搭載用画像処理システムが提供される。前記システムは、例えば、車、トラック、オフロードの重機器や、さらにボート、列車及び航空機(以下、車両)等といった多種多様な車両のタイプでの実装に適する。
かかるシステムは、その環境からのブルーミングの問題を克服する可能性がある。自己のブルーミング、他の車両に設置された類似のシステムからのブルーミングそして、要求される目の安全性を満たす可能性がある。
前記システムより生成された道路画像を監視するドライバーは、車両のヘッドランプによってドライバーに提供される視界範囲に比べて、高品質な画像及び格段に拡大された視界範囲によって、利益を得る可能性がある。
本発明の一実施形態によれば、例えば、車両の前方の状況を照らすために不可視スペクトル(例えば、レーザー光源)の光源を含むことのできる車両搭載用ナイトビジョンシステムが提供される。
また、前記ナイトビジョンシステムは、ゲート制御する画像のために改造したカメラ(例えば、ゲート制御される画像増倍管を有するカメラ)も含ませることができる。前記カメラは、光源によって照射された情景からの反射光のエネルギーを吸収してもよい。
また、前記システムは、前記カメラに吸収された反射光によって生成された画像を表示するための表示装置を含んでもよい。
本発明の他の実施形態によれば、前記システムは、照射領域の遠端奥からの反射光のエネルギーを吸収するシステム能力を最大化することによって(RoからRmaxまで)、そして、照射領域の近端奥からの反射光のエネルギーを吸収するシステム能力を最小化することによって(RminからRoまで)、システム感度/プログラマブルゲイン(TPG)の最適化を提供する。
さらに、本発明の他の実施形態によれば、不可視スペクトルの光源が、照明領域の深さに関連したパルス幅を持つレーザージェネレータである。
さらに、本発明の別の実施形態によれば、前記カメラが、「オン」に切り替えられる(照明したターゲットからの反射光を吸収する)タイムスパンは、照明領域の深さに従って決定される。照明される領域の深さは、反射光が吸収され得る選択範囲(RminからRmaxまで)で判断してよい。
ゲート制御用画像増倍管(TII)のオープン時間は、例えば、所望の照明領域の深さに2を乗じ、それを光速(C)で割ることによって、算出されるようにしてもよい。画像増倍管が「オン」に切り替わる時間は、レーザーがオフ(Toff)された後に所望の増幅されない反射光(Rmin)からの最小探知距離に2を乗じて、そして光速(C)で割ることによって算出され得る。
本発明の一実施形態によれば、レーザージェネレータは、連続したより狭いパルスを供給する。さらに、広いパルス幅によって達成されるのと同様にして、ゲート制御される画像処理技術の実行を通して、同じ特性を与える。
いくつかの実施形態によれば、本発明は、ゲート制御される画像処理に基づくナイトビジョン画像処理システムの性能を改良する方法を含んでいる。この改良は、当該システムからの適切な目標範囲の一機能として増倍能力を提供することで達成され、その結果、「不適切な」反射光に起因するブラインド問題を克服している。
本発明の実施形態によれば、当該システムからの適切な目標範囲の一機能として増倍能力を提供することは、ある形状のパルス、換言すれば、当該システムの光源からのパターン化されたパルスを生成することで達成される。
本発明の実施形態によれば、当該システムからの適切な目標範囲の一機能として増倍能力を提供することは、動的変化によって達成される。該動的変化は、当該システムによって取得された単一のビデオ画像フレームのレベル上で実行される。動的変化は、例えば、画像増倍管のオープン時間及び/又はレーザーパルス幅などである。
本発明の他の実施形態によれば、当該システムからの適切な目標範囲の一機能として増倍能力を提供することは、(単一のビデオ画像フレームのレベル上で)露出数のコントロールやレーザー/増倍タイミングのコントロール、及び/又は当該画像を処理することで達成される。
いくつかの実施形態によると、本発明は、通過する車両に設けられた類似するシステムからのブルーミングを克服する方法を具現化する。これは、統計的手法の適用及び/又はそのシステムに実装された同期技術によって達成される。
いくつかの実施形態によると、本発明は、車両の巡航速度と共に、当該システムの光源から放射されるビームの強度を調整することで、放射線の安全要求を満たす方法を含んでいる。
いくつかの実施形態によると、空間的な光変調器(例えば、MMS、LCD、Suspended Particles等)によって実施される画像増倍管(例えば、CMOS/CCDカメラを介して、光源波長に適合した狭帯域通過フィルタ)によって、本発明はブルーミングを克服する方法を含んでいる。
他の実施形態では、本発明は、光の偏向を利用することでブルーミングを克服する方法を提供する。
図1は、車両20に搭載された本発明の一実施形態に係る暗視画像処理システム10の概略構成を示す図である。
前記車両は、道路用の車両であってもよいし、オフロード車両あるいは他のいかなる環境において走行するための車両であってもよい。システム10は、例えば、近IR波長30のような不可視波長である望ましい光源を備えている。前記システムは、光源からの反射光(例えば、IR波長)を画像化するカメラ40を備える。例えば、カメラ40は、CMOSカメラであってもよいし、CCD画像処理システム等であってもよい。
システム10は、ビデオカメラ40又はその他のシステムコンポーネントをコントロールするコントロール装置60を備えている。カメラ40は、画像をゲート制御するために適用され得る。また、ビデオカメラ40が受信した画像を表示する表示装置50が提供されている。
不可視波長である光源30(例えば、近IR波長である)は、選択したエリア、例えば、車両20の前方(例えば、範囲65によって示されるエリア)を照射する。レーザーとして、例えば、狭帯域光源を使用することが可能である。その他には、ダイオードアレイ、LEDアレイのような広帯域光源あるいは可視光を与える光源であっても使用可能である。光源30は、図示の如く、車両内部に配置することができるし、車両20の外でも配置できる。代わりに、光源30は、選択範囲又はターゲットに対して光源の移動が可能となるように(例えば、1又は複数の光ファイバ(図示せず)によって)、いかなる場所に配置させてもよい。
カメラ40は、前記光源から発生するIRエネルギー(例えば、当該システムで不可視光源が使用されたとすると)の反射光を受光し、視野(FOV)において吸収した反射光子をビデオ画像に変える。カメラ40としては、例えば、画像増倍管の有無を問わず、CCD/CMOSビデオカメラが使用可能である。カメラ40は、例えば、当該カメラが、表示装置50と直接接続されている場合では、画像増倍管を含んでいてもよい(後述する図3を参照)。
表示装置50は、例えば、ドライバーの目若しくは視界の前で、ビデオカメラ40の受信画像を表示するヘッドアップディスプレイ(HUD)を具備、あるいはHUDで構成されていてもよい。これにより、ドライバーは、自身の頭を動かさずに、眼前の道路及び暗視画像処理表示を同時に見ることが可能になる。これとは別に、より下位の表示として、例えば、車のダッシュボードの横、又はその他の好適な位置に備え付けたLCD表示ユニット等の表示装置50を適用することも可能である。
表示装置50に対する信号の伝達は、様々な方法で実行できる。例えば、表示装置50とアナログ又はデジタルビデオ信号でやり取りすることもできるし、あるいは、ビデオカメラ40と表示装置50とを直接接続することもできる。さらに、ドライバーの警戒性又は送信データの明確さあるいは有効性を向上させるために、理論上の視界において、ターゲットを描いた象徴的なアイコンが、表示画像あるいは写真に組み込まれていてもよい。例えば、表示画像に追加されるアイコンには、木、障害物、サインポスト、歩行者等が含まれる。
図2〜4を参照して、本発明の一実施形態に係るナイトビジョン画像処理システム10の車両20内の様々な実装構成について説明する。
車両20は、道路走行用車両やオフロード車両、又は、その他の環境で走行するための車両(例えば、港内のボート、線路に沿って走行する列車、あるいは滑走路に進入あるいは滑走路上で走行する航空機等)が想定される。図2〜4は、図1を参照して説明したシステム10と関連するため、同一符号を使用する。
図2は、HUD構成である表示装置50の構成を示す図である。HUDは、例えば、車両ウィンドウ60の低い区域に実装される。
光源30は、例えば、車のルームミラー70横の車両内側上部の部分に設置される。 ビデオカメラ40は、例えば、車両の上側部分(光源30の横)に設置される。
尚、光源30が、車両の他のいかなる場所(例えば、ヘッドランプ内、グリル内、サイドミラー内、その他の好適な場所)に設置してもよいことは、当業者であれば理解できるであろう。
このように、光源が隠れた場所にパッケージされる場合には、光は、光ファイバによって、例えば、光線が出て行く車両前方へ伝達される。
システム10のインストルメントクラスタ80は、車両の計器パネル後ろのドローンサンプル内に設置される。他の構成では、車、トラック等の後方監視システム(バック時に動作する)の一部としてシステム10が実装され得る。また、車両のサイドミラー内に、あるいはその代替としてパッキングされてもよい。
図3は、表示装置50がHUD構成内にあるシステム10の他の構成を示す図である。
この仕様の構成では、表示装置50は、車両のフロントウィンドウのセンター部分に設置される(したがって、乗客は当該システムを使用するドライバーの傍らに座ることが可能である。)。
表示装置50に近接して取り付けられるカメラに組み込まれる画像増倍管45は、表示装置50に機能的に接続する。あるいは、画像増倍管45は、表示装置50に組み込まれていてもよい。このような構成は、アセンブリ40の一部として、CCD/CMOSカメラの必要性を除去できる。
本構成は、例えば、フラット光学技術に基づくホログラフィックを適用可能である。かかる技術は、例えば、国際公開第9952002号パンフレットに記載されている。そして、画像増幅管45からHUD50への画像の送信をCCD/CMOSカメラを必要とせず可能とする。
現在の構成では、画像増倍管45は、ホログラムを使用することでフラット光学に直接的にリンクし、例えば、選択した場所(例えば、ドライバーの視界の前等)に画像を送る。さらに、LCD表示装置が、画像増倍管45からの受信画像の表示のために使用され得る。
図3Aは、フラット光学構成に基づく前述のホログラフィックの光学図の例を示している。
画像増倍管45は、車両の前方部のいかなる場所に設置可能である。また、この構成において、光源30は、例えば、車両の内側上部、ルームミラー70の近くに設置可能である。
同様に、かかる構成に関して、当業者であれば、光源30が、車両内又は車両上のその他の好適ないかなる場所(例えば、ヘッドランプ内、グリル内、サイドミラー内、その他の好適な場所)に設置されてもよいこと、及び、光が、光ファイバによって、光線が出て行く車両の前方に導かれることを理解できるであろう。
図4は、表示装置50が、HUDタイプである構成を示している。
この構成では、表示装置50は、画像増倍管45の出口からの選別した画像を車両ウィンドウ60又は映写面90に直接使用する。これは、例えば、反射型光学アセンブリ95又はプロジェクションオプティックによって、車両ウィンドウ60又は映写面90の方向に転換させることで実現する。
図5〜7は、本発明のいくつかの実施形態において、他のドライバーの「ブラインド」を回避するための様々な構成及び方法を示している。図5〜7は、図1を参照して説明したシステム10と関連するため、同一符号を使用する。
車両の使用のため、近IR波長でのナイトビジョン画像処理システムの実現には、自己のブラインドや他の車両に実装された類似のナイトビジョンシステムからのブラインド等によるブルーミングの問題を克服することが必要とされる。ブラインド現象に対する以下の記載によって、そのような問題を克服するための技術の理解を容易にするであろう。
IR波長用のカメラ40(図1〜4参照)は、システムの視野において、例えば、車両のヘッドライト(システム10が実装されている車両20のヘッドライトを含む)、街灯といった光源の存在のために、飽和状態になる。カメラの飽和は、暗視画像処理システムの目を眩ませる。これらの光源は、可視スペクトルだけでなく飽和及びブラインドの原因となる不可視波長のエネルギーを放射する。従って、例えば、車両のフロントヘッドライトとして一般的に使用されるハロゲン電球は、ほとんどIR波長の光を放出する。
図5は、フロントヘッドライトのスペクトル放射カーブの一例を示す図であり、X軸は、ヘッドランプ放出波長を示し、Y軸は、放射強度を示している。
図6は、本発明に係るシステム10が実装された車両20が、近IR波長のエネルギーを放出する付加的な光源があるレーン110を走行しているというシナリオを示す図である。
この図の例において、車両20の前方を走行中の車両120のテールランプ及び車両20とすれ違おうとしている車両130のフロントヘッドライトが、付加的な光源を与えている。車両20とブラインドとなる車両120及び130との間には、ナイトビジョンシステム10が検出及び画像化するために狙っている、サイズが同一である2つのオブジェクト140及び150が存在している。
また、図6では、オブジェクト140と車両20間の距離が、オブジェクト150と車両20間の距離よりも短くなった瞬間が図示されている。従って、本発明の主題である所定技術の実装をしない通常の状況では、オブジェクト140からシステム10に対して反射された放射強度は、オブジェクト150からシステム10に対して反射された放射強度より大きくなるであろう。これは、入力レンズが、光源30により近いオブジェクト(この場合では、反射体140)からの光をより多く集光するからである。
以下に、様々なオブジェットから発せられる光量の算出例を示す。
Figure 2005535220
図7は、図6に示したものと類似するシーンを示している。車両20に実装された暗視画像処理システム10と同一の暗視画像処理システム10(‘10)が、車両130に同様に実装されていると仮定すると、接近車両から放射された光線が、もう一方の車両のカメラ40(図1参照)を露光する。その逆も同様である。
放射エネルギーの強度が、周囲からの反射エネルギーよりも何倍も高いため、車両10及び130に実装されたシステム10及び‘10の一部であるそれぞれのカメラ40(図1参照)が飽和することになる。飽和したカメラは周囲からの反射光を識別できなくなる。また、カメラ40の類似の現象は、車両120のテールランプによって、引き起こされる。また、システム10とは異なるが、同一又は類似の波長の光線を放射するシステムが車両130に実装されると、ブラインド問題は発生するであろう。
図8を参照し、本発明に係るナイトビジョン画像処理システム210の実施形態を説明する。
当該システムは、レーザージェネレータ220(例えば、ダイオードレーザー)などの光源と、例えば、ゲート制御能力を有する画像増倍管230を含んでいるカメラ(例えば、ゲート制御用ICCD/ICMOS)と、狭帯域フィルタ245の入口に実装される光増倍管230及び、レーザージェネレータ220のコントロールと画像増倍管230のスイッチングを行うコントローラ240とを含んでいる。
また、任意として、システム210は、間接照明のレベルを決定するため(例えば、昼/夜を確認するため)に可視波長で作動する光センサ250と、システムの監視領域で作動する類似のナイトビジョンシステムの存在を検出するためのパルス検出器260と、車両のコンピュータのデータチャネルとなるインタフェース270及び画像処理ユニット280を備える。
画像処理ユニット280は、システムの表示機構50(図示せず。図1〜4参照。アセンブリ50)に送信されるビデオ信号を生成する、全体のシステムは、パワーサプライユニット290から電力を受ける。パワーサプライユニット290は、例えば、車両から電力を受け、入力電圧レベルを、上述したシステムで要求される電圧レベルに変換する。
レーザージェネレータ220は、近IR波長の光源として働く。前記レーザーは、走行中に観察が要求される車両前方のエリアを照明する。近IR波長での照明は、生成された画像が可視領域で達成されるレベルと略等しい高いコントラストレベルを有し、道路標識を読み取り可能とする。レーザー光線は、車の後部反射器だけでなく道路(車線ライン、停止ラインなど)及び標識上の逆反射性のペイントを強調する。それは、全ての可視される車及び道路の光を示す。
本発明の一実施形態に係るナイトビジョン画像処理システムを最大効率に近づけるため、レーザージェネレータ220によって生成されるレーザーのパルス幅は、ドライバーの要求する可視範囲の一関数として算出されるべきである(図11に関する計算例を参照)。
ゲート制御能力を有する画像増倍管230は、暗い環境で受信し、吸収した光を増倍することができる。画像増倍管230は、速いスイッチングを可能にする。
コントローラ240は、レーザージェネレータ220及び画像増倍管230をコントロールする。前記コントローラの機能は、レーザージェネレータ220の動作と画像増倍管230の動作との同期化を可能にし得る。また、コントローラ240は、レーザーパルスの様々なパラメータのコントロールを可能にする。例えば、パルススタートのコントロール、パルス幅(パルス長)のコントロールやパルスモードなど(例えば、周波数や立ち上がり及び/又は立ち下がりエッジ、パルス形あるいはパルスパターンなど)。
また、以下に記載の如く、コントローラ240は、ブラインドを除去する技術に基づき、画像増倍管230の速い開閉を可能にする。
コントローラ240は、可視スペクトルである光センサ250からの指示を受け取ることができる。コントローラ240は、1又は複数のセンサ(例えば、フォトセンサ等)と関連付けられる。センサ250は、オペレーティングシステム210に対して周辺照明のレベルに対応する指示を提供する(例えば、昼/夜の特定)。
結果、センサ250が夜と特定すると、同様にそのエリアを暗視画像処理システムで検出するために、当該センサ(あるいは、パルス検出器260等の付加センサ)を使用し続けることが可能になる。
以下のブルーミング防止技術に関する説明のように、使用中のシステムの検出は、同期化する目的のため及び相互のブラインドを除去するために厳しくすることができる。
コントローラ240は、車両のデータチャネルから走行スピードやハンドルの傾き等の情報を含むデータを受信する。このデータは、安全性のリスクを回避するためのレーザーパルスのレベルを決定するために使用することができる(安全技術に関連して以下で説明されるように)。
従って、提供される画像処理ユニット280が、画像処理技術によって、システム10による画像の品質やブルーミングの問題を克服することを可能にしている。ゲート制御能力を有する画像増倍管230は、例えば、ゲート制御用ICCD/ICMOSカメラである。CCD/CMOSカメラから来るビデオ信号は、 以下で説明するように、画像品質の補正やブルーミングの除去が実行される画像処理ユニット280に到達する。画像処理後、画像処理ユニット280は、表示するため、アナログあるいはデジタルビデオ信号(例えば、RS170)を出力する。
狭帯域通過フィルタ245は、増倍管230への光の伝達を選択的に可能にする。その伝達は、反射光が、レーザー220の波長にほぼ一致した時にのみ行われる。当該システムは、レーザー220によって放射された波長のみ伝達するか、あるいは少なくとも、レーザーパルスからの反射光のエネルギーが、周囲の光源から生じる源から増倍管230に接近するエネルギーよりも十分高いと保証される場合のみ伝達する。
レーザー220の中心波長を除く全ての波長のフィルタリングでは、そのような周辺照明(CW源あるいはACランプ、車両のヘッドランプ、街灯などからくる)の影響を低減できる。従って、狭帯域フィルタ245を組み込んでいると、ブルーミングに対するシステム210の抵抗性が、改善される可能性がある。
しかしながら、狭帯域通過フィルタ245によって周辺光の影響を低減することは、その中心波長がレーザー220の波長であると、十分でないといえる。このような場合、以下の如く、本発明に係るナイトビジョン画像処理システムの別の実施形態では、ブルーミングに対するシステムの抵抗性を改良するための追加技術を適用している。
図5〜7に関し、上記にて明らかにしたように、車両用のナイトビジョン画像処理システムは、反射光を増倍することを可能にし、近くの反射光からのブラインドのリスクを減らし、従って、システム10のダイナミック・レンジを増加させる。ナイトビジョン画像処理システムの性能は、機能範囲として、可変感度を作成することによって改善できる。このように、遠い光源からの反射光とは対照的に、近くの光源から入ってくる反射光に対して強度を低くしたり、あるいは感度を低くしたりすることで達成できる。
図9〜25参照して、本発明に係る暗視画像処理システムが扱う、増倍能力の追加によるブラインド問題を克服するための技術を説明する。その技術は、例えば、図8に関して説明した本発明の実施形態に関連する。したがって、同一符号を使用する。
図9は、範囲と感度あるいは時間のプログラマブルゲイン(TPG)との関係を示すグラフであり、範囲が増加すると、感度も上がることが示されている。
図10は、車両のナイトビジョンシステムの好ましい感度グラフの一例を示す図である。
例えば、高速(例えば、120km/h)で走行する車両についてのナイトビジョン画像処理システムの妥当な要件は、車両から300メートルの範囲での人影の検出である。さらに、車両の検出は、好ましくは当該システムから約450メートルの範囲で検出されるべきである。
車両から画像増倍管230(図8参照)に到達する反射光のレベルは、いかなる場合でも、人影からの反射光より十分強力である。なぜならば、照射されたエリアは、サイズや反射率で異なるし、車両には、検出を可能にする光源(例えば、ヘッドライトあるいはテールランプ)があると想定されるからである。
これは、長距離で車両を検出するために高い強度を必要としないことを示している。これらの状況の下、図10のグラフは、300メートルの範囲で、感度機能が上昇していることを示している。そして、300メートルを超えると、約450メートルの距離まで徐々に下降する。したがって、当該システムは、これらの反射光が約450メートルまでの範囲内にある時のみ、その光パルス(例えば、レーザーパルス)からの反射光を受ける。同時に、システムは、長距離の光源からの放射エネルギーの入力に依存する(たとえば、CWヘッドランプ、より長い距離で、車両から放射されるあらゆるもの)。また、照射光(例えば、レーザー照明)の自然な散乱は、遠方において感度を低減させる。
以上のグラフの機能範囲として、感度は、いくつかの技術の適用によってシステム10により入手可能である(個々または可能な結合において)。
図11を参照すると、レーザーパルスの幅と画像増倍管のオープン時間との間のタイミングという感度を得るための一技術が示されのが理解できる。各特定の範囲間において、画像増倍管のオープン時間とレーザー照射時間との間で異なるオーバーラッピング時間が得られている。
前記例では、逆自乗の法則及び大気状況による反射された放射線/光の減衰は無視している。前記例では、光源は、レーザーパルスを供給するレーザージェネレエータである。レーザーパルス幅(Tレーザー)は、領域の深さに従って決められる。具体的には、要求される反射光の最小レベル(Ro−Rmin)が関連媒体である光速(C)で割られ、さらに2が乗算される。Roは、画像増倍管がONである時に初めて到達した反射光の範囲である。それらの反射光は、このRoの範囲上に位置するターゲットを完全に通過するパルス幅全体のスパンの最終結果である。Rminに至るまで、この範囲内のターゲットから発せられる反射光は、OFFである画像増倍管に入る。
レーザーパルスの送信後、直ちに、画像増倍管のオフタイム(Toff)が、近くの範囲からの反射光の入力を防止する(このようにして、近くの反射光による自己ブラインドを防止する)。換言すれば、オフタイムは、望まれてない反射光からの範囲(Rmin)に従って決定される。そのオフタイムは、かかる範囲に2を乗算し、光速(C)で割ることでを算出される。オフタイムは、車両のヘッドライトの照明範囲の作用として決定される(いずれにせよ車両のヘッドライトにより観測されるで、この範囲からの反射光の入力が無用である)。
画像増倍管は、状態を時間(TII)、特に、遠方範囲からの反射光を受信する期間オープンする。この時間は、2倍の範囲距離(Rmax−Rmin)を光速(C)で割り、2を乗算した時間と等しい。
図12は、図11で示されたRminが「ブラインドの範囲」であるという例に従った観測能力を示すグラフである。システム前方のこのエリアからは、レーザーパルスによって発生した反射光の入力がない。これは、レーザーパルスが空間中で前方に拡がるからである。したがって、Rminは、反射光がオープン状態である画像増倍管に遭遇する最小範囲となる。これは、画像増倍管がオープン状態にスイッチされる間にレーザーパルスが存続する最小範囲である。Rmaxは感度が最大限で維持できる最大範囲である。要素301は、Rminの範囲のどこかで見つけられたオブジェクト(対象物)である。物体302は、さらに離れた場所(Rmaxの範囲終端)で見つけられたオブジェクトである。
いかにして感度の範囲値が得られるのかを理解するには、RminとRmaxとの間の範囲(図例の301及び302)に位置するそれらのオブジェクトからの受信した反射光を調べる方法が必要となる。
図13は、レーザーパルス310がオブジェクト301を通過し、進行を続ける(オブジェクト302の通過が開始される)特定の時間が示されたグラフである。
オブジェクト301からの反射光は、システムの画像増倍管がオープン状態に変化する瞬間に受信される。この時点では、まだ、パルス幅310は、オブジェクト301を完全に通過していない。したがって、遠方のオブジェクト302からの反射光を受信するため、増倍する十分な時間が与えられるが、近くのオブジェクト301からの反射光ために与えられる増倍時間は限られている。
図13に示される特定時間から、画像増倍管が、オブジェクト301からエネルギーが反射される前の短時間、オープン状態にスイッチされたことが想定される(パルス310がその状態に止まっている限り)。そして、オブジェクト302からエネルギーは、 連続して反射される(進行するパルス310によって通過される)。
この結果として、画像増倍管がオープン状態である間に、オブジェクト301からの反射光として画像増倍管に入力されたトータルエネルギーは、オブジェクト301を通過するパルスの持続時間に比例する。
図14はグラフを示す後述する特定時間を示す。かかる時間は、レーザーパルス310がオブジェクト302の通過をちょうど完了し、伝搬を継続する時間である。
図14に示された特定の瞬間から、画像増倍管が、オープン状態のままでいたことが想定される。
その結果、最大範囲のRmaxで見つけられた、オブジェクト301から受信した反射量より十分に大きいオブジェクト302から吸収された反射強度において、量的結果の獲得を可能にする。これは、受信した反射光(エネルギー)量が、画像増倍管がON状態で、そのオブジェクトが反射さっる期間に従って決定される理由による。
換言すれば、システムの増倍管が反射光を入力する状態において、レーザーパルス310がオブジェクト302に止まる時間は、オブジェクト301おりも長いといえる。すなわち、画像増倍管が入力するエネルギーは、システムに近いオブジェクト301よりも最大範囲Rmaxに近いオブジェクト302からの方が大きい。
図15は、システム感度のグラフである。Roは、好適範囲として定義されている、たとえば、所望のRmaxまで、一定値に維持されるタイムプログラマブルゲイン(TPG)である。換言すれば、Roは、システムの好適範囲である。ON状態である間に最初の反射光がシステムの画像増倍管に到着してから全体のパスル幅のスパンが完全に通過する結果、このRoに位置するターゲットを超えてRmin、Ro及びRmaxは以下に従って算出される。
Figure 2005535220
Tlaserは、パルス時間長である。Toffは、パルス送信の終了後、画像増倍管がOFF状態で維持される時間である。Toff、TII及びTlaserから上記方程式が簡単に導き出せることは、当業者であれば理解できるであろう。
図15で示されるグラフは理想的なグラフでないかもしれない。なぜならば、照明する必要はないけれども、Rmax範囲を超えると、オブジェクトを照明するレーザーパルスが徐々に弱まるからである。さらに、最も重要な後述する技術にとっても、図15で示されるグラフは理想的なグラフでないかもしれない。なぜなら、感度は、好適範囲Roから所望されるRmax間で一定値に維持されるからである。他の技術によって、Roを超えたところから発生する反射光を受信するためのシステムの感度を減らすことを可能にする。かかる技術は、レーザーパルスの方式又は形を変えること、画像増倍管をオープンするタイミングを変えること、及びレーザーパルスの周期/幅を変えることを含んでいる。以下、かかる技術について説明する。
図16〜18は、照射されたレーザーパルスを成形あるいはパターン化する技術を示したグラフである。換言すると、図16〜18は、最適な要求範囲Roでのシステムの最大感度を達成させるためレーザーパルスの傾斜を変化させる能力を示している。
図11〜15によって示されるシナリオに従うと、成形あるいはパターン化されたレーザーパルスが提供されるイベントでは、オブジェクト301(近い範囲にある)からの反射による少ない光子及びオブジェクト302(遠方範囲にある)からの反射による多数の光子が、画像増倍管によって受信される。これは、パルスが、オブジェクト301上よりも長い時間オブジェクト302上に止まる理由及び/又は、パルスの先頭のレーザー強度がパルスの終端より高くなる間のレーザーパルスの形式(例えば、形又はパターン)のために発生する。
図16は、成形あるいはパターン化したレーザーパルス360のグラフである。持続時間T1は、システムがレーザーパルスを最小強度で送出する期間である。Twaveは、成形又はパターン化の方法で、(意図的に)レーザーパルスの強度を減少させているタイムスパンである。Toffは、画像増倍管(図8の符号230参照)及びレーザージェネレータ(図8の符号220参照)が共にOFF状態である時間を示す。TIIは、画像増倍管がオープンし、反射光を受光するタイムスパンである。
図17は、成形又はパターン化されたレーザーパルスの進行を示すグラフである。当該グラフは、特定の時間ポイント、即ち、パルスが近い範囲(Rmin)でターゲットに衝突する瞬間を示している。しかし、画像増倍管に到達するために、追加時間(Toffを2で割った時間)を取る。この時、画像増倍管は、成形又はパターン化されたレーザーパルスがオープンスペースで見つけられることに応じて集光を開始する。Rmin範囲に存在する光子は、パルスの終端で出て行く光子であり、画像増倍管がオープンすると同時に範囲S1を超えることができる。光子は、範囲S1と範囲S2との間(Rwave範囲に)に存在する光子は、成形又はパターン化されたレーザーパルスの下落の始まりで出て行く光子である。パルス照明の始めに最大強度にてレーザージェネレータから出て行った光子は、S3範囲に到達した(Rcon空間を走行する)。
当業者であれば、Rmin範囲がToff時間、即ち、パルスの終端から画像増倍管がオープンするまでの時間に依存することを理解できるであろう。パルス終端で出て行き、Toff時間より短い時間後にカメラに戻ってくる光子は、活動状態で画像増倍管に届かない。したがって、それらの光子は増倍されず、結果、システムからRmin範囲は、レーザーパルスの反射光が増倍されない範囲となる。例えば、Toff時間が100ナノ秒であるという決定は、近くの範囲から15メートルまで離れた範囲から来る反射光の増倍をシステムが実行しないという結果になる。
さらに、当業者であれば、パルスの1/R2の形が、最適であると考えられること、画像増倍管がオープン状態である間に、少なくとも近い範囲のオブジェクトからの反射光を最小化する点、及び、同時に上述したパターン化した「のこ歯」パスルが、その時間範囲で移動すること、レーザー照明の減衰を無視することを理解できるであろう。
図18は、成形又はパターン化されたレーザーパルス技術が適用されたシステムの感度/TPGグラフである。Rwaveは、成形又はパターン化されたレーザーパルスによって生成された反射光が受信され、増倍される範囲である。R1は、レーザーパルスの強度が安定化する範囲である。
従って、図11〜15参照して上述したように、成形又はパターン化されたレーザーパルスを生成すること、及び、その範囲と画像増倍管をオープンするタイミング技術に基づいたパルス幅とを組み合わせて同じものを利用することによって、さらに近い範囲で発生する反射光に起因する近接した範囲でのシステム感度を減らすことを可能にする。
図19〜22 これらのグラフは、ビデオフレームを取得する間、画像増倍管のオープン幅及び/又はレーザーパルスの幅が変化されることに基づいた技術を示している。その開始点は、画像品質を危険にさらしていない間、照射するパルスの数を制限することが、周囲の光源に対するシステムの感度を除去し、又は減らすための所望の最終結果である、ということで理解される。換言すれば、関心のある範囲で最大限のシステム感度を得るために、ビデオフレームに基づいたシステムに関係するという事実が利用される(例えば、図8に示された、実施形態(ゲート制御用ICCD/CMOS230の使用)を参照)。本質的にシングルフレームレベル範囲の操作性を有する技術である(図8のコントローラー240参照)。
以上に説明したタイプのナイトビジョン画像処理システムにおいて、IR波長用カメラ(図1の符号40及び図8の符号230参照)は、標準のビデオカメラでよい(例えば、CCD/CMOS)。そのようなカメラは、50Hzや60Hz等の一定周波数で動作する。このことは、毎秒25あるは30フレーム等を撮影するカメラであることを意味する。カメラが50Hzで動作すると仮定すれば、個々の領域の持続時間が20ミリ秒であることを意味することになる。図11で示されるように、システムにとって関心ある範囲は、300mである。したがって、レーザーパルス幅と画像増倍管のオープン幅を足して、(例えば)3マイクロ秒になる。その技術を説明するために、Toffタイムスパンの影響は考慮されないだろう。
これは、レーザーパルスの終了と画像増倍管の「オープン」との間の時間のギャプ(例えば、待ち時間)なしで、3マイクロ秒のサイクルタイムを要求する。前記例によれば、カメラが個々の領域を撮像している間、6666までのパルスを送信し、画像増倍管で6666回、光子を集めることが可能となる。
図19は、パルスサイクル(L)及び光子収集(II)のシーケンスを説明するためのグラフである。個々のサイクルに関しては、図11を参照のこと。サイクル数の増加は、結局、周囲の光源に対する潜在的な露出量を増加させるので、品質の良い画像を得るために要求されるサイクル数の低減、周囲の光源の影響を低減させるか、除去するためのシステム能力の増大が想定される。
図20は、レーザーパルスの持続時間が、個々のフレームを取得する間に動的な方法で変更されることに関する技術を示すグラフである。最後のサイクルまでに時間領域上で進行するレーザーパルス幅はより狭くなるけれども、全体のサイクル幅は、最初のサイクルと等しく、各々のサイクル幅の合計は一定のままである。しかし、レーザーパルスの持続時間は非常に短く、画像増倍管がオープンするための待ち時間(図11のToff参照)は非常に長い。画像増倍管がON状態にスイッチする前の待ち時間を増やす変化率は、レーザーパルスの縮小と等しくなる。したがって、反射光が増倍されない(画像増倍管が活動しないからである。図11のRmin範囲参照)システムからの範囲は増加する。これは、システムが、遠方の範囲からの多くの反射光を受光し、近くの範囲からはより少なくすることを意味し、そして、範囲に対する所望された感度が達成される。
図21は、個々のフレームを取得する間に画像増倍管のオープン持続時間が、動的な方法で変更される、ことに関する技術を説明するためのグラフである。この技術でも、画像増倍管のオープン持続時間は、最後のサイクルまで、時間領域上で進行する度に短くなるけれども、全体のサイクル幅は、最初のサイクルと等しく、各々のサイクルの全体の幅は不変である。しかし、画像増倍管のオープン持続時間は非常に短く、画像増倍管がオープンするための待ち時間(図11のToff参照)は非常に長い。レーザーパルス幅を一定に維持している間、画像増倍管のオープン時間を短くする変化率は、フレームに沿って等しくなる。したがって、反射エネルギーが増倍されない(画像増倍管が活動しないからである。)システムからの範囲は増加する(図11のRmin範囲参照)。これは、システムが、遠方の範囲からの多くの反射光を入力し、近くの範囲からはより少なくすることを意味し、そして、範囲に対する所望された感度が達成される。
上述した図22は、上述した方法(例えば、図20及び21)で具現化した場合の不都合を克服する技術を説明するためのグラフである。図20に関する方法の不都合は、画像増倍管のオープン時間が一定に維持されている点に見られる。その結果、システムは、それらの期間での環境光の影響に対して感知したままとなる。図21に関する方法の不都合は、レーザーパルスが一定に維持されるが、エネルギーの部分が画像増倍管に戻ってこない点にある。したがって、未使用のエネルギーが残る。
図22に示される技術では、時間領域上で進行するレーザーパルスの持続時間は、だんだん短くなるけれども、各々のサイクル幅の合計は一定のままである。そして、同時に、画像増倍管のオープンのための待ち時間(図11のToff時間参照)も、動的な方法で変化する。待ち時間は次第に長くなる(例えば、レーザーパルスの持続時間が短くなるのに対して2倍の比率で)。この方法では、画像増倍管がオープン状態を維持し、環境によって放出される光の影響を受ける時間が短い。したがって、エネルギーを最大限活用できる。
その結果、近くの範囲で発生する反射光によるブラインドに対してのシステム感度を低減させることが可能になる。所望のグラフ(図15参照)にシステムのレスポンスグラフを適合させるには、個々のビデオフレームを取得する過程で、動的な変化(画像増倍管のオープン幅及び/又はレーザーパルス幅、及び画像増倍管とレーザー間の遅延時間を徐々に変更すること等)が要求される。
図23〜25は、サイクル数、あるいは、換言すれば、個々のフレームレベル上での露出をコントロールすることで、高強度の光源に起因するブルーミングを除去することが可能になる技術について説明するためのグラフである。また、それに追加、あるいはその代わりとして、システムの画像処理技術を実施することでブルーミングを除去し得る。
図23及び24は、パルスサイクルの変化率(L)と光子の収集(II)を動的な方法で減らすためのシステムのコントローラーの能力(図8のコントローラー240参照)を示すグラフである。
上述した例(図10〜22に関して)によれば、カメラが、個々の領域で撮像している間、たとえば、領域単位当たり6666パルス(あるいは、フレーム単位当たり13332パルス)まで送出が可能になり、そして、例えば、光子を画像増倍管に6666回収集することが可能になる。また、個々の領域で取得する間、より少ない露出で実行することが可能である(図24参照)。
露出数の減少は、画像増倍管で収集される光子数の減少で引き起こされ、低反射のエリアは目に見えないので、画像全体が暗くなることによっても引き起こされる。したがって、露出数は、動的にコントロールされる。露出数をコントロールすることは、例えば、周辺光のレベルに従った方法等、複数の方法で可能になる(図8のセンサ250参照)。他のコントロール方法は、画像増倍管によって消費された電流レベルに基づいたものである(図8のパワーサプライユニット290参照)。さらに別の適切な方法は、飽和状態のエリアを見つける画像処理である。
図25は、各々のフレームで露出数を可変にする画像処理に関する方法を説明するための図である。この適用のために、標準のCCD/CMOSカメラよりも速いものが使用される。この例の目的のため、個々の領域の持続時間が10ミリ秒(例えば、フレーム単位当たり20ミリ秒)となる意味で、カメラは100Hzで動作することが想定される。
このカメラの能力は、2つのフレームの獲得を可能にする。一方のフレームでは多数の露出が得られ、もう一方のフレームでは、少ない数の露出が得られる。図25に示される例では、図22の主題である動的な方法が実行され得る。最初のフレームにおいて(2領域)、システムは1000サイクルを実行し、2番目のフレーム(2領域)では50サイクルを実行する。サイクル数は、たとえば、周辺光のレベルに従って、画像増倍管の飽和状態に従って、あるいは飽和エリアを見つける画像処理に従ってなど、いくつかの方法によって決定され得る。
画像処理技術によって2つのフレームを獲得後(図8の画像処理ユニット280参照)、2つのフレームから結合した1フレームを生成することも可能である。暗いエリアは、多数の露出と組み合わせ、飽和したエリアは、少数の露出で取られる。
図25では、画像のサイズが4ピクセルである場合の例を示している。フレーム1において、多数のサイクルを起因として、上部のピクセルが飽和している(一方、下部ピクセルは適切なレベルのグレイを保持している)。フレーム2において、露出が少数であることに起因して、上部左のピクセルが飽和していない。結合画像において、フレーム1からの飽和していないピクセル及びフレーム2からの飽和したピクセルが結合される。したがって、結合されたフレームは、飽和したピクセル数をより少なくでき、画像品質を向上させ得る。
上記方法を実行することは、システムのダイナミック・レンジの拡大を可能とし、飽和した環境においても、高品質画像の提供を可能にする。尚、さらに速いカメラを使用して、さらに多くのフレームを比較することも可能である。
図7に関連して上述したように、本発明に係るシステムが扱えるブラインド問題の1つは、類似のシステムからのブラインドの問題である。一般に、その問題の解決方法は、2つのグループに分類される(互いのブラインドの確率を小さくするための統計的な技術を適用する統計的解決方法、及びブラインドを防止するためにシステム間で実行を同期化させる共時的解決方法)。
類似のシステム間ですれ違う場合(図7参照)の相互のブラインドを除去することが可能な統計的解決方法は、フレームを取得する間での露出数の削減(より高いレーザー強度による可能な補償又は画像増倍管からのより高いレベルの増幅を用いた)、ランダム又は予め定義したサイクルタイミングの変更、露出頻度の変更、又はこれらの方法の組み合わせを含む。
類似のシステム間ですれ違う場合の相互のブラインドを除去する共時的解決方法は、ブラインドの状況が生成しないようなタイミングを可能にする。1つの解決方法は、システム間でコミュニケーション・チャネルを設けることである(例えば、RF範囲で)。この場合、システムは、互いに「話す」ことが可能になる。他の解決方法は自動同期である。
図26は、2あるいはそれ以上のシステム間で提供される自動同期技術を示したグラフである。同期は、その時々に、一システムが「聞く」期間、即ち、システムがレーザーパルス(L)を送る周期的なシーケンス及び画像増倍管のオープン(II)を止めている間に入ってくることで実行される。「聞く」期間の間、システムは、レーザーパルスの出力及び入力パルスの収集(もしあれば)を止める。パルスを受信しなかった場合には、第1のシステムは、その「聞く」期間の終わりで、活動を再開させる。「聞く」期間に、近接している他のシステムからのパルスが入力された場合には、第1のシステムは、他のシステムの周期的なシーケンスが終了するまで待機し、他のシステムのシーケンスが終了した場合のみ、活動を再開する。
図26に示される例では、グラフの上部に示される、時間領域に沿って活動している第1のシステムは、50露出の周期的なシーケンスを実行し、そして「聞く」状態になる。この方法において、同期は、一方のシステムと他のシステムとの間で生成され(グラフの下部参照)、一方では、フレーム内の可能な露出時間の約50%が、各システムに割り当てられる。
上記の同期方法は、例えば、図8に関連して説明された本発明に係るナイトビジョン画像処理システムの一実施形態において適用可能である。そのシステムが実装される車両では、例えば、2つのパルス検出器260(車両の前方部の第1検出器及び車両の後方部の第2検出器)を備えることが可能である。図7に関していえば、車両20に向かってくる車両130内、あるいは、車両20の背後からやって来る他の車両内で類似のシステムが動作しているかどうかを確認することが可能になる。システムの背後からやって来る車両からのブラインドの危険性はないため、それと同期化しないかもしれない。
また、同期は、共有技術によっても達成され得る。例えば、他のシステムから来る可能な照明に対するフレームの「聞く」時間の部分に専念することによってなどがある。適切な画像を提供するために、システムは、フレームの割り当てを要求可能であるので、そのフレーム時間の部分を「聞く」目的に使用することができる。近接するシステムの照明を非検出であると、システムのコントローラは、レーザージェネレータがそのフレームのスパンで照明を開始する時をランダムに決定することができる。これとは逆に、検出すると、システムのコントローラは、その接近している照明の終了後及びその後のランダムに選択された時間にのみ送信を開始する。
両システムが同時に放射を開始する可能な状態を除去するために適用できる他の技術は、各々のシステムが、ランダムに各フレームでのパルスの送信開始タイミングを変更することである。
上記同期化方法を用いると、異なるレートで動作する他のシステムから発生するパルスと同期できることは、当業者であれば理解できるであろう。さらに、他の方法によって同期を達成することも可能である。この場合、例えば、同期パルスが、任意のシステムによって、任意の期間に送信され、入力側のシステムが、その受信した同期パルスに自システムを適応させることが可能である。
本発明に係る暗視画像処理システムは、選択された放射線安全要求事項(例えば、米国規格ANSI Z 136.1)を満たすことが必要である。システム10は、走行する車両に実装されることが設計できるので、人がその前に立っていることがありそうもない間に、走行速度に従って、照射される光源の強度を変更可能である。このように、放射線強度は0となるように意図され、車両が走行していない間は完全に安全である。車両の走行速度に関する情報は、車両のコンピュータのデータチャネルによっえもたらされる(例えば、図8のインタフェース270参照)。速度データの他に、光源及びその強度を走行角度及びドライバーの関心領域に適合させるためにハンドル角度を考慮に入れることも可能である。
さらに、光源がCWとみなされるレーザーであると仮定しても、システム10の最大動作中の安全範囲が、例えば、約4メートルであると算出され得る。誰かがこの安全範囲に存在するかもしれない間の動作を防止するために、レーザー強度は車両の走行速度に適合させ得る。遅い速度ではレーザーは弱められ、車両が停止すると止められる。車両が高速で走行している時、その安全範囲に遭遇する問題はない。なぜなら、人がこの範囲で走行車両の前に立っている可能性はごく僅であるからである。
レーザー光線は分散円錐形で放射されるので、光線が、その範囲で人に衝突することはないはずである。図27は、例えば、走行車両410からの安全範囲で安全問題をクリエイトすることの非現実性を示している。車両410から放射されるレーザー光線は、車両の幅から外れない角度で進んで行く。したがって、人が、そのような距離で走行車両の前にいることはありそうもない。
さらに、要求される目の安全性を満たすオプション的な手段が、レーザー光源に近い可視スペクトルでの高光源の実現である。これにより、システム近傍にいる人は、不可視光源によるその人のグランスを防げるようなる。
当業者であれば、走行速度にレーザー強度を適合させる方法とレーザー近傍で付加的なブラインド光源を実施する方法を組み合わせることが可能であることを理解できるであろう。
図28は、カメラの特定エリアを局所的に暗くすることによって、図8に係るシステムでのブルーミングを克服するためのさらなる方法を説明するための図である。ゲート制御用ICCD/ICMOS230の入口に、空間光変調器(エリア・シャッタ)510が設置される。光変調器510には光増倍管の入口に設けられた光学素子が含まれ、該光学素子によって、前記光増倍管の入口で光の局所的な遮断を可能にしている。そのような光学素子は、液晶(LC)、懸濁粒子ディスプレイ(SPD)、空間光変調器(例えば、MMS)、あるいはその他の好適な素子であってよい。前記光学素子を使用することで、光の進入を排除し、あるいはその光の強度を減らすことが可能となり、特定エリアでのカメラの飽和を防止することが可能となる。
図29は、光の偏向を利用することで、図28に係るシステムのブルーミングを克服するための付加的な方法を説明するための図である。ゲート制御用ICCD/ICMOS230の入口に、偏向手段610が設けられている(結合するか、シャッタ510を無しにするかのいずれか)。偏向器は、レーザー源220によって生成された光と同一の偏向光のみを転送する。ブラインド源は、主として非偏向光を生成するので、周辺の光源を起因とするエネルギーは、和らげられ、ブラインドに対するシステムの免疫性が向上する。
本発明の一実施形態に係るシステムでブルーミングを克服する別方法は、シャッタ能力を備えたCMOS/CCDカメラの適用である。かかるカメラは、閉じている間にエネルギーを失わない。その結果、レーザーパルスとの同期中に、エネルギーの蓄積が可能となり、従って、所望する検出範囲の一機能として、システムに感度を提供することが可能になる。これは、図8を参照して説明した、ゲート制御用画像増倍管を有するカメラが設けられた実施形態に類似している。
当業者であれば、本発明が、上述した詳細事項に限定されないことは理解できるであろう。さらに言えば、本発明の範囲は、特許請求の範囲によって定義されるのみである。例えば、上記実施形態の多くは、道路上を走行する車両に言及している。しかしながら、他の実施形態では、オフロード又はその他のあらゆる適当な環境で走行する車両に適用し得る。
車両に搭載された本発明に係る暗視画像処理システムの概念を示す平面図である。 本発明の実施形態に係る暗視画像処理システムの車両内設備の各種配置を説明するための図である。 本発明の実施形態に係る暗視画像処理システムの車両内設備の各種配置を説明するための図である。 本発明の実施形態に係る暗視画像処理システムの車両内設備の各種配置を説明するための図である。 本発明の実施形態に係る暗視画像処理システムの車両内設備の各種配置を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって克服されるブラインド問題を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって克服されるブラインド問題を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって克服されるブラインド問題を説明するための図である。 本発明の好適な実施形態に係る暗視画像処理システムの一例を概略的に説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の実施形態に係る暗視画像処理システムによって取り扱われるブルーミング問題の様々な克服技術を説明するための図である。 本発明の一実施形態に係る自動的な同期のための具体的な技術を説明するための図である。 本発明のいくつかの実施形態において、動いている車両を出て行くレーザービームの安全な範囲を示す図である。 本発明の一実施形態において、カメラの特定エリアの局所的に暗くするこよによってシステムのグレアを克服するための方法を示す図である。 本発明の一実施形態において、ライトの偏光を使ってシステムのグレアを克服するための方法を示す図である。
符号の説明
10…システム、20…車両、30…光源、40…カメラ、50…表示装置(HUD)

Claims (76)

  1. 光エネルギーと同種のパルスを供給する光源と、
    対象物から反射された前記光エネルギーと同種のパルスを受信するカメラを備え、
    前記カメラは、画像化される領域の幅内にある対象物から反射される前記光エネルギーと同種のパルスの検出をゲート制御することが可能であり、
    前記領域の幅は、最小範囲(Rmin)を持ち、
    前記カメラは、前記光エネルギーと同種のパルスが、前記最小範囲に到達し、完全に前記カメラへ戻ってくるまでにかかる時間によって実質的に与えられるディレイ・タイミングの後に光エネルギーの検出を開始し、
    前記ゲート制御検出が、範囲の機能として感度を生成するために利用され、受信した前記最小範囲を超えた地点に位置する対象物から反射された前記光エネルギーと同種のパルスの反射光は、前記画像化される領域の幅に沿った範囲につれて徐々に増加する、ことを特徴とする車両搭載用画像処理システム。
  2. 前記ゲート制御検出が、範囲の機能として前記感度を生成するために利用され、受信された前記最小範囲を超えた地点に位置する対象物から反射された前記光エネルギーと同種のパルスの反射光は、前記画像化される領域の幅に沿った範囲につれて、最適範囲(Ro)まで徐々に増加する、ことを特徴とする請求項1に記載の車両搭載用画像処理システム。
  3. 前記ゲート制御検出が、範囲の機能として前記感度を生成するために利用され、受信された前記最適範囲を超えた地点に位置する対象物から反射された前記光エネルギーと同種のパルスの反射光は、最大範囲(Rmax)まで検出可能である、ことを特徴とする請求項2に記載の車両搭載用画像処理システム。
  4. 前記ゲート制御検出が、範囲の機能として前記感度を生成するために利用され、受信された前記最適範囲を超えた地点に位置する対象物から反射された前記光エネルギーと同種のパルスの反射光は、前記最大範囲まで実質的に一定に保たれる、ことを特徴とする請求項3に記載の車両搭載用画像処理システム。
  5. 前記ゲート制御検出が、範囲の機能として前記感度を生成するために利用され、受信された前記最適範囲を超えた地点に位置する対象物から反射された前記光エネルギーと同種のパルスの反射光は、前記最大範囲まで徐々に減少する、ことを特徴とする請求項3に記載の車両搭載用画像処理システム。
  6. 前記光エネルギーと同種のパルスは、実質的なパルス幅(TLaser)、パルスパターン及びパルス形状を定義し、
    対象物から反射された前記光エネルギーと同種のパルスの前記ゲート制御検出は、前記カメラが対象物からの反射光を受信する期間であるゲート制御期間(TII)、前記カメラが対象物からの反射光を受信しない期間であるOFF期間(Toff)及び前記ゲート制御期間と前記光エネルギーと同種のパルスが提供される時間との同期化タイミングを定義し、
    前記ディレイ・タイミング、前記パルス幅、前記パルス形状、前記パルスパターン、前記ゲート制御期間、前記OFF期間及び前記同期化タイミングの少なくとも1つが、前記領域の幅、特定の環境条件、前記車両の速度及び前記領域の幅内で見つけられることが予想される異なるターゲットの特徴の少なくとも1つに基づいて決められる、ことを特徴とする請求項1に記載の車両搭載用画像処理システム。
  7. 前記決定が動的であることを特徴とする請求項6に記載の車両搭載用画像処理システム。
  8. 前記決定は、時間と共にした増加又は減少方法の点で異なることを特徴とする請求項6に記載の車両搭載用画像処理システム。
  9. 範囲の機能とした前記感度が、前記光エネルギーと同種のパルスの前記形状、前記光エネルギーと同種のパルスの前記パターン、前記ゲート制御期間、前記OFF期間、前記パルス幅、前記ディレイ・タイミング及び前記同期化タイミングからなるグループから選択されたパラメータの動的な変更で構成されている、ことを特徴とする請求項6に記載の車両搭載用画像処理システム。
  10. 前記動的な変更は、前記領域の幅、特定の環境条件、前記車両の速度及び前記領域の幅内で見つけられることが予想される異なるターゲットの特徴の少なくとも1つに基づいて決定される、ことを特徴とする請求項9に記載の車両搭載用画像処理システム。
  11. 前記パルス幅及び前記ゲート制御期間は、周囲の光源に対する前記システムの感度を排除するか又は減らすために制限される、ことを特徴とする請求項9に記載の車両搭載用画像処理システム。
  12. 前記パルス幅の持続時間、前記OFF期間及び前記ゲート制御期間はサイクルタイムを定義し、前記光エネルギーと同種のパルスは、前記パルス幅の持続時間の間、送信され、前記カメラのオープンは、前記OFF期間の間、遅らされ、対象物から反射された前記光エネルギーと同種のパルスは、前記ゲート制御期間の間、受信される、ことを特徴とする請求項9に記載の車両搭載用画像処理システム。
  13. 個々のフレームのためのパルスの反射光を蓄積する時に、範囲の機能としての前記感度を増大させるため、前記サイクルタイムが変更されない間に、前記パルス幅は次第に短くなり、前記ディレイ・タイミングは次第に長くなる、ことを特徴とする請求項12に記載の車両搭載用画像処理システム。
  14. 個々のフレームのためのパルスの反射光を蓄積する時に、範囲の機能としての前記感度を増大させるため、前記サイクルタイムが変更されない間に、前記ゲート制御期間は、次第に短くなり、前記ディレイ・タイミングは次第に長くなる、ことを特徴とする請求項12に記載の車両搭載用画像処理システム。
  15. 個々のフレームのためのパルスの反射光を蓄積する時に、範囲の機能としての前記感度を増大させるため、前記サイクルタイムが変更されない間に、前記パルス幅及び前記ゲート制御期間の各々は、次第に短くなり、前記ディレイ・タイミングは次第に長くなる、
    ことを特徴とする請求項12に記載の車両搭載用画像処理システム。
  16. 前記パルス形状は、範囲の機能としての前記感度を増大させるため、前記パルスの終わりよりも前記パルスの始まりでより高い強度を含んでいる、ことを特徴とする請求項9に記載の車両搭載用画像処理システム。
  17. 前記パルス幅は、開始時間(T0)で始まり、前記ディレイ・タイミングは、実質的に以下の式(1)に基づいて定義される、ことを特徴とする請求項6に記載の車両搭載用画像処理システム。
    Figure 2005535220
    (cは光速である。)
  18. 前記パルス幅は、実質的に以下の式(2)に基づいて定義される、ことを特徴とする請求項6に記載の車両搭載用画像処理システム。
    Figure 2005535220
    (Roは、最適範囲であり、cは光速である。)
  19. 前記ゲート制御期間及び前記OFF期間が、実質的に以下の式(3)に基づいて定義される、ことを特徴とする請求項6に記載の車両搭載用画像処理システム。
    Figure 2005535220
    (Rmaxは、最大範囲であり、cは光速である。)
  20. 前記カメラ及び前記光源に接続し、
    前記ディレイ・タイミング、前記パルス幅、前記パルス形状、前記パルスパターン、前記ゲート制御期間、前記OFF期間及び前記同期化タイミングの少なくとも1つを決定及び変更するためのコントローラと、
    前記コントローラに接続した少なくとも1つの周辺光センサと、
    接近する車両に実装された前記システムに類似するシステムからの放射パルスを検出するために 前記コントローラに接続したパルス検出器と、
    前記コントローラに接続した前記車両のコンピュータシステムとのインタフェースと、
    前記カメラに接続した画像処理ユニットと、
    前記カメラに接続した狭帯域通過フィルタ及び
    前記カメラで受信した前記光エネルギーと同種のパルスで構成された画像を表示するために画像処理ユニットに接続した表示装置と、をさらに備える、ことを特徴とする請求項12に記載の車両搭載用画像処理システム。
  21. 前記カメラに接続した光偏向器と、
    前記カメラに接続した空間光変調器及び
    前記光源近くに配置されたブラインド光源とを、さらに備える、ことを特徴とする請求項20に記載の車両搭載用画像処理システム。
  22. 前記サイクルタイムの少なくとも1つの反復が、個々のビデオフレームの一部を形成し、多数の前記反復が前記ビデオフレーム単位当たりの露出数を形成する、ことを特徴とする請求項20に記載の車両搭載用画像処理システム。
  23. 前記露出数は動的に変えられることを特徴とする請求項22に記載の車両搭載用画像処理システム。
  24. 前記露出数は、前記少なくとも1つの周辺光センサによって検出された周辺光のレベルに基づき変えられることを特徴とする請求項22に記載の車両搭載用画像処理システム。
  25. 前記露出数は、前記カメラによって消費された電流のレベルに基づき変えられることを特徴とする請求項22に記載の車両搭載用画像処理システム。
  26. 前記システムと通過する他の類似システムとの間の相互のブラインドは、前記露出数の低減、前記個々のビデオフレーム間での前記サイクルタイムのタイミングの変更及び露出頻度の変更からなるグループから選択された統計的な解決法により除去される、ことを特徴とする請求項22に記載の車両搭載用画像処理システム。
  27. 前記システムと通過する他の類似システムとの間の相互のブラインドは、前記システムと前記類似したシステムとの間にコミュニケーション・チャネルを設けること、前記システム及び前記類似したシステムの各々が、前記光エネルギーと同種のパルスがリスニング期間に放射されない時々に、リスニングモードになり、前記リスニング期間の間にパルスが集められなかった場合、前記期間後、前記システム及び前記類似したシステムのどれもが、前記光エネルギーと同種のパルスの放射を再開し、前記リスニング期間の間にパルスが集められた場合、前記期間後、前記システム及び前記類似したシステムは、前記光エネルギーと同種のパルスの放射を再開する前に、光エネルギーと同種のパルスの周期的なシーケンスの終わりまで待つ、ことを許可すること、及び、前記システムに前記個々のビデオフレームでのパルスの送信開始時間を変更させること、からなるグループから選択されたれた共時的な解決法により除去される、ことを特徴とする請求項22に記載の車両搭載用画像処理システム。
  28. 前記画像処理ユニットは、前記カメラ内の飽和状態領域を見つけるための手段を備えることを特徴とする請求項20に記載の車両搭載用画像処理システム。
  29. 前記画像処理ユニットは、可変数の露出を処理するための手段を備えることを特徴とする請求項22に記載の車両搭載用画像処理システム。
  30. 前記カメラは、前記ゲート制御期間の間に、対象物から反射された前記光エネルギーと同種のパルスのいくつかのパルスを受信することを特徴とする請求項6に記載の車両搭載用画像処理システム。
  31. 前記光エネルギーと同種のパルスは不可視光であり、前記カメラで受信される前記光は不可視光であることを特徴とする請求項1に記載の車両搭載用画像処理システム。
  32. 前記光エネルギーと同種のパルスの強度は、放射線の安全性向上のため、前記車両の走行速度に基づいて調整されることを特徴とする請求項6に記載の車両搭載用画像処理システム。
  33. 前記光エネルギーと同種のパルスの分散円錐幅は、前記車両の幅から外れない角度で伝搬することを特徴とする請求項32に記載の車両搭載用画像処理システム。
  34. 前記光源は、レーザージェネレータ、ダイオードアレイ、LEDアレイ及び可視光源からなるグループから選択されることを特徴とする請求項1に記載の車両搭載用画像処理システム。
  35. 前記カメラは、CMOSカメラ、CCDカメラ、ゲート制御用画像増倍管を有するカメラ及びシャッタ能力を備えたカメラからなるグループから選択されることを特徴とする請求項1に記載の車両搭載用画像処理システム。
  36. 前記表示装置は、ヘッドアップディスプレイ(HUD)装置、LCD表示装置及びホログラフィクに基づいた平面光学装置からなるグループから選択されることを特徴とする請求項20に記載の車両搭載用画像処理システム。
  37. 前記空間光変調器は、エリア・シャッタ、液晶及び懸濁粒子ディスプレイからなるリストから選択されることを特徴とする請求項21に記載の車両搭載用画像処理システム。
  38. ターゲットエリアに光パルスを照射し、画像化される領域の幅内にある対象物から反射される前記光パルスの反射光から少なくとも1つの画像を受信し、前記領域の幅は、最小範囲(Rmin)を持ち、ゲート制御用カメラによって受信された画像の検出をゲート制御し、前記ゲート制御は、前記光パルスが、前記最小範囲に到達し、完全に前記カメラへ戻ってくるまでにかかる時間によって実質的に与えられる前記光パルスの反射光に対するゲート制御のディレイ・タイミングの後に前記光パルスを検出するためのゲート制御を開始し、前記受信画像を増倍し、前記ゲート制御が、範囲の機能として感度を生成するために利用され、受信した前記最小範囲を超えた地点に位置する対象物から反射された前記光パルスの反射光の光エネルギーは、前記画像化される領域の幅に沿った範囲につれて徐々に増加する、ことを特徴とする車両搭載用画像処理方法。
  39. 前記ゲート制御が、範囲の機能として前記感度を生成するために利用され、受信された前記最小範囲を超えた地点に位置する対象物から反射された前記光パルスの反射光の光エネルギーは、前記画像化される領域の幅に沿った範囲につれて、最適範囲(Ro)まで徐々に増加する、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  40. 前記ゲート制御が、範囲の機能として前記感度を生成するために利用され、受信された前記最小範囲を超えた地点に位置する対象物から反射された前記光パルスの反射光の光エネルギーは、最大範囲(Rmax)まで検出可能である、ことを特徴とする請求項39に記載の車両搭載用画像処理方法。
  41. 前記ゲート制御が、範囲の機能として前記感度を生成するために利用され、受信された前記最小範囲を超えた地点に位置する対象物から反射された前記光パルスの反射光の光エネルギーは、前記最大範囲まで実質的に一定に保たれる、ことを特徴とする請求項40に記載の車両搭載用画像処理方法。
  42. 前記ゲート制御が、範囲の機能として前記感度を生成するために利用され、受信された前記最小範囲を超えた地点に位置する対象物から反射された前記光パルスの反射光の光エネルギーは、前記最大範囲まで徐々に減少する、ことを特徴とする請求項40に記載の車両搭載用画像処理方法。
  43. 前記光パルスは、実質的なパルス幅(TLaser)、パルスパターン及びパルス形状を定義し、前記ゲート制御の手順は、ゲート制御期間(TII)、OFF期間(Toff)及び前記放射に関する前記ゲート制御の同期化タイミングで構成され、さらに、前記領域の幅、特定の環境条件、前記車両の速度及び前記領域の幅内で見つけられることが予想される異なるターゲットの特徴の少なくとも1つに基づく前記ディレイ・タイミング、前記パルス幅、前記パルス形状、前記パルスパターン、前記ゲート制御期間、前記OFF期間及び前記同期化タイミングの少なくとも1つを決める手順を備える、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  44. 前記決定する手順が動的であることを特徴とする請求項43に記載の車両搭載用画像処理方法。
  45. 前記領域の幅に基づいた前記決定する手順は、時間と共にした増加又は減少方法において前記感度を変えること、を含むことを特徴とする請求項43に記載の車両搭載用画像処理方法。
  46. 範囲の機能とした前記感度が、前記光パルスの前記パターン、前記光パルスの前記形状、前記ゲート制御期間、前記OFF期間、前記パルス幅、前記ディレイ・タイミング及び前記同期化タイミングからなるグループから選択された少なくとも1つのパラメータを動的に変更する手順を備えている、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  47. 前記動的に変更する手順は、前記領域の幅、特定の環境条件、前記車両の速度及び前記領域の幅内で見つけられることが予想される異なるターゲットの特徴の少なくとも1つに基づいて変更することを含んでいる、ことを特徴とする請求項46に記載の車両搭載用画像処理方法。
  48. 前記パルス幅及び前記ゲート制御期間は、周囲の光源に対する前記感度を排除するか又は減らすために制限される、ことを特徴とする請求項46に記載の車両搭載用画像処理方法。
  49. 前記変更する手順は、前記パルス幅の持続時間の間、前記光パルスを送信し、前記OFF期間の間、前記カメラのオープンを遅らせ、前記ゲート制御期間の間、対象物から反射された光パルスエネルギーを受信するサブ手順を含み、前記パルス幅、前記OFF期間及び前記ゲート制御期間はサイクルタイムを定義する、ことを特徴とする請求項46に記載の車両搭載用画像処理方法。
  50. 前記変更する手順は、個々のフレームのためのパルスの反射光を蓄積する時に、範囲の機能としての前記感度を増大させるため、前記ゲート制御が変更されないサイクルタイムを維持している間に、前記パルス幅を次第に短くし、前記ディレイ・タイミングを次第に長くすることを含む、ことを特徴とする請求項49に記載の車両搭載用画像処理方法。
  51. 前記変更する手順は、個々のフレームのためのパルスの反射光を蓄積する時に、範囲の機能としての前記感度を増大させるため、前記ゲート制御が変更されないサイクルタイムを維持している間に、前記ゲート制御期間を次第に短くし、前記ディレイ・タイミングを次第に長くすることを含む、ことを特徴とする請求項49に記載の車両搭載用画像処理方法。
  52. 前記変更する手順は、個々のフレームのためのパルスの反射光を蓄積する時に、範囲の機能としての前記感度を増大させるため、前記ゲート制御が変更されないサイクルタイムを維持している間に、前記パルス幅及び前記ゲート制御期間を次第に短くし、前記ディレイ・タイミングを次第に長くすることを含む、ことを特徴とする請求項49に記載の車両搭載用画像処理方法。
  53. 前記パルス形状は、範囲の機能としての前記感度を増大させるため、前記パルスの終わりよりも前記パルスの始まりでより高い強度を含んでいる、ことを特徴とする請求項46に記載の車両搭載用画像処理方法。
  54. 前記光パルスを放射する前記手順は、開始時間(T0)で始まり、前記ディレイ・タイミングは、実質的に以下の式(4)に基づいて算出される、ことを特徴とする請求項43に記載の車両搭載用画像処理方法。
    Figure 2005535220
    (cは光速である。)
  55. 前記パルス幅は、実質的に以下の式(5)に基づいて算出される、ことを特徴とする請求項43に記載の車両搭載用画像処理方法。
    Figure 2005535220
    (Roは、最適範囲であり、cは光速である。)
  56. 実質的に以下の式(6)に基づく、前記ゲート制御期間及び前記OFF期間をコントロールする手順をさらに含む、ことを特徴とする請求項43に記載の車両搭載用画像処理方法。
    Figure 2005535220
    (Rmaxは、最大範囲であり、cは光速である。)
  57. 前記サイクルタイムの少なくとも1つの反復が、個々のビデオフレームの一部を形成し、多数の前記反復が前記ビデオフレームの露出数を形成する、ことを特徴とする請求項49に記載の車両搭載用画像処理方法。
  58. 前記露出数を動的に変化させる手順をさらに含む、ことを特徴とする請求項57に記載の車両搭載用画像処理方法。
  59. 前記変化させる手順は、検出された周辺光のレベルに基づき前記露出数を調整することを含む、ことを特徴とする請求項58に記載の車両搭載用画像処理方法。
  60. 前記変化させる手順は、前記増倍する手順で使用される画像増倍管によって消費された電流のレベルに基づき前記露出数を調整することを含む、ことを特徴とする請求項58に記載の車両搭載用画像処理方法。
  61. 前記露出数の低減、前記個々のビデオフレーム間での前記サイクルタイムのタイミングの変更及び露出頻度の変更からなるグループから選択された統計的な解決法により、前記システムと通過する他の類似システムとの間の相互のブラインドを除去する手順をさらに含む、ことを特徴とする請求項57に記載の車両搭載用画像処理方法。
  62. 前記システムと前記類似したシステムとの間のコミュニケーション・チャネルと、前記システム及び前記類似したシステムの各々が、前記光パルスがリスニング期間に放射されない時々に、リスニングモードになり、前記リスニング期間の間にパルスが集められなかった場合、前記期間後、前記システム及び前記類似したシステムのどれもが、前記光パルスの放射を再開し、前記リスニング期間の間にパルスが集められた場合、前記期間後、前記システム及び前記類似したシステムは、前記光パルスの放射を再開する前に、前記光パルスの周期的なシーケンスの終わりまで待つ、ことを許可すること、及び前記システムに前記個々のビデオフレームでのパルスの送信開始時間を変更させること、からなるグループから選択された共時的な解決法により、前記システムと通過する他の類似システムとの間の相互のブラインドを除去する手順をさらに含む、ことを特徴とする請求項57に記載の車両搭載用画像処理方法。
  63. 前記カメラ内の飽和状態領域を見つけることによる画像処理の手順をさらに含む、ことを特徴とする請求項57に記載の車両搭載用画像処理方法。
  64. 可変数の露出に対する画像処理の手順をさらに含む、ことを特徴とする請求項57に記載の車両搭載用画像処理方法。
  65. 前記画像処理の手順は、可変数の露出の画像処理によって、一方は高露出数、他方は低露出数となる少なくとも2つのビデオフレームを撮像する手順、前記少なくとも2つのビデオフレームの露出数を決定する手順、及び高露出数であるフレームからの暗いエリアと低露出数であるフレームからの飽和エリアを結合することによって、単一のビデオフレームを形成するためのフレーム結合する手順を含む、ことを特徴とする請求項64に記載の車両搭載用画像処理方法。
  66. 前記ゲート制御期間の間に、対象物から反射された前記光パルスのいくつかのパルスを受信する手順をさらに含む、ことを特徴とする請求項43に記載の車両搭載用画像処理方法。
  67. 前記光パルスを放射する手順は、不可視光を放射することを含み、前記ゲート制御用カメラによって前記少なくとも1つの画像を受信する手順は、前記ゲート制御用カメラで不可視光を受信することを含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  68. 放射線の安全性を管理するため、前記車両の走行速度に基づいて前記光パルスの強度を調整する手順をさらに含む、ことを特徴とする請求項43に記載の車両搭載用画像処理方法。
  69. 前記車両の幅から外れない角度で前記光パルスの分散円錐幅を伝搬させる手順をさらに含む、ことを特徴とする請求項68に記載の車両搭載用画像処理方法。
  70. 前記光源近くにブラインド光源を配置する手順をさらに含む、ことを特徴とする請求項69に記載の車両搭載用画像処理方法。
  71. 前記カメラで受信した前記光パルスで構成された画像を表示するための表示装置上に前記少なくとも1つの画像を表示する手順をさらに含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  72. 前記ターゲットエリアの周辺光を決定する手順をさらに含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  73. 前記ターゲットエリアに他の光パルスが存在するかどうかを決定する手順をさらに含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  74. 狭帯域通過フィルタを使用して受信した反射光の波長をフィルタする手順をさらに含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  75. 前記増倍のために使用される画像増倍管の入口を局所的に暗くすることで、他の光パルスからのグレアを克服する手順をさらに含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
  76. 前記増倍のために使用される画像増倍管に入る光を偏向することで、他の光パルスからのグレアを克服する手順をさらに含む、ことを特徴とする請求項38に記載の車両搭載用画像処理方法。
JP2004525727A 2002-08-05 2003-08-05 車両搭載用ナイトビジョン画像処理システム及びその方法 Expired - Lifetime JP4498135B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40070702P 2002-08-05 2002-08-05
PCT/IL2003/000639 WO2004013654A1 (en) 2002-08-05 2003-08-05 Vehicle mounted night vision imaging system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010009454A Division JP5162603B2 (ja) 2002-08-05 2010-01-19 車両搭載用ナイトビジョン画像処理システム及びその方法

Publications (2)

Publication Number Publication Date
JP2005535220A true JP2005535220A (ja) 2005-11-17
JP4498135B2 JP4498135B2 (ja) 2010-07-07

Family

ID=31495860

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004525727A Expired - Lifetime JP4498135B2 (ja) 2002-08-05 2003-08-05 車両搭載用ナイトビジョン画像処理システム及びその方法
JP2010009454A Expired - Lifetime JP5162603B2 (ja) 2002-08-05 2010-01-19 車両搭載用ナイトビジョン画像処理システム及びその方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010009454A Expired - Lifetime JP5162603B2 (ja) 2002-08-05 2010-01-19 車両搭載用ナイトビジョン画像処理システム及びその方法

Country Status (8)

Country Link
US (1) US7733464B2 (ja)
EP (1) EP1540373B1 (ja)
JP (2) JP4498135B2 (ja)
AT (1) ATE386951T1 (ja)
AU (1) AU2003247148A1 (ja)
DE (1) DE60319238T2 (ja)
ES (1) ES2301835T3 (ja)
WO (1) WO2004013654A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009303166A (ja) * 2008-06-17 2009-12-24 Hamamatsu Photonics Kk 撮像システムおよび周辺モニタ装置
WO2014119241A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 測距方法および測距システム
KR101491177B1 (ko) * 2009-11-25 2015-02-12 현대자동차주식회사 나이트 뷰 시스템 및 제어방법
KR20150024860A (ko) * 2012-05-29 2015-03-09 브라이트웨이 비젼 엘티디. 적응 피사계 심도를 이용한 게이트된 영상
WO2017130934A1 (ja) * 2016-01-29 2017-08-03 パナソニックIpマネジメント株式会社 遮熱フィルタおよび監視システム
JP2018205187A (ja) * 2017-06-06 2018-12-27 京セラ株式会社 電磁波検出装置、電磁波検出システム、およびプログラム

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
AU2003247148A1 (en) * 2002-08-05 2004-02-23 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
DE10249816B4 (de) * 2002-10-24 2006-01-12 Daimlerchrysler Ag Verfahren und Vorrichtung zum Betrieb eines automobilen Nachtsichtsystems
US6795237B1 (en) * 2003-06-02 2004-09-21 Ford Motor Company Overhead console active night vision system for an interior cabin of a vehicle
FR2857463B1 (fr) * 2003-07-11 2005-09-02 Valeo Vision Systeme de vision nocturne a infrarouge, en couleur.
DE10343479A1 (de) * 2003-09-19 2005-04-28 Bosch Gmbh Robert Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US7319805B2 (en) * 2003-10-06 2008-01-15 Ford Motor Company Active night vision image intensity balancing system
CA2554955C (en) 2004-02-04 2010-09-14 Elbit Systems Ltd. Gated imaging
DE102004045329A1 (de) * 2004-09-16 2006-04-06 Siemens Ag Verkehrsmittel mit Nachtsichtsystem
JP4351132B2 (ja) * 2004-09-17 2009-10-28 本田技研工業株式会社 車載用暗視装置
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
WO2006090356A1 (en) * 2005-02-23 2006-08-31 Elbit Systems Ltd. Add-on laser gated imaging device for associating with an optical assembly
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US7961086B2 (en) * 2006-04-17 2011-06-14 James Roy Bradley System and method for vehicular communications
US8553100B2 (en) * 2006-08-21 2013-10-08 Xylem Ip Holdings Llc Spotlight with integral low lux video camera system
DE102007001558A1 (de) 2007-01-10 2008-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ansteuern einer Nahbereich-Ausleuchtungsvorrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs
US7873235B2 (en) 2007-01-29 2011-01-18 Ford Global Technologies, Llc Fog isolation and rejection filter
GB0709226D0 (en) * 2007-05-14 2007-06-20 Qinetiq Ltd Covert illumination
US8600656B2 (en) 2007-06-18 2013-12-03 Leddartech Inc. Lighting system with driver assistance capabilities
DE102007040042B4 (de) * 2007-08-24 2019-02-21 HELLA GmbH & Co. KGaA System zum Erzeugen eines Lichtbündels im Vorfeld eines Kraftfahrzeuges
EP2232462B1 (en) 2007-12-21 2015-12-16 Leddartech Inc. Parking management system and method using lighting system
USRE46930E1 (en) * 2007-12-21 2018-07-03 Leddartech Inc. Distance detection method and system
WO2009079789A1 (en) * 2007-12-21 2009-07-02 Leddartech Inc. Detection and ranging methods and systems
DE102008011519A1 (de) * 2008-02-25 2009-09-03 Faurecia Innenraum Systeme Gmbh Innenverkleidungsteil
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US8243103B2 (en) * 2009-05-29 2012-08-14 Exelis, Inc. Laser aiming spot distinguishing methods and apparatus
US8717481B2 (en) * 2009-06-10 2014-05-06 Shimadzu Corporation Head-mounted display
US11300795B1 (en) 2009-09-30 2022-04-12 Digilens Inc. Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion
US10795160B1 (en) 2014-09-25 2020-10-06 Rockwell Collins, Inc. Systems for and methods of using fold gratings for dual axis expansion
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
CN102959599B (zh) 2009-12-22 2015-07-15 莱达科技股份有限公司 用于交通检测的主动3d监控系统
US8659826B1 (en) 2010-02-04 2014-02-25 Rockwell Collins, Inc. Worn display system and method without requiring real time tracking for boresight precision
CN102053360B (zh) * 2010-10-18 2013-01-02 北京高普乐光电科技有限公司 一种主动照明的夜视装置及其方法
EP2448251B1 (en) * 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
CN102230794B (zh) * 2011-04-01 2013-04-10 北京航空航天大学 一种基于视频的驾驶员视距动态测量方法
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
US9378640B2 (en) 2011-06-17 2016-06-28 Leddartech Inc. System and method for traffic side detection and characterization
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2995986B1 (en) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Data display
US9681062B2 (en) 2011-09-26 2017-06-13 Magna Electronics Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US9366864B1 (en) 2011-09-30 2016-06-14 Rockwell Collins, Inc. System for and method of displaying information without need for a combiner alignment detector
US8634139B1 (en) 2011-09-30 2014-01-21 Rockwell Collins, Inc. System for and method of catadioptric collimation in a compact head up display (HUD)
US9507150B1 (en) 2011-09-30 2016-11-29 Rockwell Collins, Inc. Head up display (HUD) using a bent waveguide assembly
US20130083195A1 (en) * 2011-09-30 2013-04-04 Jeffrey Thomas Remillard Polarization-based anti-blinding night vision system, vehicle comprising same, and method therefor
US9715067B1 (en) 2011-09-30 2017-07-25 Rockwell Collins, Inc. Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials
CN104115197A (zh) * 2011-12-05 2014-10-22 布莱特瓦维森有限公司 智能交通标志系统与方法
KR101338075B1 (ko) * 2011-12-14 2013-12-06 현대자동차주식회사 레이저 빔을 이용한 보행자 경고방법
DE102011121473A1 (de) 2011-12-17 2013-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
WO2013127973A1 (en) * 2012-03-01 2013-09-06 Iee International Electronics & Engineering S.A. Intersystem interference avoidance
WO2013128427A1 (en) 2012-03-02 2013-09-06 Leddartech Inc. System and method for multipurpose traffic detection and characterization
US9523852B1 (en) 2012-03-28 2016-12-20 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
JP6243402B2 (ja) 2012-04-18 2017-12-06 ブライトウェイ ビジョン リミテッド 読み出し毎の複数のゲーテッド画素
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
EP2842003B1 (en) 2012-04-25 2019-02-27 Rockwell Collins, Inc. Holographic wide angle display
DE102012011596B3 (de) * 2012-06-13 2013-07-04 Decoma (Germany) Gmbh Aufnahmevorrichtung
EP2870031B1 (en) * 2012-07-09 2017-11-08 Brightway Vision Ltd. Gated stereo imaging system and method
LU92044B1 (en) * 2012-07-17 2014-01-20 Iee Sarl Driver assistance system comprising an optical detector with active scene illumination
JP6083976B2 (ja) * 2012-08-22 2017-02-22 株式会社メガチップス 車線状況判別装置および車線状況判別方法
DE102012020288A1 (de) * 2012-10-17 2014-04-17 Valeo Schalter Und Sensoren Gmbh Optoelektronische Detektionseinrichtung mt reduzierter Energieaufnahme, Kraftfahrzeug und entsprechendes Verfahren
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
IL224130A (en) * 2013-01-07 2017-01-31 Brightway Vision Ltd Identify objects using a confusion system
EP2767924B1 (en) * 2013-02-15 2019-05-01 HELLA GmbH & Co. KGaA A method and device for recognising pulsing light sources
CN105247861B (zh) 2013-03-22 2017-11-10 精工爱普生株式会社 红外视频显示眼镜
US9674413B1 (en) 2013-04-17 2017-06-06 Rockwell Collins, Inc. Vision system and method having improved performance and solar mitigation
US9121944B2 (en) * 2013-04-26 2015-09-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Mid-infrared vehicle early warning system
FR3005746B1 (fr) * 2013-05-14 2016-09-16 Cie Ind Des Lasers - Cilas Dispositif d'illumination laser a obturateur integre.
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
CA2861498A1 (en) * 2013-09-20 2015-03-20 Alcohol Countermeasure Systems (International) Inc. Method and apparatus for combatting distracted driving
US9244281B1 (en) 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
DE102013220385B4 (de) * 2013-10-09 2015-06-11 Ifm Electronic Gmbh Beleuchtung für ein Lichtlaufzeitkamerasystem
US9420171B2 (en) * 2013-10-09 2016-08-16 Xerox Corporation Dynamic multi-windowed image enhancement for interactive HOV detection
US10732407B1 (en) 2014-01-10 2020-08-04 Rockwell Collins, Inc. Near eye head up display system and method with fixed combiner
CA2937497A1 (en) 2014-01-22 2015-10-08 Polaris Sensor Technologies, Inc. Polarization imaging for facial recognition enhancement system and method
US9589195B2 (en) * 2014-01-22 2017-03-07 Polaris Sensor Technologies, Inc. Polarization-based mapping and perception method and system
US9519089B1 (en) 2014-01-30 2016-12-13 Rockwell Collins, Inc. High performance volume phase gratings
US9244280B1 (en) 2014-03-25 2016-01-26 Rockwell Collins, Inc. Near eye display system and method for display enhancement or redundancy
BR112015030886B1 (pt) 2014-04-18 2022-09-27 Autonomous Solutions, Inc. Veículo, sistema de visão para uso por um veículo e método de direcionamento de um veículo com o uso de um sistema de visão
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
WO2016038536A1 (en) 2014-09-09 2016-03-17 Leddartech Inc. Discretization of detection zone
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10088675B1 (en) 2015-05-18 2018-10-02 Rockwell Collins, Inc. Turning light pipe for a pupil expansion system and method
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
IL235359A (en) * 2014-10-27 2015-11-30 Ofer David Simulates a wide-dynamic-range environment with a high intensity beam / reflector
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10247943B1 (en) 2015-05-18 2019-04-02 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10126552B2 (en) 2015-05-18 2018-11-13 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
US11366316B2 (en) 2015-05-18 2022-06-21 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10108010B2 (en) 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
CN109154717B (zh) 2016-04-11 2022-05-13 迪吉伦斯公司 用于结构光投射的全息波导设备
DE102016006326A1 (de) * 2016-05-24 2017-11-30 Audi Ag Linear polarisierte Lichtabstrahlung durch einen Fahrzeugscheinwerfer zum Einsatz in einem kamerabasierten Fahrerassistenzsystem
IL247944B (en) 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
KR102169885B1 (ko) * 2016-12-13 2020-10-27 주식회사 토비스 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10295824B2 (en) 2017-01-26 2019-05-21 Rockwell Collins, Inc. Head up display with an angled light pipe
US11190462B2 (en) 2017-02-12 2021-11-30 Mellanox Technologies, Ltd. Direct packet placement
JP6862255B2 (ja) * 2017-04-12 2021-04-21 キヤノン株式会社 撮像装置、撮像方法および撮像プログラム
WO2018208843A1 (en) * 2017-05-08 2018-11-15 Velodyne Lidar, Inc. Lidar data acquisition and control
US11172108B2 (en) 2017-06-13 2021-11-09 Sharp Kabushiki Kaisha Imaging device
US11252464B2 (en) * 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
WO2019079350A2 (en) 2017-10-16 2019-04-25 Digilens, Inc. SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY
FR3075921B1 (fr) * 2017-12-22 2019-11-29 Valeo Vision Ensemble d'eclairage segmente pour un vehicule automobile
US11340339B2 (en) 2017-12-22 2022-05-24 Waymo Llc Systems and methods for adaptive range coverage using LIDAR
CN111566571B (zh) 2018-01-08 2022-05-13 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
DE112018007189T5 (de) * 2018-03-29 2020-12-10 Mitsubishi Electric Corporation Fahrzeugbeleuchtungssteuerungsvorrichtung, fahrzeugbeleuchtungssteuerungsverfahren undfahrzeugbeleuchtungssteuerungsprogramm
CN112204452B (zh) * 2018-06-15 2022-12-30 大陆汽车有限责任公司 用于生成具有干扰光抑制的虚像的设备
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
EP3924759A4 (en) 2019-02-15 2022-12-28 Digilens Inc. METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS
JP2022525165A (ja) 2019-03-12 2022-05-11 ディジレンズ インコーポレイテッド ホログラフィック導波管バックライトおよび関連する製造方法
EP3980825A4 (en) 2019-06-07 2023-05-03 Digilens Inc. WAVEGUIDES INCORPORATING TRANSPARENT AND REFLECTIVE GRATINGS AND METHODS OF MAKING THEREOF
JP7257275B2 (ja) * 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ 3次元距離測定装置
JP2022543571A (ja) 2019-07-29 2022-10-13 ディジレンズ インコーポレイテッド 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置
EP4022370A4 (en) 2019-08-29 2023-08-30 Digilens Inc. VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING
US11493771B2 (en) 2019-10-04 2022-11-08 Rockwell Collins, Inc. NVIS compatible head-up display combiner alignment detector
US20210208276A1 (en) * 2020-01-07 2021-07-08 Liturex (Guangzhou) Co. Ltd High dynamic range lidar
DE102020113579A1 (de) 2020-05-19 2021-11-25 Audi Aktiengesellschaft Kameravorrichtung zum Erzeugen eines Abbilds einer Umgebung sowie Scheinwerferanordnung
CA3194223A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
US11567179B2 (en) 2020-07-21 2023-01-31 Leddartech Inc. Beam-steering device particularly for LIDAR systems
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CN112887628B (zh) * 2021-01-26 2022-08-30 光为科技(广州)有限公司 光探测和测距设备及增加其动态范围的方法
WO2022271750A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
CN114708615B (zh) * 2022-04-02 2024-03-22 西安电子科技大学广州研究院 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质
IL293236A (en) * 2022-05-22 2023-12-01 Green2Pass Ltd Detecting objects using multidimensional optical sensing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3947119A (en) * 1974-02-04 1976-03-30 Ball Brothers Research Corporation Active sensor automatic range sweep technique
EP0353200A2 (en) * 1988-06-27 1990-01-31 FIAT AUTO S.p.A. Method and device for instrument-assisted vision in poor visibility, particularly for driving in fog
JPH07134178A (ja) * 1993-11-12 1995-05-23 Omron Corp レーザ光を用いた車載用距離測定装置
JPH10503296A (ja) * 1996-03-01 1998-03-24 イェイルズタウン コーポレイション エヌ ヴェー 低レベルの照明下の対象を観測する方法及び装置
JP2000207698A (ja) * 1999-01-11 2000-07-28 Unisia Jecs Corp 障害物検知装置
WO2000054070A1 (de) * 1999-03-11 2000-09-14 Volkswagen Aktiengesellschaft Vorrichtung mit mindestens einem lasersensor und verfahren zum betreiben eines lasersensors

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE451771B (sv) * 1982-10-15 1987-10-26 Asea Ab Forfaringssett for metning av molnhojd
GB2141890B (en) 1983-04-30 1986-10-22 Marconi Avionics Tv cameras; inspecting a subject in a turbid medium
DE3404396A1 (de) * 1984-02-08 1985-08-14 Dornier Gmbh, 7990 Friedrichshafen Vorrichtung und verfahren zur aufnahme von entfernungsbildern
JPS6146737A (ja) * 1984-08-13 1986-03-07 Nissan Motor Co Ltd 視界向上装置
US4915498A (en) * 1988-04-19 1990-04-10 Malek Joseph H Range imaging sensor
US5034810A (en) * 1989-12-07 1991-07-23 Kaman Aerospace Corporation Two wavelength in-situ imaging of solitary internal waves
FR2689251B1 (fr) * 1992-03-27 1994-08-26 Thomson Csf Dispositif de télémétrie et son application à un système de détection d'obstacles.
US5298905A (en) * 1992-06-12 1994-03-29 Motorola, Inc. Visible light detection and ranging apparatus and method
JPH0743469A (ja) * 1993-07-30 1995-02-14 Omron Corp 車々間通信システム
JPH07182600A (ja) * 1993-12-22 1995-07-21 Nissan Motor Co Ltd 車両用距離検出装置
JPH07260937A (ja) * 1994-03-22 1995-10-13 Nikon Corp 距離測定装置
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
EP0867747A3 (en) * 1997-03-25 1999-03-03 Sony Corporation Reflective display device
US6861809B2 (en) * 1998-09-18 2005-03-01 Gentex Corporation Headlamp control to prevent glare
JP4008179B2 (ja) * 2000-03-14 2007-11-14 三菱重工業株式会社 水上浮遊物の探知・追尾方法及びその装置
JP2001313850A (ja) * 2000-05-01 2001-11-09 Sony Corp 車載用近赤外線照射撮影装置
AU2003247148A1 (en) * 2002-08-05 2004-02-23 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
CA2554955C (en) * 2004-02-04 2010-09-14 Elbit Systems Ltd. Gated imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3947119A (en) * 1974-02-04 1976-03-30 Ball Brothers Research Corporation Active sensor automatic range sweep technique
EP0353200A2 (en) * 1988-06-27 1990-01-31 FIAT AUTO S.p.A. Method and device for instrument-assisted vision in poor visibility, particularly for driving in fog
JPH07134178A (ja) * 1993-11-12 1995-05-23 Omron Corp レーザ光を用いた車載用距離測定装置
JPH10503296A (ja) * 1996-03-01 1998-03-24 イェイルズタウン コーポレイション エヌ ヴェー 低レベルの照明下の対象を観測する方法及び装置
JP2000207698A (ja) * 1999-01-11 2000-07-28 Unisia Jecs Corp 障害物検知装置
WO2000054070A1 (de) * 1999-03-11 2000-09-14 Volkswagen Aktiengesellschaft Vorrichtung mit mindestens einem lasersensor und verfahren zum betreiben eines lasersensors

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009303166A (ja) * 2008-06-17 2009-12-24 Hamamatsu Photonics Kk 撮像システムおよび周辺モニタ装置
KR101491177B1 (ko) * 2009-11-25 2015-02-12 현대자동차주식회사 나이트 뷰 시스템 및 제어방법
KR20150024860A (ko) * 2012-05-29 2015-03-09 브라이트웨이 비젼 엘티디. 적응 피사계 심도를 이용한 게이트된 영상
JP2015527761A (ja) * 2012-05-29 2015-09-17 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
KR102144521B1 (ko) * 2012-05-29 2020-08-14 브라이트웨이 비젼 엘티디. 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템
WO2014119241A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 測距方法および測距システム
WO2017130934A1 (ja) * 2016-01-29 2017-08-03 パナソニックIpマネジメント株式会社 遮熱フィルタおよび監視システム
JPWO2017130934A1 (ja) * 2016-01-29 2018-06-14 パナソニックIpマネジメント株式会社 遮熱フィルタおよび監視システム
CN108474887A (zh) * 2016-01-29 2018-08-31 松下知识产权经营株式会社 隔热滤光片和监视系统
US10989848B2 (en) 2016-01-29 2021-04-27 Panasonic Intellectual Property Management Co., Ltd. Heat-blocking filter and monitoring system
JP2018205187A (ja) * 2017-06-06 2018-12-27 京セラ株式会社 電磁波検出装置、電磁波検出システム、およびプログラム

Also Published As

Publication number Publication date
US20050269481A1 (en) 2005-12-08
ES2301835T3 (es) 2008-07-01
DE60319238D1 (de) 2008-04-03
JP4498135B2 (ja) 2010-07-07
DE60319238T2 (de) 2009-02-12
US7733464B2 (en) 2010-06-08
JP5162603B2 (ja) 2013-03-13
WO2004013654B1 (en) 2004-03-25
AU2003247148A1 (en) 2004-02-23
EP1540373A1 (en) 2005-06-15
EP1540373B1 (en) 2008-02-20
WO2004013654A1 (en) 2004-02-12
JP2010148130A (ja) 2010-07-01
ATE386951T1 (de) 2008-03-15

Similar Documents

Publication Publication Date Title
JP4498135B2 (ja) 車両搭載用ナイトビジョン画像処理システム及びその方法
JP3958996B2 (ja) 車両内での視界を改善する方法
JP4204558B2 (ja) 画像形成装置および画像形成方法
US7015944B2 (en) Device for improving visibility in vehicles
US7646884B2 (en) Active night vision image intensity balancing system
US6967569B2 (en) Active night vision with adaptive imaging
CN100565273C (zh) 车辆防眩目系统
US6803574B2 (en) Night vision device for vehicles
JP2005195601A (ja) 自動車のための運転条件を検出するシステムおよび方法
EP3396412A1 (en) Vehicular sensor, and vehicle provided with same
US20070069135A1 (en) Method and device for controlling a radiation source
JP4204557B2 (ja) 画像形成装置および画像形成方法
JP4688196B2 (ja) 自動車用暗視システム
US11772545B2 (en) Apparatus, system and method for controlling lighting using gated imaging
JP2003203294A (ja) 車両での視界を改善する方法
US20080099662A1 (en) Method for adjusting an object detection apparatus
US20050065683A1 (en) Active night vision control system
IL165859A (en) Vehicle mounted night vision imaging system and method
JP2009018723A (ja) 投光器付き画像生成装置、投光器および画像生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060612

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090430

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090605

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090821

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091119

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100326

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4498135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term