JP2002274258A - Night vision system for automobile - Google Patents

Night vision system for automobile

Info

Publication number
JP2002274258A
JP2002274258A JP2001084602A JP2001084602A JP2002274258A JP 2002274258 A JP2002274258 A JP 2002274258A JP 2001084602 A JP2001084602 A JP 2001084602A JP 2001084602 A JP2001084602 A JP 2001084602A JP 2002274258 A JP2002274258 A JP 2002274258A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
infrared
near
vision system
night vision
front
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001084602A
Other languages
Japanese (ja)
Other versions
JP4688196B2 (en )
JP2002274258A5 (en )
Inventor
Katsumi Inuzuka
Yutaka Ishiyama
Takashi Kawada
Toshiyuki Kondo
Fumio Kubo
Masato Okamoto
文雄 久保
政人 岡本
任史 河田
勝己 犬塚
豊 石山
俊幸 近藤
Original Assignee
Stanley Electric Co Ltd
スタンレー電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide a night vision system simply, inexpensively being constituted, avoiding mutual interference with a car on the opposite lane, and considering the eye safe of pedestrians or the like.
SOLUTION: This night vision system for an automobile 10 is equipped with an infrared source 12 having at least one near infrared LED 12a projecting a near infrared ray to the front of the automobile 11; an imaging means 13 detecting an image by near infrared ray from the front of the automobile; a display means 15 to which an imaging signal from the imaging means is inputted and displaying an imaging screen of the imaging signal; and a control means 14 driving and controlling them.
COPYRIGHT: (C)2002,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、例えば夜間,霧または雨等の悪天候における走行時に、赤外線カメラを利用して前方の視界を確保するようにした、自動車用暗視システムに関するものである。 BACKGROUND OF THE INVENTION The present invention is, for example at night, when traveling in fog or bad weather, such as rain, and so as to secure the forward visibility by using an infrared camera, to a night vision system for a motor vehicle.

【0002】 [0002]

【従来の技術】従来、このような自動車用暗視システムは、各種方式が開発されており、例えば所謂パッシブタイプとアクティブタイプのものがある。 Conventionally, such a night vision system for a motor vehicle, various types have been developed, for example, there is so-called passive type and active type. パッシブタイプの自動車用暗視システムは、歩行者や動物等が発する赤外線を、赤外線カメラにより撮像して、これらの歩行者や動物等を判別するように構成されている。 Passive night vision system for a motor vehicle, the infrared pedestrians or animals like emitted, by imaging by the infrared camera, are configured to determine these pedestrians and animals, or the like. また、アクティブタイプの自動車用暗視システムは、前方に向かって赤外線を照射して、その反射光をカメラにより撮像して、撮像画面をディスプレイに画面表示することにより、前方の視界を確認することができるように構成されている。 The night vision system for the active type vehicle, by irradiating infrared rays toward the front, the reflected light is captured by the camera, by screen displays the captured screen on the display, to confirm the front sight and it is configured to allow.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、上述したパッシブタイプの自動車用暗視システムにおいては、 [SUMMARY OF THE INVENTION However, in the automotive night vision system of a passive type described above,
歩行者や動物等が発する微弱な赤外線に基づいて赤外線カメラにより撮像を行なうことから、ここで使用される赤外線カメラは非常に高価である。 Since performing imaging by the infrared camera based on the weak infrared pedestrians and animals like emitted infrared camera used here it is very expensive.

【0004】これに対して、アクティブタイプの自動車用暗視システムにおいては、例えば前照灯内に設置した近赤外線フィルタを、前照灯のロービーム時に、ハイビーム用のバルブ前面に移動させて、ハイビーム用のバルブからの光を近赤外線フィルタを透過させて、近赤外線成分のみを前方に向かって照射することにより、その反射光をカメラによって撮像するようになっている。 [0004] In contrast, in the active type of night vision system for a motor vehicle, a near infrared filter installed for example headlight in, when headlamp low beam, by moving the valve front of the high-beam, high beam the light from the bulb of use by transmitting near-infrared filters, by irradiating toward only near infrared component in the front, so as to image by the camera and the reflected light.

【0005】従って、前照灯のロービーム時に、ハイビーム用のバルブからの光を近赤外線フィルタを介して前方に向かって照射していることから、前照灯のロービーム時においてはハイビーム用のバルブを点灯させることになるため、消費電力が大幅に増大してしまう。 Accordingly, when the headlight low beam, since it is irradiated toward the front of the light from the bulb for high beam through the near infrared filter, a valve for high beam at the time of the headlamp low beam since that will be lit, power consumption is greatly increased. そして、前照灯のハイビーム時には、近赤外線フィルタをハイビーム用のバルブ前面から退避させるため、前照灯の内部に近赤外線フィルタを移動させるための駆動手段を設ける必要がある。 Then, when the headlamp high beam, for saving the near-infrared filter from the valve front of the high beam, it is necessary to provide a driving means for moving the near-infrared filter into the interior of the headlamp. これにより、前照灯の構成が複雑になり、コストが高くなってしまう。 As a result, the configuration of the headlamp is complicated, the cost is increased. また、近赤外線フィルタは、黒っぽい外観を有しているため、前照灯そして自動車前部のデザイン上の見栄えが損なわれてしまう。 Also, near infrared filters, dark because it has the appearance, headlamp and looking on automotive front design is impaired.

【0006】さらに、対向車も同様のアクティブタイプの自動車用暗視システムを搭載している場合には、対向車からの近赤外線が自車のカメラに入射することにより、相互干渉が発生しやすくなり、前方の視界を正確に視認することができなくなることがある。 Furthermore, in the case where even oncoming vehicles are equipped with an automotive night vision system similar active type, by near infrared from oncoming vehicle enters the vehicle camera, mutual interference is likely to occur it, it may be impossible to accurately recognize the front of the sight. また、交差点の右左折時やカーブ走行時には、ステアリングの操舵角等に連動して、近赤外線の配光を制御する必要があるが、そのために近赤外線を反射させるための反射鏡を移動させなければならず、構成が複雑となり、コストが高くなってしまう。 Further, at the time of right or left turn or during cornering of the intersection, in conjunction with the steering of the steering angle, etc., it is necessary to control the near-infrared light distribution, it is moved a reflecting mirror for reflecting the near infrared to the Banara not a, the configuration is complicated, the cost is increased. さらに、歩行者が比較的近くにいる場合には、照射する近赤外線が歩行者の目に入ってしまうことがある。 In addition, if the pedestrian is in the relatively nearby, sometimes near-infrared irradiation resulting in the eyes of pedestrians.

【0007】本発明は、以上の点から、簡単に且つ低コストで構成され得ると共に、対向車との相互干渉を回避し、また歩行者等のアイセーフを考慮した自動車用暗視システムを提供することを目的としている。 [0007] The present invention, from the above points, easily and with can be configured at low cost, avoiding the mutual interference between the oncoming vehicle, also provides considering eye-safe such as a pedestrian night vision system for a motor vehicle It is aimed at.

【0008】 [0008]

【課題を解決するための手段】上記目的は、本発明によれば、自動車の前方に向かって近赤外線を照射する、少なくとも一つの近赤外LEDを備えた赤外光源と、自動車の前方からの近赤外線による画像を検出する撮像手段と、撮像手段からの画像信号が入力されて、その撮像画面を表示する表示手段と、これらを駆動制御する制御手段と、から構成されていることを特徴とする、自動車用暗視システムにより、達成される。 SUMMARY OF THE INVENTION The above object is achieved according to the present invention is irradiated with near infrared rays toward the front of the vehicle, and the infrared light source with at least one near-infrared LED, from the front of the motor vehicle wherein the imaging unit, is entered image signal from the imaging means, display means for displaying the imaging screen, and control means for driving and controlling them, to be composed of for detecting an image of by the near-infrared and by night vision system for a motor vehicle is achieved.

【0009】本発明による自動車用暗視システムは、好ましくは、上記赤外光源の近赤外LEDが、制御手段によりパルス駆動される。 [0009] night vision system for a vehicle according to the present invention, preferably, a near-infrared LED of the infrared light source is pulse-driven by the control means.

【0010】本発明による自動車用暗視システムは、好ましくは、上記赤外光源が、横方向に並んだ複数個の近赤外LEDを含んでおり、各近赤外LEDが、それぞれ制御手段により個別に駆動制御されることにより、赤外光源全体の配向特性が横方向に調整される。 [0010] night vision system for a vehicle according to the present invention, preferably, the infrared light source includes a plurality of near-infrared LED arranged in the lateral direction, the near-infrared LED are respectively by the control means by being individually driven and controlled, the orientation characteristics of the entire infrared source is adjusted in the lateral direction.

【0011】本発明による自動車用暗視システムは、好ましくは、上記撮像手段が、短い間隔で、赤外光源による近赤外線の非照射時及び照射時の撮像を行なって、これらの撮像信号の差の絶対値による画像信号を、表示手段に出力する。 [0011] night vision system for a vehicle according to the present invention, preferably, the imaging means, at short intervals, perform the imaging at the time and irradiation non-irradiated near infrared by the infrared light source, the difference between these image signals image signal by the absolute value of the outputs to the display unit.

【0012】本発明による自動車用暗視システムは、好ましくは、さらに、自動車の前方の所定距離内に検出範囲を有する近赤外近接センサを備えており、近赤外近接センサが検出信号を出力したとき、制御手段がこの検出信号に基づいて、赤外光源を消灯させる。 [0012] night vision system for a vehicle according to the present invention preferably further comprises a near-infrared proximity sensor having a detection range within a predetermined distance in front of the car, it outputs a detection signal near infrared proximity sensor when the control means based on the detection signal, turns off the infrared light source.

【0013】上記構成によれば、制御手段により制御されることにより、赤外光源の各近赤外LEDから近赤外光が出射して、自動車の前方に向かって照射され、その反射光が撮像手段によって撮像されることにより、撮像画面が表示手段により表示される。 With the above arrangement, by being controlled by the control means, from the near-infrared LED of the infrared light source emits near-infrared light, is irradiated toward the front of the car, is the reflected light by being captured by the imaging means, the imaging screen is displayed by the display means. これにより、所謂アクティブタイプとして動作することにより、自動車の前方の視界が近赤外線により確実に確認され得ることになる。 Thus, by acting as a so-called active type, the front sight of the vehicle will be capable of being reliably confirmed by near infrared.

【0014】この場合、赤外光源が近赤外LEDにより構成されると共に、撮像手段が例えばCCDカメラ等の標準的なカメラにより構成されるので、赤外光源の消費電力が少なくて済み、さらに暗視システム全体が簡単な構成により、低コストで構成され得ることになる。 [0014] In this case, the infrared light source is constituted by a near-infrared LED, since the imaging means is constituted by a standard camera such as a CCD camera for example, it requires less power consumption of the infrared light source further the whole night vision system simple structure, so that may be configured at a low cost.

【0015】上記赤外光源の近赤外LEDが、制御手段によりパルス駆動される場合には、各近赤外LEDの点灯時間が短くなるので、消費電力がより一層低減され得ると共に、例えば対向車が同様の自動車用暗視システムを搭載している場合でも、対向車の赤外光源からの近赤外光によって、撮像手段による撮像画面が影響を受けることがない。 The near-infrared LED of the infrared light source is, when it is pulsed by the control means, the lighting time of each near-infrared LED is shortened, the power consumption can more be reduced further, for example, opposing even if the car is equipped with similar night vision systems for motor vehicles, by near-infrared light from oncoming infrared light source, it is not affected captured screen by the imaging means. 従って、対向車間の相互干渉が確実に回避され得ることになる。 Therefore, the mutual interference of the opposing vehicle can be reliably avoided.

【0016】上記赤外光源が、横方向に並んだ複数個の近赤外LEDを含んでおり、各近赤外LEDが、それぞれ制御手段により個別に駆動制御されることにより、赤外光源全体の配向特性が横方向に調整される場合には、 [0016] The infrared light source includes a plurality of near-infrared LED arranged in the lateral direction, by the near-infrared LED is individually driven and controlled by respective control means, the entire infrared source when the orientation characteristics of are adjusted laterally,
例えば反射鏡の向きを変更する等の可動部品及び駆動機構を使用することなく、赤外光源からの近赤外光の照射方向を横方向に調整することができるので、自動車の右左折時やカーブ走行時に自動車の進行方向に沿って近赤外線を照射して、前方を確認することが可能である。 For example, without the use of moving parts and a drive mechanism such as to change the orientation of the reflecting mirror, it is possible to adjust the irradiation direction of the infrared light from the infrared light source in the lateral direction, Ya when turning right or left of the automobile by irradiating near infrared rays along a curve running in the traveling direction of the automobile, it is possible to check the front.

【0017】上記撮像手段が、短い間隔で、赤外光源による近赤外線の非照射時及び照射時の撮像を行なって、 [0017] The imaging means, at short intervals, perform the imaging at the time and irradiation non-irradiated near infrared by the infrared light source,
これらの撮像信号の差の絶対値による画像信号を、表示手段に出力する場合には、赤外光源による近赤外線が照射される部分が浮き上がった画像が表示手段に表示されることになる。 An image signal by the absolute value of the difference between these image signals, when outputting to the display means, the image was lifted the portion near infrared by infrared light is irradiated is displayed on the display means. 従って、自動車の運転者は、表示手段の画面を見ることにより、例えば歩行者等が浮き上がって見えることになり、迅速に歩行者等を視認することができる。 Accordingly, the driver of the vehicle, by looking at the screen of the display unit, will be for example look pedestrian or the like floated, it is possible to quickly recognize the pedestrian or the like.

【0018】さらに、自動車の前方の所定距離内に検出範囲を有する近赤外近接センサを備えており、近赤外近接センサが検出信号を出力したとき、制御手段がこの検出信号に基づいて、赤外光源を消灯させる場合には、近赤外近接センサの検出範囲内に歩行者が居る場合に、近赤外近接センサがこの歩行者を検出して検出信号を出力することにより、制御手段が赤外光源を消灯させる。 [0018] further comprising a near-infrared proximity sensor having a detection range within a predetermined distance in front of the motor vehicle, when the near infrared proximity sensor outputs a detection signal, the control means on the basis of this detection signal, when turning off the infrared light source, when a pedestrian is present within the detection range of the near-infrared proximity sensor, by a near-infrared proximity sensor outputs a detection signal by detecting a pedestrian, the control means but to turn off the infrared light source. これにより、自動車の前方の所定距離内に歩行者が居る場合に、赤外光源が消灯されるので、赤外光源からの近赤外線が比較的近距離で歩行者に照射され、歩行者の目に入ることが防止され、所謂アイセーフが達成されることになる。 Thus, when a pedestrian ahead within a predetermined distance of the motor vehicle is present, since the infrared light source is turned off, is irradiated in a pedestrian at a relatively short distance is near infrared rays from the infrared light source, the eyes of the pedestrian It is prevented from entering the results in the so-called eye-safe is achieved.

【0019】このようにして、本発明による自動車用暗視システムによれば、アクティブタイプとして、赤外光源により自動車の前方に向かって近赤外線を照射し、その反射光を撮像手段により撮像して、撮像画面を表示手段に表示するようにしたから、近赤外LEDから成る赤外光源の消費電力が、従来のハイビーム用バルブを利用する場合と比較して大幅に低減され得る。 [0019] Thus, according to the night vision system for a vehicle according to the present invention, as an active type, toward the front of the motor vehicle by the infrared light source is irradiated with near infrared rays, by imaging by the imaging means and the reflected light , it is so arranged that the display means an image screen, the power consumption of the infrared light source composed of a near-infrared LED can be greatly reduced as compared with the case of using the conventional high beam bulb. この場合、赤外光源は近赤外線を出射するので、黒っぽい外観の近赤外線フィルタが不要となり、前照灯そして自動車前部のデザイン上の見栄えが損なわれるようなことはない。 In this case, since the emitting infrared light source near infrared, it becomes unnecessary near-infrared filter blackish appearance, no such headlamps and appearance on automotive front design is impaired.

【0020】 [0020]

【発明の実施の形態】以下、この発明の好適な実施形態を図1乃至図5を参照しながら、詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to FIGS. 1 to 5 a preferred embodiment of the present invention will be described in detail. 尚、 still,
以下に述べる実施形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、 Embodiments described below are preferred specific examples of the present invention, various technically preferable limitations are imposed,
本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。 The scope of the present invention, unless there are descriptions specifically limiting the invention in the following description, the invention is not limited to these embodiments.

【0021】図1及び図2は、本発明による自動車用暗視システムの一実施形態の構成を示している。 [0021] Figures 1 and 2 show a configuration of an embodiment of a night vision system for a vehicle according to the present invention. 図1及び図2において、自動車用暗視システム10は、自動車1 1 and 2, the night vision system 10 for a motor vehicle, motor vehicle 1
1の前部に設けられた赤外光源としてのLEDランプ1 LED lamp 1 as an infrared light source provided on one of the front
2と、撮像手段としてのカメラ13と、自動車11の内部に設けられた制御手段としての制御回路14と、自動車11の車室の前側に設けられた表示手段としてのモニタ15と、さらに自動車11の前部に設けられた近赤外近接センサとしての赤外受光素子16と、から構成されている。 2, a camera 13 as an imaging unit, a control circuit 14 as a control means provided inside the vehicle 11, a monitor 15 as a display means provided in front of the passenger compartment of the automobile 11, further vehicle 11 the infrared light receiving element 16 as a near infrared proximity sensor provided on the front, and a.

【0022】上記LEDランプ12は、図1に示すように、自動車11の前部のバンパー11aの両端付近に設けられている。 [0022] The LED lamp 12, as shown in FIG. 1, are provided at both ends near the front of the bumper 11a of the vehicle 11. ここで、LEDランプ12は、図3に示すように、複数個の横方向に並んだ近赤外LED12a Here, LED lamp 12, as shown in FIG. 3, the near-infrared LED12a arranged in a plurality of laterally
と、その方向に配設された反射鏡12bと、から構成されている。 When, and a reflecting mirror 12b disposed in that direction. この近赤外LED12aは、例えば波長88 The near-infrared LED12a is, for example, a wavelength 88
0nmの近赤外光を出射するように構成されている。 And it is configured to emit near-infrared light 0 nm.

【0023】そして、LEDランプ12は、各近赤外L [0023] Then, LED lamp 12, each near-infrared L
ED12aが制御回路14により個々に独立して駆動制御されることにより、例えば図3にて符号Aで示す中央領域の近赤外LED12aが点灯することにより、自動車11の前方に向かって真っ直に近赤外線を照射する。 By being individually independently driven and controlled by ED12a control circuit 14, for example by near-infrared LED12a central region indicated by symbol A is turned in Figure 3, in half straight toward the front of the vehicle 11 It is irradiated with near-infrared.
尚、LEDランプ12による近赤外線の照射範囲は、図4にて符号X0で示すように、自動車11の前照灯11 The irradiation range of the near infrared by the LED lamp 12, as indicated by reference numeral X0 in FIG. 4, the headlamp 11 of an automobile 11
bによるロービームの照射範囲11cより前方の例えば80乃至120mの範囲で道路幅(例えば7m)程度とする。 And road width (e.g. 7m) degree range in front of for example 80 to 120m from the irradiation range 11c of the low beam by b.

【0024】また図3にて符号Bで示す左側領域の近赤外LED12aが点灯することにより、これらの近赤外LED12aから出射した近赤外線が、反射鏡12bにより反射されて、自動車11の前方右寄りに向かって、 [0024] By the near infrared LED12a the left region indicated by symbol B in FIG. 3 is turned on, these near infrared rays emitted from the near-infrared LED12a is reflected by the reflecting mirror 12b, the front of the automobile 11 toward the right side,
即ち図4にて符号X1で示す照射範囲に向かって、近赤外線を照射する。 That towards the irradiation range indicated by the symbol X1 in FIG. 4, illuminates the near-infrared.

【0025】さらに図3にて符号Cで示す右側領域の近赤外LED12aが点灯することにより、これらの近赤外LED12aから出射した近赤外線が、反射鏡12b Furthermore by near infrared LED12a the right region indicated by reference numeral C is turned in FIG. 3, near infrared rays emitted from these NIR LED12a is, the reflecting mirror 12b
により反射されて、自動車11の前方左寄りに向かって、即ち図4にて符号X2で示す照射範囲に向かって、 Is reflected by, toward the front left side of the vehicle 11, i.e. toward the irradiating range indicated by reference numeral X2 in FIG. 4,
近赤外線を照射する。 It is irradiated with near-infrared.

【0026】上記カメラ13は、LEDランプ12の各近赤外LED12aから出射される近赤外線に対して感度を有する例えばCCD,CMOSタイプの固体撮像素子から構成されており、自動車11の前部の前照灯11 [0026] The camera 13, a CCD sensitive to near infrared rays emitted from the respective near infrared LED12a the LED lamp 12 is constituted by a CMOS type solid-state imaging device, the front of the vehicle 11 headlight 11
b内に配置されている。 It is disposed within b. 尚、一般的な工業用TVでは、 It should be noted that, in general industrial TV,
赤外カットフィルタを装着することが多いが、このカメラ13は、近赤外線による撮像を行なうため、このような赤外カットフィルタは不要である。 Is often mounted an infrared cut filter, the camera 13, for performing imaging by near infrared, such an infrared cut filter is not required. これにより、上記カメラ13は、例えば120枚/秒以上の高速撮像を行なうことができるようになっている。 Thus, the camera 13, for example, as can be performed fast imaging of more than 120 images / second.

【0027】上記制御回路14は、LEDランプ12とカメラ13とを同期させて、LEDランプ12の各近赤外LED12aを駆動制御すると共に、カメラ13及びモニタ15を制御するようになっている。 [0027] The control circuit 14 is synchronized with the LED lamp 12 and the camera 13, to drive control each infrared LED12a the LED lamp 12, and controls the camera 13 and monitor 15. この場合、制御回路14は、図5(A)に示すように、各近赤外LE In this case, the control circuit 14, as shown in FIG. 5 (A), the near infrared LE
D12aを例えば2m秒のパルス幅でパルス駆動すると共に、図5(B)に示すように、カメラ13を駆動制御する。 While pulsed at for example, a pulse width of 2m sec D12a, as shown in FIG. 5 (B), controls the driving of the camera 13.

【0028】その際、制御回路14は、一枚の画像を撮像する際に、先づLEDランプ12の非点灯状態で、カメラシャッタを開くことにより、一回目の露光を行なって、第一の撮像信号P1を取得し、さらに所定時間(例えば8m秒)後に、LEDランプ12の点灯タイミングで、カメラシャッタを開いて、二回目の露光を行なって、第二の撮像信号P2を取得する。 [0028] At this time, the control circuit 14, when imaging a single image, a non-lighting state of the previous Dzu LED lamp 12, by opening the camera shutter, by performing exposure of first time, the first It acquires an imaging signal P1, after further predetermined time period (e.g., 8m seconds), at the lighting timing of the LED lamp 12, to open the camera shutter, by performing exposure a second time to obtain a second image signal P2. そして、制御回路14は、蓄積してある第一の撮像信号P1と、この第二の撮像信号P2との差分信号(P2−P1)の絶対値をモニタ15に出力するようになっている。 Then, the control circuit 14 includes a first image pickup signal P1 that is stored, and outputs the absolute value of the difference signal (P2-P1) between the second image pickup signal P2 to the monitor 15.

【0029】ここで、制御回路14は、モニタ15への撮像信号の出力に関して、運転者がモニタ15の画面を見て違和感を感じない程度の間隔、例えば33m秒毎に行なうようになっている。 [0029] Here, the control circuit 14, with respect to output of the image signal to the monitor 15, the driver is adapted to perform distance enough to not feel uncomfortable to look at the screen of the monitor 15, for example, every 33m sec . 尚、制御回路14は、例えばステアリングの操舵角等に基づいて、LEDランプ12 The control circuit 14, for example based on the steering of the steering angle, etc., LED lamps 12
の各近赤外LED12aを個々に駆動制御することにより、図4に示すように、近赤外線の照射方向を、自動車の前方に対して左右に調整するようになっている。 By individually driving and controlling the near infrared LED12a of, as shown in FIG. 4, the irradiation direction of the near infrared rays, so as to adjust the right and left with respect to the front of the automobile.

【0030】上記モニタ15は、自動車11の車室内に設けられた専用のモニタまたはカーナビゲーションシステム等のモニタを使用して、その画面上に上述した撮像画面が表示され、あるいは所謂ヘッドアップディスプレイとして、フロントガラスの内面に設けられたスクリーンに上述した撮像画面が投影されるようになっている。 [0030] The monitor 15 uses the monitor such as a dedicated monitor or a car navigation system provided in the passenger compartment of the vehicle 11, as an image pickup screen as described above on the screen is displayed or a so-called head-up display, imaging screen above the screen provided on the inner surface of the windshield is adapted to be projected.

【0031】上記赤外受光素子16は、LEDランプ1 [0031] The infrared light-receiving element 16, LED lamp 1
2の各近赤外LED12aから出射される近赤外線に感度を有する赤外受光素子であって、フォトダイオード, A infrared light-receiving element having sensitivity to near infrared rays emitted from the two of each near-infrared LED 12a, a photodiode,
フォトトランジスタ等から構成されており、自動車11 It is composed of a photo-transistor or the like, the automobile 11
の前部にてLEDランプ12に隣接して設けられている。 It is provided adjacent the at the front to the LED lamp 12. そして、上記赤外受光素子16は、自動車11の前方の比較的近い所定距離、例えば数メートル内の検出範囲を備えており、この検出範囲内に例えば歩行者が居る場合に、歩行者により反射された近赤外光を検出して、 Then, the infrared light-receiving element 16 is relatively close predetermined distance in front of the automobile 11, for example, a detection range within a few meters, when the staying example pedestrians within the detection range, reflected by the pedestrian It has been to detect the near-infrared light,
検出信号を出力するようになっている。 And it outputs a detection signal. これに対して、 On the contrary,
制御回路14は、赤外受光素子16からの検出信号に基づいて、LEDランプ12を消灯させ、あるいは点灯を停止させるようになっている。 The control circuit 14 based on the detection signal from the infrared light-receiving element 16, which is an LED lamp 12 is turned off, or turned on to stop.

【0032】本発明実施形態による自動車用暗視システム10は、以上のように構成されており、その動作は以下に示すように行なわれる。 [0032] The present invention embodiment a night vision system 10 for a motor vehicle according is configured as described above, the operation is performed as shown below. 先づ、制御回路14がLE Previously Dzu, control circuit 14 LE
Dランプ12及びカメラ13を駆動制御することにより、LEDランプ12の非点灯時の第一の撮像信号P1 By controlling the driving of the D lamp 12 and camera 13, a first image pickup signal OFF when the LED lamp 12 P1
及びLEDランプ12の点灯時の第二の撮像信号P2を得て、モニタ15に対して、第一の撮像信号P1及び第二の撮像信号P2の差分信号を出力する。 And obtaining a second image signal P2 at the time of lighting the LED lamp 12, the monitor 15, and outputs a difference signal of the first image pickup signal P1 and the second image pickup signal P2. これにより、 As a result,
モニタ15は、その画面上に上記差分信号による画像を表示する。 Monitor 15 displays an image according to the difference signal on its screen. この差分信号による画像は、LEDランプ1 Image according to the difference signal, LED Lamp 1
2による近赤外線が照射される物体等による反射光のみを抽出しているので、例えば歩行者等が浮き上がったように表示されることになる。 Since near infrared rays by 2 is extracted only light reflected by the object or the like to be irradiated, to be displayed for example as a pedestrian or the like is lifted. 従って、夜間や、霧または雨等の悪天候時に、実際には見にくい状態であっても、 Therefore, at night and, at the time of fog or bad weather such as rain, even actually hard to see state,
自動車の前方に居る歩行者等が確実に視認され得ることになる。 So that the pedestrian or the like who is in front of the motor vehicle can be reliably visually recognized.

【0033】ここで、自動車11が、交差点での右左折やカーブ走行時にステアリングが操作されると、このステアリングの操舵角に基づいて、制御回路14がLED [0033] Here, automobile 11, when the steering is operated during right and left turns and cornering at intersections, on the basis of the steering angle of the steering, the control circuit 14 LED
ランプ12の個々の近赤外LED12aを駆動制御することにより、例えば図4にて符号X1またはX2で示すように、LEDランプ12が自動車11の前方の右寄りまたは左寄りに向かって、即ち自動車11の進行方向に沿って近赤外線を照射することになる。 By controlling the driving of the individual near-infrared LED12a lamp 12, for example as indicated at X1 or X2 in Fig. 4, LED lamps 12 toward the front of the rightward or leftward of the motor vehicle 11, i.e. the vehicle 11 It will irradiate near-infrared rays along the direction of travel. 従って、交差点での右左折やカーブ走行時にも、自動車11の進行方向に沿ってLEDランプ12により近赤外線が照射されることにより、歩行者等の画像がモニタ15の画面に表示されることになり、歩行者等を確実に視認することができる。 Accordingly, even when right or left turn or cornering at intersections, by near infrared is irradiated by an LED lamp 12 along the traveling direction of the vehicle 11, that the image of a pedestrian or the like is displayed on the screen of the monitor 15 now, it is possible to reliably recognize the pedestrian or the like.

【0034】また、上述のように、自動車11が走行しており、自動車用暗視システム10が動作しているときに、前方の近く、例えば数メートルの範囲内に歩行者が現われて、赤外受光素子16の検出範囲内に入ると、赤外受光素子16がこれを検出して、検出信号を制御回路14に出力する。 Further, as described above, has an automobile 11 is traveling, when the automotive night vision system 10 is operating, near the front, for example, a pedestrian appears within a few meters, red Once within the detection range of the outer light receiving elements 16, the infrared light receiving element 16 detects this and outputs a detection signal to the control circuit 14. これを受けて、制御回路14は、LE In response to this, the control circuit 14, LE
Dランプ12を消灯させ、あるいは点灯を停止させる。 It turns off the D lamp 12, or stops the lighting.
従って、自動車11の前方の近くに歩行者が居る場合、 Therefore, if the pedestrian is present in the vicinity of the front of the vehicle 11,
LEDランプ12が消灯し、あるいは点灯しないことにより、LEDランプ12からの近赤外光が歩行者の目に入ることが防止され、所謂アイセーフが実現できるようになっている。 LED lamp 12 is turned off, or by not light, near-infrared light from the LED lamp 12 is prevented from entering the eyes of the pedestrian, so that can realize a so-called eye-safe.

【0035】上述した実施形態においては、LEDランプ12は、自動車11の前部のバンパー11aの両端付近に設けられているが、これに限らず、例えば自動車1 [0035] In the above-described embodiment, LED lamp 12 is provided in the vicinity of both ends of the front portion of the bumper 11a of the vehicle 11 is not limited to this, for example, an automobile 1
1の前照灯内に設けられていてもよい。 It may be provided in one of the headlight within. また、上述した実施形態においては、カメラ13は、自動車11の前部の前照灯11b内に配置されているが、これに限らず、 Further, in the above embodiment, the camera 13 has been positioned in the headlamp in 11b of the front of the vehicle 11 is not limited thereto,
車室内を含む任意の位置に配置することができる。 It can be placed at any position, including the vehicle interior. ただし、自動車11のフロントガラスが赤外線をカットするようになっているときには、カメラ13は車室内には設けることができず、車室外に設けられる。 However, when the front glass of the vehicle 11 is adapted to cut the infrared camera 13 can not is provided in the passenger compartment, it is provided outside the vehicle compartment.

【0036】さらに、上述した実施形態においては、赤外受光素子16は、自動車11の前部にてLEDランプ12に隣接して設けられているが、これに限らず、任意の位置に配置することができる。 Furthermore, in the above-described embodiment, the infrared light-receiving element 16 is provided adjacent to the LED lamp 12 at the front of the vehicle 11 is not limited thereto, located anywhere be able to. また、上述した実施形態においては、自動車用暗視システム10について説明したが、これに限らず、近赤外線を利用した各種監視システムに対して本発明を適用し得る。 Further, in the above embodiment has been described night vision system 10 for a motor vehicle, not limited thereto, the present invention can be applied to various monitoring system using near infrared.

【0037】 [0037]

【発明の効果】以上述べたように、本発明によれば、制御手段により制御されることにより、赤外光源の各近赤外LEDから近赤外光が出射して、自動車の前方に向かって照射され、その反射光が撮像手段によって撮像されることにより、撮像画面が表示手段により表示される。 As described above, according to the present invention, according to the present invention, by being controlled by the control means, from the near-infrared LED of the infrared light source emits near-infrared light, toward the front of the motor vehicle irradiated Te, by the reflected light is imaged by the imaging means, the imaging screen is displayed by the display means.
これにより、所謂アクティブタイプとして動作することにより、自動車の前方の視界が近赤外線により確実に確認され得ることになる。 Thus, by acting as a so-called active type, the front sight of the vehicle will be capable of being reliably confirmed by near infrared. この場合、赤外光源が近赤外L In this case, the infrared light source is near-infrared L
EDにより構成されると共に、撮像手段が例えばCCD Together constituted by ED, imaging means such as a CCD
カメラ等の標準的なカメラにより構成されるので、赤外光源の消費電力が少なくて済み、さらに暗視システム全体が簡単な構成により、低コストで構成され得ることになる。 Because it is constituted by a standard camera such as a camera, it requires less power consumption of the infrared light source, further by the overall night vision system simple structure, so that may be configured at a low cost. このようにして、本発明によれば、簡単に且つ低コストで構成され得ると共に、対向車との相互干渉を回避し、また歩行者等のアイセーフを考慮した、極めて優れた自動車用暗視システムが提供され得る。 In this way, according to the present invention, easily and with can be configured at low cost, avoiding the mutual interference between the oncoming vehicle, also considering eye-safe such as a pedestrian, excellent night vision system for a motor vehicle There may be provided.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明による自動車用暗視システムの一実施形態の構成を示す概略斜視図である。 It is a schematic perspective view showing a configuration of an embodiment of a night vision system for a vehicle according to the invention, FIG.

【図2】図1の自動車用暗視システムの電気的構成を示すブロック図である。 2 is a block diagram showing an electrical configuration of an automotive night vision system of FIG.

【図3】図1の自動車用暗視システムで使用されるLE [Figure 3] LE used in automotive night vision system of FIG. 1
Dランプの構成例を示す概略斜視図である。 It is a schematic perspective view showing a configuration example of a D lamp.

【図4】図1の自動車用暗視システムにおけるLEDランプの近赤外線の照射範囲を示す概略斜視図である。 Figure 4 is a schematic perspective view showing an irradiation range of the near-infrared LED lamp in the night vision system for a motor vehicle of Figure 1.

【図5】図1の自動車用暗視システムにおけるLEDランプの点灯及びカメラの撮像のタイミングを示すタイムチャートである。 5 is a time chart showing the timing of lighting and camera imaging of the LED lamp in the night vision system for a motor vehicle of Figure 1.

【符号の説明】 DESCRIPTION OF SYMBOLS

10 自動車用暗視システム 11 自動車 12 LEDランプ(赤外光源) 12a 近赤外LED 13 カメラ(撮像手段) 14 制御回路(制御手段) 15 モニタ(表示手段) 16 赤外受光素子(近赤外近接センサ) 10 automotive night vision system 11 car 12 LED lamps (infrared light source) 12a near-infrared LED 13 camera (imaging means) 14 control circuit (control means) 15 monitor (display means) 16 infrared light-receiving element (near infrared near sensor)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 石山 豊 東京都目黒区中目黒2−9−13スタンレ− 電気株式会社内 (72)発明者 河田 任史 東京都目黒区中目黒2−9−13スタンレ− 電気株式会社内 (72)発明者 近藤 俊幸 東京都目黒区中目黒2−9−13スタンレ− 電気株式会社内 (72)発明者 岡本 政人 東京都目黒区中目黒2−9−13スタンレ− 電気株式会社内 Fターム(参考) 5C054 AA01 CA05 CB03 CH03 FA04 FC01 GB01 HA30 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Yutaka Ishiyama, Meguro-ku, Tokyo Nakameguro 2-9-13 Sutanre - in electric Co., Ltd. (72) inventor Takashi Kawada Meguro-ku, Tokyo Nakameguro 2-9-13 Sutanre - in electric Co., Ltd. (72) inventor Toshiyuki Kondo Meguro-ku, Tokyo Nakameguro 2-9-13 Sutanre - in electric Co., Ltd. (72) inventor Masato Okamoto Meguro-ku, Tokyo Nakameguro 2-9-13 Sutanre - electric Co., Ltd. in the F-term (reference) 5C054 AA01 CA05 CB03 CH03 FA04 FC01 GB01 HA30

Claims (5)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 自動車の前方に向かって近赤外線を照射する、少なくとも一つの近赤外LEDを備えた赤外光源と、 自動車の前方からの近赤外線による画像を検出する撮像手段と、 撮像手段からの画像信号が入力されて、その撮像画面を表示する表示手段と、これらを駆動制御する制御手段と、 から構成されていることを特徴とする、自動車用暗視システム。 Irradiating near infrared 1. A towards the front of the motor vehicle, and the infrared light source with at least one near-infrared LED, and an imaging means for detecting an image by near infrared from the front of the vehicle, image pickup means image signal from being input, and a display means for displaying the captured screen, characterized in that it is composed of a control means for driving and controlling them, night vision system for a motor vehicle.
  2. 【請求項2】 上記赤外光源の近赤外LEDが、制御手段によりパルス駆動されることを特徴とする、請求項1 2. A near-infrared LED of the infrared light source, characterized in that it is pulse-driven by the control means, according to claim 1
    に記載の自動車用暗視システム。 Automotive night vision system according to.
  3. 【請求項3】 上記赤外光源が、横方向に並んだ複数個の近赤外LEDを含んでおり、 各近赤外LEDが、それぞれ制御手段により個別に駆動制御されることにより、赤外光源全体の配向特性が横方向に調整されることを特徴とする、請求項1または2に記載の自動車用暗視システム。 Wherein said infrared light source includes a plurality of near-infrared LED arranged in the lateral direction, the near-infrared LED is by being individually driven and controlled by respective control means, infrared orientation characteristics of the entire light source is characterized in that it is adjusted in the lateral direction, the night vision system for a vehicle according to claim 1 or 2.
  4. 【請求項4】 上記撮像手段が、短い間隔で、赤外光源による近赤外線の非照射時及び照射時の撮像を行なって、これらの撮像信号の差の絶対値による画像信号を、 Wherein said imaging means, at short intervals, perform the imaging at the time and irradiation non-irradiated near infrared by the infrared light source, an image signal by the absolute value of the difference between these image signals,
    表示手段に出力することを特徴とする、請求項1から3 And outputting to the display means, claims 1 to 3
    の何れかに記載の自動車用暗視システム。 Automotive night vision system according to any one of.
  5. 【請求項5】 さらに、自動車の前方の所定距離内に検出範囲を有する近赤外近接センサを備えており、 近赤外近接センサが検出信号を出力したとき、制御手段がこの検出信号に基づいて、赤外光源を消灯させることを特徴とする、請求項1から4の何れかに記載の自動車用暗視システム。 Wherein further comprising a near-infrared proximity sensor having a detection range within a predetermined distance in front of the motor vehicle, when the near infrared proximity sensor outputs a detection signal, the control means based on the detection signal Te, characterized in that turns off the infrared light source, night vision system for a vehicle according to any one of claims 1 to 4.
JP2001084602A 2001-03-23 2001-03-23 Night vision system for a motor vehicle Active JP4688196B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001084602A JP4688196B2 (en) 2001-03-23 2001-03-23 Night vision system for a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001084602A JP4688196B2 (en) 2001-03-23 2001-03-23 Night vision system for a motor vehicle

Publications (3)

Publication Number Publication Date
JP2002274258A true true JP2002274258A (en) 2002-09-25
JP2002274258A5 true JP2002274258A5 (en) 2008-05-22
JP4688196B2 JP4688196B2 (en) 2011-05-25

Family

ID=18940243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001084602A Active JP4688196B2 (en) 2001-03-23 2001-03-23 Night vision system for a motor vehicle

Country Status (1)

Country Link
JP (1) JP4688196B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2858955A1 (en) * 2003-08-20 2005-02-25 Daimler Chrysler Ag Infrared radiation source for infrared night vision system of vehicle, has infrared light-emitting diodes arranged at distance from light signaling devices, where distance is greater than dimension of nearest signaling device
DE10348117A1 (en) * 2003-08-20 2005-03-17 Daimlerchrysler Ag Infrared radiation source for infrared night vision system of vehicle, has infrared light-emitting diodes arranged at distance from light signaling devices, where distance is greater than dimension of nearest signaling device
WO2005090123A1 (en) * 2004-03-18 2005-09-29 Robert Bosch Gmbh Method and device for improving the visibility in a vehicle
JP2006188224A (en) * 2005-01-03 2006-07-20 Ford Global Technologies Llc Night vision system for vehicle, light source operation system and its control method
JP2006327575A (en) * 2005-05-20 2006-12-07 Valeo Vision Obstacle detection device provided with imaging system for automobile
JP2007156832A (en) * 2005-12-05 2007-06-21 Fujitsu Ten Ltd On-vehicle near-infrared light irradiation device and on-vehicle periphery monitoring device
JP2008068701A (en) * 2006-09-13 2008-03-27 Hitachi Ltd Headlamp module
WO2008139565A1 (en) * 2007-05-07 2008-11-20 Fujitsu Limited Night vision device
US7608825B2 (en) 2006-12-14 2009-10-27 Sumitomo Electric Industries, Ltd. Image pickup device, vision enhancement apparatus, night-vision apparatus, navigation support apparatus, and monitoring apparatus
WO2010029813A1 (en) 2008-09-11 2010-03-18 住友電気工業株式会社 Image pickup device, visibility support apparatus, night vision device, navigation support apparatus, and monitoring device
US7935928B2 (en) 2003-02-07 2011-05-03 Robert Bosch Gmbh Device and method for producing images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09315225A (en) * 1996-05-27 1997-12-09 Kobe Steel Ltd On-vehicle infrared image display device
JP2002114097A (en) * 2000-10-10 2002-04-16 Eruteru:Kk On-board infrared imaging device
JP2002264725A (en) * 2001-03-06 2002-09-18 Human Rinku:Kk Vehicle periphery imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09315225A (en) * 1996-05-27 1997-12-09 Kobe Steel Ltd On-vehicle infrared image display device
JP2002114097A (en) * 2000-10-10 2002-04-16 Eruteru:Kk On-board infrared imaging device
JP2002264725A (en) * 2001-03-06 2002-09-18 Human Rinku:Kk Vehicle periphery imaging device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7935928B2 (en) 2003-02-07 2011-05-03 Robert Bosch Gmbh Device and method for producing images
DE10348117A1 (en) * 2003-08-20 2005-03-17 Daimlerchrysler Ag Infrared radiation source for infrared night vision system of vehicle, has infrared light-emitting diodes arranged at distance from light signaling devices, where distance is greater than dimension of nearest signaling device
DE10348117B4 (en) * 2003-08-20 2005-08-25 Daimlerchrysler Ag Vehicle infrared radiation source for an infrared night vision system
FR2858955A1 (en) * 2003-08-20 2005-02-25 Daimler Chrysler Ag Infrared radiation source for infrared night vision system of vehicle, has infrared light-emitting diodes arranged at distance from light signaling devices, where distance is greater than dimension of nearest signaling device
US7667585B2 (en) 2004-03-18 2010-02-23 Robert Bosch Gmbh Method and device for improving visibility in a vehicle
WO2005090123A1 (en) * 2004-03-18 2005-09-29 Robert Bosch Gmbh Method and device for improving the visibility in a vehicle
JP2006188224A (en) * 2005-01-03 2006-07-20 Ford Global Technologies Llc Night vision system for vehicle, light source operation system and its control method
JP2006327575A (en) * 2005-05-20 2006-12-07 Valeo Vision Obstacle detection device provided with imaging system for automobile
JP2012210938A (en) * 2005-05-20 2012-11-01 Valeo Vision Obstacle detection device provided with imaging system for vehicle
JP2007156832A (en) * 2005-12-05 2007-06-21 Fujitsu Ten Ltd On-vehicle near-infrared light irradiation device and on-vehicle periphery monitoring device
JP2008068701A (en) * 2006-09-13 2008-03-27 Hitachi Ltd Headlamp module
US7608825B2 (en) 2006-12-14 2009-10-27 Sumitomo Electric Industries, Ltd. Image pickup device, vision enhancement apparatus, night-vision apparatus, navigation support apparatus, and monitoring apparatus
DE112007003473T5 (en) 2007-05-07 2010-06-10 FUJITSU LIMITED, Kawasaki-shi Night vision device
JP4659906B2 (en) * 2007-05-07 2011-03-30 富士通株式会社 Night vision devices
US8076633B2 (en) 2007-05-07 2011-12-13 Fujitsu Limited Night vision apparatus
WO2008139565A1 (en) * 2007-05-07 2008-11-20 Fujitsu Limited Night vision device
WO2010029813A1 (en) 2008-09-11 2010-03-18 住友電気工業株式会社 Image pickup device, visibility support apparatus, night vision device, navigation support apparatus, and monitoring device
US8243139B2 (en) 2008-09-11 2012-08-14 Sumitomo Electric Industries, Ltd. Image pickup device, visibility support apparatus, night vision device, navigation support apparatus, and monitoring device
US8564666B2 (en) 2008-09-11 2013-10-22 Sumitomo Electric Industries, Ltd. Image pickup device, visibility support apparatus, night vision device, navigation support apparatus, and monitoring device

Also Published As

Publication number Publication date Type
JP4688196B2 (en) 2011-05-25 grant

Similar Documents

Publication Publication Date Title
US7541743B2 (en) Adaptive vehicle communication controlled lighting system
US6993255B2 (en) Method and apparatus for providing adaptive illumination
US7004606B2 (en) Automatic headlamp control
US20030147247A1 (en) Vehicle operation supporting device and vehicle operation supporting system
US20100020170A1 (en) Vehicle Imaging System
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US20010019482A1 (en) Infrared-ray radiating lamp for automobile
US6598982B2 (en) Rearview mirror alignment device
US7733464B2 (en) Vehicle mounted night vision imaging system and method
US20060146552A1 (en) Anti-blinding system for a vehicle
US20060290479A1 (en) Driver-assistance vehicle
US7015944B2 (en) Device for improving visibility in vehicles
US20150258928A1 (en) Vehicle-mounted apparatus
US20060290482A1 (en) Blind-spot detection system for vehicle
US20050074221A1 (en) Active night vision image intensity balancing system
US7350945B2 (en) System and method of detecting driving conditions for a motor vehicle
US20130258688A1 (en) Adaptive external vehicle illumination system
US20060164219A1 (en) Method and device for warning the driver of a motor vehicle
WO2002004247A1 (en) Method and apparatus for providing adaptive illumination
JP2008134916A (en) Vehicle forward recognition apparatus mounted on vehicle
JP2004306894A (en) Lighting system for vehicle
JP2000318513A (en) Obstacle detection device for vehicle
JP2003285685A (en) Vehicle operation-supporting system
JP2010176591A (en) Display device for vehicle
JP2005329819A (en) Lighting device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080305

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100624

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250