JP2006266801A - Collision-preventing device and vehicle with it - Google Patents
Collision-preventing device and vehicle with it Download PDFInfo
- Publication number
- JP2006266801A JP2006266801A JP2005083772A JP2005083772A JP2006266801A JP 2006266801 A JP2006266801 A JP 2006266801A JP 2005083772 A JP2005083772 A JP 2005083772A JP 2005083772 A JP2005083772 A JP 2005083772A JP 2006266801 A JP2006266801 A JP 2006266801A
- Authority
- JP
- Japan
- Prior art keywords
- laser beam
- laser
- laser light
- vehicle
- collision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、移動体の進行方向に存在する障害物等を検知し、移動体に搭載された制動手段等と連動を図ることで、検知した障害物等との衝突・接触を防止する衝突防止装置及び、前記衝突防止装置を搭載した車両に係り、特に電磁波を用いて障害物等を検知する衝突防止装置及び前記衝突防止装置を搭載した車両に関する。 The present invention detects an obstacle or the like existing in the traveling direction of the moving body, and prevents collision / contact with the detected obstacle or the like by interlocking with a braking means or the like mounted on the moving body. More particularly, the present invention relates to a collision prevention device that detects an obstacle or the like using electromagnetic waves, and a vehicle equipped with the collision prevention device.
電磁波、特にレーザ光を用いて車両の衝突防止を図る車両衝突防止装置については、例えば特許文献1に開示されているようなものがある。
特許文献1に開示されている衝突防止装置は、車両に対し、レーザ光によって測距を行う装置を搭載し、自己車両の前方を走行する他の車両、或いは障害物との距離を測定し、両者の相対速度を算出することで、自己車両が他の車両と衝突する危険度を算出するものである。さらに、特許文献1には、他の車両との安全距離を保つために、危険度を検知して作動する警報装置や、アクセルやブレーキ等を制御するアクチュエータを付帯させる旨が記載されている。
As a vehicle collision prevention device that uses electromagnetic waves, particularly laser light, to prevent a vehicle collision, there is one disclosed in Patent Document 1, for example.
The anti-collision device disclosed in Patent Document 1 is equipped with a device that measures the distance with a laser beam on a vehicle, measures the distance to another vehicle traveling in front of the own vehicle, or an obstacle, By calculating the relative speed between the two, the degree of risk that the own vehicle will collide with another vehicle is calculated. Furthermore, Patent Document 1 describes that an alarm device that operates by detecting the degree of danger and an actuator that controls an accelerator, a brake, and the like are attached to maintain a safe distance from other vehicles.
また、レーザ光を用いて測距を行い、これを衝突防止に利用することは、特許文献2にも開示されている。特許文献2に開示されている技術は、自立走行車両の衝突防止装置である。特許文献2では、レーザ光を照射する範囲(障害物検知範囲)を定めておき、この障害物検知範囲内で障害物が検出されるかどうかを検知すると共に、その障害物との距離を計測し、車両を減速・停止させると共に警報を発するというものである。このような装置によれば、障害物が自己車両の進行方向に存在するかどうかを容易に判定することができる。
特許文献1に開示された装置によれば、規律的に走行する車両列での衝突防止を図る上では有効であるといえる。しかし、実際に走行する車両は規定の走行ラインのみにとどまらず、車線変更や蛇行等を行うことがある。このように計測対象となる車両の位置が不確定な場合には、測距のみで自己車両と他の車両との相対速度の計測を行うことは、実質上困難であると考えられる。 According to the device disclosed in Patent Document 1, it can be said that it is effective in preventing collision in a vehicle train that travels in a disciplined manner. However, the vehicle that actually travels is not limited to the prescribed travel line, and may change lanes or meander. Thus, when the position of the vehicle to be measured is uncertain, it is considered that it is substantially difficult to measure the relative speed between the own vehicle and another vehicle only by distance measurement.
また、特許文献2に開示された装置は、外乱的な要素の少ない屋内を走行する車両に対しては有効に使用することができると考えられる。しかし、屋外の車道を走行する上では、障害物となりうるものとそうでないものとを測距だけで判定することは困難であると考えられる。 In addition, it is considered that the device disclosed in Patent Document 2 can be effectively used for a vehicle traveling indoors with few disturbing elements. However, when traveling on an outdoor roadway, it is considered difficult to determine what can be an obstacle and what is not an obstacle only by distance measurement.
また、特許文献1、2共に、レーザ光を受光する際には、ポリゴンミラーやガルバノミラー等を用いてレーザ光を反射させているため、ミラーを回転駆動させるモータを持つ必要があり、装置自体が大型化するという問題がある。さらに、従来のレーザ光を用いた測距は、スポット型のレーザ光を照射し、レーザ光を照射した点毎の3次元データを逐次演算して全体の3次元データを求めるという処理を行っていたため、レーザ照射から全体の3次元データを取得するまでの演算処理に時間がかかる。このため、理論上は可能であっても、実際上は計測が実用レベルの車速に対応できていなかった。
本発明では、実際の走行車両に対応可能な衝突防止装置及び当該衝突防止装置を搭載した車両を提供することを目的とする。
In both Patent Documents 1 and 2, when receiving the laser beam, the laser beam is reflected using a polygon mirror, a galvanometer mirror, etc., so it is necessary to have a motor for rotating the mirror, and the device itself. There is a problem of increasing the size. Further, the distance measurement using the conventional laser beam performs a process of irradiating the spot type laser beam and sequentially calculating the three-dimensional data for each point irradiated with the laser beam to obtain the entire three-dimensional data. For this reason, it takes time to perform the calculation process from the laser irradiation until the entire three-dimensional data is acquired. For this reason, even though it is theoretically possible, in practice, measurement has not been able to cope with a practical vehicle speed.
An object of the present invention is to provide a collision prevention device capable of dealing with an actual traveling vehicle and a vehicle equipped with the collision prevention device.
上記目的を達成するための本発明に係る衝突防止装置は、レーザ光を用いて計測対象物の3次元情報を取得する3次元情報取得装置と、取得した3次元情報に基づいて移動体の制動手段、或いは移動体に備える警報器に信号を出力する演算手段とを備える衝突防止装置であって、前記3次元情報取得装置は、レーザ光を照射するレーザ光照射ユニットと、照射されたレーザ光のうち、計測対象面に反射して到来したレーザ光を受光する光学ユニットと、前記レーザ光照射ユニットから照射したレーザ光と前記光学ユニットによって受光したレーザ光との位相差を割り出すレーダ回路ユニットとから構成され、前記光学ユニットには、取得する3次元情報の分解能に対応する数のそれぞれ異なるパターンに従って反射面を構成して、到来したレーザ光を受光部に導く空間変調器を備え、前記レーザ光照射ユニットには、照射するレーザ光を拡散させるレンズを備えたことを特徴とする。 In order to achieve the above object, a collision preventing apparatus according to the present invention includes a three-dimensional information acquisition apparatus that acquires three-dimensional information of a measurement object using a laser beam, and a braking of a moving body based on the acquired three-dimensional information. Or a collision prevention device comprising a calculation means for outputting a signal to an alarm device provided in a moving body, wherein the three-dimensional information acquisition device comprises a laser light irradiation unit for irradiating a laser beam and an irradiated laser beam. Among them, an optical unit that receives laser light that has been reflected by the measurement target surface, a radar circuit unit that calculates a phase difference between the laser light emitted from the laser light irradiation unit and the laser light received by the optical unit, In the optical unit, a reflection surface is formed according to a number of different patterns corresponding to the resolution of the three-dimensional information to be acquired, and an incoming signal is received. Includes a spatial modulator for guiding laser light to the light receiving portion, the said laser beam irradiation unit, characterized by comprising a lens for diffusing the laser beam to be irradiated.
上記構成の衝突防止装置において、前記空間変調器にはマイクロミラーアレイを採用すると良い。
また、前記マイクロミラーアレイは、各パターンにおいて少なくとも半数以上のミラーによって反射面を構成するようにすると良い。
In the collision preventing apparatus having the above configuration, a micromirror array may be employed for the spatial modulator.
In the micromirror array, it is preferable that the reflection surface is constituted by at least half or more mirrors in each pattern.
また、前記レンズはシリンドリカルレンズとし、レーザ光を扇状に照射する構成とし、前記マイクロミラーアレイは前記扇状のレーザ光に対応させてマイクロミラーを移動体幅方向の1列に配置する構成とすると良い。
また、上記目的を達成するための本発明に係る衝突防止装置搭載車両は、上記構成の衝突防止装置を搭載したことを特徴とする。
The lens may be a cylindrical lens, and the laser beam may be irradiated in a fan shape, and the micromirror array may be configured so that the micromirrors are arranged in one row in the moving body width direction in correspondence with the fan-shaped laser beam. .
In order to achieve the above object, a vehicle equipped with a collision prevention device according to the present invention is equipped with the collision prevention device having the above configuration.
上記構成の衝突防止装置であれば、拡散照射されたレーザの全てをパターン毎に構成された反射面に結像することができる。このため、1つの画素に対応した反射面が構成されるパターン毎に同一画素について受光が成されることとなり、受光効率が向上する。また、パターン毎に取得された複数の受光情報に基づいて各画素毎の3次元情報を取得することができるため、レーザ照射から3次元情報取得までの処理が容易となり、実際の走行車両の衝突防止装置として使用することが可能となる。 With the collision prevention device having the above-described configuration, all of the laser beams that have been diffusely irradiated can be imaged on the reflecting surface that is configured for each pattern. For this reason, light reception is performed for the same pixel for each pattern in which the reflection surface corresponding to one pixel is configured, and the light reception efficiency is improved. In addition, since it is possible to acquire three-dimensional information for each pixel based on a plurality of light reception information acquired for each pattern, processing from laser irradiation to acquisition of three-dimensional information becomes easy, and an actual traveling vehicle collision It can be used as a prevention device.
以下、本発明の衝突防止装置及び衝突防止装置搭載車両に係る実施の形態について、図面を参照しつつ詳細に説明する。なお、以下に示す実施の形態は、本発明に係る好適な実施形態の一部を示すものであり、本発明は以下の実施形態に限定されるものでは無い。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of a collision prevention device and a vehicle equipped with a collision prevention device according to the present invention will be described in detail with reference to the drawings. In addition, embodiment shown below shows a part of suitable embodiment which concerns on this invention, and this invention is not limited to the following embodiment.
図1は、本発明の衝突防止装置及び車両に係る実施形態の概略構成を示すブロック図である。本実施形態の衝突防止装置は、レーザ光を照射・受光する3次元情報取得装置(以下、3次元レーザレーダという)12と、前記3次元レーザレーダ12によって取得された情報に基づいて障害物等までの距離を算出し、各種信号を出力する演算手段(コンピュータ)70と、前記演算手段70からの信号を受けて障害物等までの距離情報等を表示する表示装置90と、前記演算手段70からの信号を受けて車両(移動体)14に備えられたアクチュエータ(ブレーキアクチュエータ82,アクセルアクチュエータ84,ハンドルアクチュエータ86)及び警報器88に信号を出力する車両制御装置80とを備えることを基本構成とする。そして、本発明に係る衝突防止装置搭載車両10は、上記基本構成を有する衝突防止装置を車両14に搭載したものである。なお、図示しないが当然に、車両14には、当該車両を駆動させるための駆動装置等が備えられているものとする。
FIG. 1 is a block diagram showing a schematic configuration of an embodiment according to a collision preventing apparatus and a vehicle of the present invention. The collision prevention apparatus according to the present embodiment includes a three-dimensional information acquisition device (hereinafter referred to as a three-dimensional laser radar) 12 that irradiates and receives laser light, and an obstacle based on information acquired by the three-
前記3次元レーザレーダ12は、レーザ照射ユニット20と、光学ユニット30、及びレーダ回路ユニット50とを有し、車両進行方向における走行路面の状態や障害物の有無、前記障害物までの距離を測定するために用いられる装置である。
前記レーザ照射ユニット20は、車両の進行方向前方に位置する進路に対してレーザ光を照射するユニットである。具体的には、レーザダイオード及びミラー等から構成されるレーザ発振器と前記レーザダイオードにレーダ回路ユニット50から出力された信号を与えて動作させるドライバとから成るレーザ出力部24と、前記レーザ出力部24から出力されたレーザ光を拡散させる光学レンズ22とを有する。本実施形態では照射するレーザ光を扇状に拡散させるため、光学レンズには例えば、シリンドリカルレンズ等を用いると良い。
The three-
The said
前記光学ユニット30は、前記レーザ照射ユニット20によって照射されたレーザ光のうち、照射対象となる走行路面あるいは障害物に反射して到来したレーザ光を受光するユニットである。具体的には、光学レンズ32、プリズム34、マイクロミラーアレイ空間変調器(以下、空間変調器という)38、光検出器(光電変換器)36等を備え、到来した反射光(レーザ光)を受光するユニットである。また、一般に、レーザ測距に用いられる光学ユニット30には、光学レンズ32の前段に、出力したレーザ光の周波数帯域の光をのみを透過させるバンドパスフィルタ(不図示)が備えられる。
The
前記光学レンズ32は、前記バンドパスフィルタを透過して到来したレーザ光を集光してプリズム34へ導く。プリズム34は入射されたレーザ光の進路を変更し、空間変調器38のマイクロミラーへ導くと共に、前記マイクロミラーによって適正に反射されたレーザ光を光検出器36へと導く。空間変調器38は、平面上に配列された複数のマイクロミラー(反射体)を有するものである。例えば図2のように配列されたマイクロミラーアレイ38aでは、個々のマイクロミラーの反射面を所定の向き(方向)へ傾けることで、プリズム34によって導かれたレーザ光を適正な方向(光検出器36の受光面)へ反射させる。空間変調器38には、前記マイクロミラーの動作を個々に制御するマイクロミラー制御回路40が接続されており、マイクロミラー制御回路40には、マイクロミラーを制御するタイミングを図るタイミングコントローラ42が設けられる。タイミングコントローラ42は、一定の周期に従ってマイクロミラーの制御を行う。このような制御部を有する空間変調器38のマイクロミラーは、制御によりONとなった場合に、その反射面を所定の向きへ傾け、制御が行われない状態(OFF状態)においては、反射面をONと反対側へ傾ける。このため、OFF状態のマイクロミラーに入射したレーザ光は、適正な方向へと反射されず、光検出器に受光され無い。
The
マイクロミラーアレイのON/OFFのパターン制御は、所望する3次元データの画素数(分解能)に対応させた複数のパターンの中から選択される。本実施形態のマイクロミラーアレイのON/OFFパターンは、拡散されたレーザ光を効率良く集光するために、各パターンにおいて50%以上のマイクロミラーがON状態となるようにする。 The micro mirror array ON / OFF pattern control is selected from a plurality of patterns corresponding to the desired number of pixels (resolution) of the three-dimensional data. The ON / OFF pattern of the micromirror array of this embodiment is set so that 50% or more of the micromirrors are turned on in each pattern in order to efficiently collect the diffused laser light.
前記マイクロミラーアレイのON/OFFパターンの制御には、アダマールコードを利用すると良い。パターン制御にアダマールコードを用いた場合、後述するレーダ回路ユニットにより検出されたパターン毎の位相差信号のそれぞれをコンピュータ70に記録し、アダマール逆変換を行うことにより、画素毎の反射光の位相差を導き出すことができる。これにより、レーザ光を照射したライン上の対応する画素毎の距離と高さの情報を得ることができる。このため、レーザ光を照射したラインの変化を3次元データとして取得するための演算処理が容易となる。よって、レーザ光を用いた計測面の走査から3次元データ取得までの一連の処理の高速化を図ることができる。また、マイクロミラーアレイのパターン制御にアダマールコードを用いることにより、各点毎に3次元データを取得する場合と比べ、受光効率がN/2倍向上する(Nは分解能を示す)。したがって、受光される信号のSN比が向上し、詳細を後述するレーダ回路ユニット50における増幅や検波等の処理時に、ノイズに埋もれてしまうことが少なくなる。
A Hadamard code may be used to control the ON / OFF pattern of the micromirror array. When Hadamard code is used for pattern control, each phase difference signal detected for each pattern detected by a radar circuit unit to be described later is recorded in the
本実施形態では、照射するレーザ光をファンビームとしたことに合わせ、マイクロミラーアレイの構造を前記ファンビームの幅方向の分解能に合わせた1次元構造(1列の配置構造)とし、マイクロミラーアレイの制御パターンは1次元アダマールコードを用いることとした。これにより、走行路面の3次元データを取得するために行う演算処理が1次元のみとなるため、3次元データ取得の高速化が促進される。例えば車両幅方向の分解能を8とした場合のマイクロミラーの配列パターンは、図3に示す8つのパターンとすることができる。 In the present embodiment, the micromirror array has a one-dimensional structure (one-row arrangement structure) that matches the resolution of the fan beam in the width direction in accordance with the laser beam to be irradiated as a fan beam. The control pattern is a one-dimensional Hadamard code. Thereby, since the calculation process performed in order to acquire the three-dimensional data of a driving | running road surface becomes only one dimension, speeding-up of three-dimensional data acquisition is accelerated | stimulated. For example, when the resolution in the vehicle width direction is 8, the micromirror array pattern can be eight patterns shown in FIG.
上記構造のレーザ照射ユニット20と光学ユニット30によれば、レーザ光の照射範囲で反射された光は分解能によって定められた各点毎に、光学レンズ32、プリズム34を介して全て、画素毎に対応するマイクロミラーに結像される。例えば図4の場合、A点に照射されたレーザ光の反射光は、B点のマイクロミラーに結像されることとなる。このような原理により、空間変調器38にマイクロミラーアレイを備えると、個々のマイクロミラーによって各画素に対応した反射光が光検出器に反射される。このため、複数のパターンの組合せにより、光検出器36には画素単位の距離データを得るために十分な光強度のレーザ光が入射されることとなる。そして、マイクロミラーアレイの制御パターンにアダマールコードを利用することにより、マイクロミラーアレイに結像させた画素毎の距離データを容易に得ることができるため、3次元データを取得するまでの処理速度が向上する。
According to the
また、測距用のレーザとしてファンビームを採用することにより、スポットレーザのように照射角度を変えるという処理が必要なくなる。このため、レーザの照射角度を変化させるための機構や制御回路が不要となり、装置の小型化を図ることが可能となる。さらに、空間変調器としてポリゴンミラーやガルバノミラーを採用する場合に必要とされる回転駆動用のモータを不要とすることによっても、装置の小型・軽量化を図ることができる。 In addition, by adopting a fan beam as a distance measuring laser, it is not necessary to change the irradiation angle as in the case of a spot laser. For this reason, a mechanism and a control circuit for changing the laser irradiation angle are not required, and the apparatus can be miniaturized. Furthermore, it is also possible to reduce the size and weight of the apparatus by eliminating the need for a rotational drive motor that is required when a polygon mirror or a galvanometer mirror is employed as the spatial modulator.
前記レーダ回路ユニット50は、前記レーザ照射ユニット20へ出力信号を供給すると共に、当該出力信号と同一の信号を受光側の参照信号として与え、当該参照信号と前記光学ユニット30によって検出された信号との位相差を取り出すユニットである。具体的には、高周波発振器(RF(Radio Frequency)発振器)52と、パワースプリッタ54と、RFアンプ56と、ハイブリッド58と、ミキサ60(60a,60b)と、ローパスフィルタ(LPF)62(62a,62b)と、A/Dコンバータ64とを有する回路である。
The
前記RF発振器52は、レーザの基本信号を発振する。前記パワースプリッタ54は、前記RF発振器52から出力された信号を前記レーザ照射ユニット20へ供給する信号と、受光側の参照信号とに分割し、同一信号を2方向へ出力する。レーザ照射ユニット20への供給信号として出力された信号は、RFアンプ56へ入力され、増幅された後、レーザ照射ユニット20へ入力される。
The RF oscillator 52 oscillates a basic signal of the laser. The
一方、受光側の参照信号として出力された信号は、90°ハイブリッド58に入力され、位相が90°ずれた同一周波数の2つの信号(0°と−90°)に分割れて、それぞれミキサ60に入力される。それぞれのミキサ60には、90°ハイブリッド58からの出力信号の他に、前記光検出器36によって入力される受光信号がRFアンプ66、パワースプリッタ68を介して入力される構成となっている。2つの信号が入力されたそれぞれのミキサ60からは、中間周波数信号(IF(Intermediate Frequency)信号)が出力される。ミキサ60から出力されたIF信号(和分:高周波と差分:低周波)は、LPF62を通過する。LPF62を通過した差分の信号は、A/Dコンバータ64へ入力される。A/Dコンバータ64には、前記LPF62からの信号の他、光学ユニット30のタイミングコントローラ42からの空間変調器38の制御信号が入力される。入力された2つの信号は、それぞれデジタル信号に変換されて、コンピュータ70へ出力される。
On the other hand, the signal output as the reference signal on the light receiving side is input to the 90 °
上述のようにして得られた信号を入力されたコンピュータ70では、マイクロミラーアレイに与えた制御パターンの逆変換と、レーザ光の位相差からの距離データの算出を行い、レーザ光を照射した走行路面上に存在する障害物の距離と高さが導き出される。
In the
なお、上記のような構造の3次元レーザレーダを備える車両は、図5(A),(B)に示すような状態でレーザ光照射ユニットからレーザ光を照射することとなる。すなわち、3次元レーザレーダ搭載位置からθの角度で斜め下方向の走行路面に向けてレーザ光を照射することとなるのである。 Note that a vehicle including a three-dimensional laser radar having the above structure emits laser light from the laser light irradiation unit in a state as shown in FIGS. That is, the laser beam is irradiated toward the traveling road surface obliquely downward at an angle θ from the three-dimensional laser radar mounting position.
TOFを用いてコンピュータ70で算出されるレーザ光の照射位置と走行路面との距離をZ0とすると、車両と走行路との距離L0は、
上述した計算がコンピュータ70によって実行されることにより、レーザ光を照射したライン上の各点毎の振幅と位相(距離と高さ)のデータ(3次元データ)を得ることができる。ライン上の各点毎の距離と高さのデータを算出したコンピュータ70は、後述する表示装置90に、受光したレーザ光の強度(反射強度)と共に、各点毎の距離と高さのデータを出力する。
By executing the above-described calculation by the
また、コンピュータ70には、レーザ光の反射強度(受光するレーザ光の強度)、走行速度に対する障害物との距離、障害物の高さ、のそれぞれについて予め閾値を設定することができ、上述のようにして算出された各点毎の距離と高さ、レーザ光の反射強度と、それぞれの閾値とを比較する。そして、比較した結果、いずれの閾値に対しても算出結果の値が大きいと判定された場合には、後述する車両制御装置80にブレーキ、操舵等の信号を出力する。
Further, the
なお、障害物との距離について閾値を設けたのは、運転者による操作を優先させるためである。また、障害物の高さについて閾値を設けたのは、車両が乗り越えられる程度の障害物(例えば小石)等であれば、回避措置を採る必要が無いからである。さらに、レーザ光の反射強度に閾値を設けたのは、雨天時などの走行において、雨などの透過性の強い物体については回避措置を講じないように設定するために設けたものである。 The reason why the threshold is set for the distance from the obstacle is to give priority to the operation by the driver. The reason why the threshold is set for the height of the obstacle is that there is no need to take an avoidance measure for an obstacle (for example, a pebble) or the like that the vehicle can get over. Further, the threshold value is provided for the reflection intensity of the laser beam in order to set the avoidance measure for a highly transmissive object such as rain when traveling in rainy weather.
前記表示装置90はモニタを備え、上述のようにしてコンピュータ70によって算出された走行路面の各点に対応した距離データと高さデータ、及びレーザ光の反射強度とを、数値あるいは3次元画像として、車両を運転する運転者が視認可能な状態で前記モニタ上に表示する(図6参照)。運転者は、前記モニタに表示された情報を確認することで、ブレーキ、操舵等の回避措置を採ることが可能となる。
The
取得したデータを3次元画像として表示する場合には、図6に示すように、断層状態に表される3次元画像を、車両の走行速度に応じて前方へ順次スライドさせて表示するように設定すると良い。これにより、障害物がレーザ照射範囲の死角に入った場合であっても、モニタ上で障害物との距離や障害物の高さ(大きさ)を確認することが可能となる。 When the acquired data is displayed as a three-dimensional image, as shown in FIG. 6, the three-dimensional image represented in the tomographic state is set to be displayed by sliding sequentially forward according to the traveling speed of the vehicle. Good. Thereby, even when the obstacle enters the blind spot in the laser irradiation range, the distance to the obstacle and the height (size) of the obstacle can be confirmed on the monitor.
前記車両制御装置80は、前記コンピュータ70からの制御信号に基づき、車両に備えられたブレーキ(不図示)、アクセル(不図示)、ハンドル(不図示)等のそれぞれに対応させて設けたアクチュエータ82,84,86に対して動作信号を出力するものである。車両制御装置80による自動制御により、運転者が気付かない衝突の危険を回避することが可能となる。なお、コンピュータ70からの信号に基づいて警報器88に信号を出力し、警報を発するようにしても良い。これにより、運転者に注意を促すことができる。
The
次に、衝突防止装置搭載車両10におけるレーザ光照射範囲と、光学ユニット30の(受光)視野の違いについて図7に示しその理由を説明する。ここで、図7(A)は、側面図を示し、図7(B)は上面図を示す。図7から読み取れるように、光学ユニット30の視野とレーザ光照射範囲とは、幅方向においては略等しい。しかし、車両進行方向の範囲については、光学ユニット30の視野の方が明らかに広く設定されている。これは、レーザ光の照射範囲を含む広い範囲に視野を設定しておくことで、振動等の影響により視野範囲に変化が出た場合であっても、反射されたレーザ光を受光することができることによる。すなわち、光学ユニット30の視野をレーザ光の照射範囲と完全に合致させることも技術的には可能であるが、この場合、光学ユニットの視野がレーザ光の照射範囲から外れると、レーザ光が受光できなくなってしまうのである。よって本実施形態では、特に高さ方向(車両進行方向)についての範囲で光学ユニットの視野を広く設定している。
Next, the difference between the laser beam irradiation range in the
次に、図8に示すフローチャートを参照して、本実施形態に係る衝突防止装置による処理の流れを説明する。
上記構成の衝突防止装置搭載車両10ではまず、コンピュータ70に対してレーザ光の反射強度、障害物との距離、障害物の高さ、のそれぞれについての閾値を設定する(ステップ100)。なお、距離についての閾値は、車両の走行速度毎に詳細に設定しても良い。
Next, with reference to the flowchart shown in FIG. 8, the flow of processing by the collision prevention apparatus according to the present embodiment will be described.
In the
3次元レーザレーダ12を起動させ、車両を走行させる。これにより、振幅変調されたレーザ光は、シリンドリカルレンズ(光学レンズ)22によって車両の幅方向に広げられて走行路面に照射される。このため、照射されるレーザ光はファンビームとして走行路面をライン状に照らすこととなる。一方、受光側である光学ユニット30では、ファンビームを照射されたエリア(ライン)散乱光(反射光)を全て集光して、マイクロミラー上に結像させる。
The three-
具体的に説明すると、図4に示すように、レーザ光照射ライン上のA点はマイクロミラーアレイ上のB点に位置するマイクロミラーに結像する。そして、設定された分解能に合せて設けられたマイクロミラーのそれぞれに各点から反射されたレーザ光が結像される。このとき、マイクロミラー制御回路40は、タイミングコントローラ42からのトリガ信号を受け、マイクロミラーを1次元アダマールコードに従ったパターンでON−OFF制御する(ステップ110)。
More specifically, as shown in FIG. 4, point A on the laser light irradiation line forms an image on a micromirror located at point B on the micromirror array. Then, the laser beam reflected from each point is imaged on each of the micromirrors provided in accordance with the set resolution. At this time, the
マイクロミラーによって反射されたレーザ光は光検出器36によって受光され、ミキサ60を介して参照信号とミキシングされ、デジタル変換されてコンピュータ70に記録される(ステップ120)。
コンピュータ70に記録された反射光に関する全てのデータを1次元アダマール逆変換することで、各点毎の振幅と位相(距離と高さ)、及びレーザ光の反射強度を得る(ステップ130)。
The laser beam reflected by the micromirror is received by the
By performing one-dimensional Hadamard inverse transformation on all data relating to the reflected light recorded in the
得られた結果を表示装置90のモニタに出力する(ステップ140)と共に、障害物との距離、障害物の高さ、及びレーザ光の反射強度の各データと、ステップ100で予め定めた各データの閾値とを比較する(ステップ150)。
表示装置90のモニタにデータが出力された結果、運転者による回避行動がとられた場合には、ステップ110へ回帰して再び走行路面上のデータを取得する(ステップ160)。
The obtained result is output to the monitor of the display device 90 (step 140), and each data of the distance to the obstacle, the height of the obstacle, and the reflection intensity of the laser beam, and each data predetermined in
As a result of outputting the data to the monitor of the
一方、ステップ130で求めた障害物との距離データ、障害物の高さデータ、及びレーザ光の反射強度の全てがステップ100で定めた閾値を超える点があると判定された場合には、車両制御装置に信号を出力し、障害物の回避措置を採り(ステップ170)、ステップ110へ回帰する。なお、閾値を超えるデータが存在しない、あるいはいずれかのデータが閾値を超えない場合には、回避措置を採ること無くステップ110へ回帰する。
On the other hand, if it is determined that there are points where the distance data to the obstacle, the height data of the obstacle, and the reflection intensity of the laser beam obtained in step 130 all exceed the threshold value determined in
上記のような制御をタイミングコントローラによって一定周期で繰返し行うことで、車両の衝突防止を図る。
上記のような衝突防止装置であれば、3次元レーザレーダによって得られる3次元データの処理速度を向上させることができるため、実際の車両に搭載した場合であっても、走行に支障をきたすことが無い。
The above-described control is repeatedly performed at a constant cycle by the timing controller, thereby preventing the vehicle from colliding.
The collision prevention apparatus as described above can improve the processing speed of the three-dimensional data obtained by the three-dimensional laser radar, and thus hinders traveling even when mounted on an actual vehicle. There is no.
例えば、車両幅方向の分解能を128とし、計測ピッチを10cmとした場合、計測可能な最高時速は約75km/hとなる。これは、以下の計算により導き出すことができる数値である。
まず、1024×128個のDMD(Digital Micromirror Device)アレイを使用すると仮定する。DMDは1個のミラーにつき1ビットのSRAM(Static Random Access Memory)が用意されており、このメモリに1または0のデータを記憶させることで、このデータに従った方向にミラーを傾けることができる。
For example, when the resolution in the vehicle width direction is 128 and the measurement pitch is 10 cm, the maximum speed that can be measured is about 75 km / h. This is a numerical value that can be derived by the following calculation.
First, it is assumed that a 1024 × 128 DMD (Digital Micromirror Device) array is used. The DMD has a 1-bit SRAM (Static Random Access Memory) for each mirror. By storing 1 or 0 data in this memory, the mirror can be tilted in the direction according to this data. .
ここで、データの信号ビット幅を64bit、周波数を120MHzとする。この場合、仮定したDMDアレイの持つSRAMへ1,0のデータを書き込むために要する時間は、
また、SRAMに記憶されたデータに従ってミラーを傾けるのに要する時間は約20μsecである。また、分解能128の場合に必要とされるパターン数は128なので、マイクロミラーアレイを全てのパターンについて変化させるのに必要とされる時間は、
なお、複数チャンネルの光検出器を使用した場合、1つのチャンネルで検出する車両幅方向の画素数が減るため、同一速度で走行する際の計測ピッチを短くすることができる。例えば、光検出器のチャンネル数を8、車両幅方向の分解能を128とすると、1つのチャンネルで検出する画素数は128/8=16となる。したがって、1次元アダマールのパターン数は16で良くなる。
この場合の計測ピッチは、10/8=1.25cmとなる。
When a multi-channel photodetector is used, the number of pixels in the vehicle width direction detected by one channel is reduced, so that the measurement pitch when traveling at the same speed can be shortened. For example, if the number of channels of the photodetector is 8 and the resolution in the vehicle width direction is 128, the number of pixels detected by one channel is 128/8 = 16. Therefore, the number of one-dimensional Hadamard patterns is better.
In this case, the measurement pitch is 10/8 = 1.25 cm.
また、実施形態では照射するレーザ光の数は1つとして説明したが、受信信号のS/N比を向上させるために、照射するレーザ光の数を増やしても良い。受信信号のS/N比を向上させるために照射するレーザ光の数を増やした場合には、レーザ光の照射位置の違いから受光時のレーザ光の位相差を特定することが困難となり、適正な3次元データを得られない場合がある。これを防止するため、照射するレーザ光を複数にする場合には、レーザ光毎に識別信号を重畳させると良い。これにより、レーザ光毎の照射源のズレを特定することが可能となり、適正な3次元データを得ることが可能となる。なお、レーザ光に識別信号を重畳させた場合には、レーダ回路ユニット50や、コンピュータ70で復調処理を行い、到来したレーザ光の照射源を特定する必要がある。前記識別信号としては、PN(Pseudo Noise:擬似ノイズ)信号等であれば良い。
上述したように、本発明の衝突防止装置及び衝突防止装置搭載車両によれば、実用レベルの走行速度での3次元データ取得が可能となる。
In the embodiment, the number of laser beams to be irradiated has been described as one. However, in order to improve the S / N ratio of the received signal, the number of laser beams to be irradiated may be increased. When the number of laser beams to be irradiated is increased in order to improve the S / N ratio of the received signal, it becomes difficult to specify the phase difference of the laser beam at the time of light reception from the difference in the irradiation position of the laser beam. 3D data may not be obtained. In order to prevent this, when a plurality of laser beams are irradiated, it is preferable to superimpose an identification signal for each laser beam. Thereby, it becomes possible to specify the deviation of the irradiation source for each laser beam, and to obtain appropriate three-dimensional data. When the identification signal is superimposed on the laser light, it is necessary to perform demodulation processing by the
As described above, according to the collision prevention device and the vehicle equipped with the collision prevention device of the present invention, three-dimensional data can be obtained at a practical level of traveling speed.
なお、本発明の衝突防止装置は、車両以外、例えば船舶等に搭載したとしても、有効に活用することができる。 In addition, even if it installs in the ship etc. other than a vehicle, for example, the collision prevention apparatus of this invention can be utilized effectively.
10………衝突防止装置搭載車両、12………3次元レーザレーダ、14………車両、20………レーザ照射ユニット、22………シリンドリカルレンズ、24………レーザ出力部、30………光学ユニット、32………光学レンズ、34………プリズム、36………光検出器、38………マイクロミラー空間変調器、40………マイクロミラー制御回路、42………タイミングコントローラ、50………レーダ回路ユニット、52………高周波発振器(RF発振器)、54………パワースプリッタ、56………RFアンプ、58………90°ハイブリッド、60(60a,60b)………ミキサ、62(62a,62b)………ローパスフィルタ(LPF)、64………A/Dコンバータ、66………RFアンプ、68………パワースプリッタ、70………演算手段(コンピュータ)、80………車両制御装置、82………ブレーキアクチュエータ、84………アクセルアクチュエータ、86………ハンドルアクチュエータ、88………警報器、90………表示装置。
10 ......... Vehicle with anti-collision device, 12 ......... 3D laser radar, 14 ......... Vehicle, 20 ......... Laser irradiation unit, 22 ......... Cylindrical lens, 24 ......... Laser output unit, 30 ... ...... Optical unit, 32 .... Optical lens, 34 ........ Prism, 36 .... Photodetector, 38 .... Micromirror spatial modulator, 40 .... Micromirror control circuit, 42 .... Timing
Claims (5)
前記3次元情報取得装置は、レーザ光を照射するレーザ光照射ユニットと、
照射されたレーザ光のうち、計測対象面に反射して到来したレーザ光を受光する光学ユニットと、
前記レーザ光照射ユニットから照射したレーザ光と前記光学ユニットによって受光したレーザ光との位相差を割り出すレーダ回路ユニットとから構成され、
前記光学ユニットには、取得する3次元情報の分解能に対応する数のそれぞれ異なるパターンに従って反射面を構成して、到来したレーザ光を受光部に導く空間変調器を備え、
前記レーザ光照射ユニットには、照射するレーザ光を拡散させるレンズを備えたことを特徴とする衝突防止装置。 A three-dimensional information acquisition device for acquiring three-dimensional information of a measurement object using laser light, and a calculation means for outputting a signal to a braking means for a moving body or an alarm provided in the moving body based on the acquired three-dimensional information An anti-collision device comprising:
The three-dimensional information acquisition device includes a laser beam irradiation unit that irradiates a laser beam;
Of the irradiated laser light, an optical unit that receives the laser light that is reflected by the measurement target surface, and
A radar circuit unit that calculates a phase difference between the laser light irradiated from the laser light irradiation unit and the laser light received by the optical unit;
The optical unit includes a spatial modulator that configures the reflecting surface according to a number of different patterns corresponding to the resolution of the three-dimensional information to be acquired and guides the incoming laser light to the light receiving unit,
The collision prevention apparatus, wherein the laser beam irradiation unit includes a lens that diffuses the laser beam to be irradiated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005083772A JP4960599B2 (en) | 2005-03-23 | 2005-03-23 | Collision prevention device and vehicle equipped with collision prevention device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005083772A JP4960599B2 (en) | 2005-03-23 | 2005-03-23 | Collision prevention device and vehicle equipped with collision prevention device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006266801A true JP2006266801A (en) | 2006-10-05 |
JP4960599B2 JP4960599B2 (en) | 2012-06-27 |
Family
ID=37202949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005083772A Expired - Fee Related JP4960599B2 (en) | 2005-03-23 | 2005-03-23 | Collision prevention device and vehicle equipped with collision prevention device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4960599B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012237592A (en) * | 2011-05-10 | 2012-12-06 | Ihi Corp | Laser radar device and laser radar method |
JP2017166971A (en) * | 2016-03-16 | 2017-09-21 | 株式会社デンソー | Object detection device and object detection program |
KR101960417B1 (en) * | 2017-09-26 | 2019-03-20 | (주)에이치브레인 | Fusion sensor for improving object recognition rate and vehicle safety assistant system |
JP2020016603A (en) * | 2018-07-27 | 2020-01-30 | 京セラ株式会社 | Electromagnetic wave detection device and information acquisition system |
JP2020051860A (en) * | 2018-09-26 | 2020-04-02 | 京セラ株式会社 | Electromagnetic wave detector and information acquisition system |
WO2020071180A1 (en) * | 2018-10-05 | 2020-04-09 | 京セラ株式会社 | Electromagnetic wave detection device and information acquisition system |
CN112136061A (en) * | 2018-05-23 | 2020-12-25 | 酒井重工业株式会社 | Obstacle detection device for construction vehicle |
WO2021182231A1 (en) * | 2020-03-09 | 2021-09-16 | 株式会社小糸製作所 | Light-emitting device and sensor unit |
CN114787656A (en) * | 2019-12-04 | 2022-07-22 | 株式会社电装 | Obstacle detection device |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03120491A (en) * | 1989-10-03 | 1991-05-22 | Nec Corp | Laser range finder |
JPH03293507A (en) * | 1990-04-11 | 1991-12-25 | Nippondenso Co Ltd | Three-dimensional shape measuring apparatus |
JPH05150045A (en) * | 1991-11-28 | 1993-06-18 | Nec Corp | Laser radar device |
JPH09230027A (en) * | 1996-02-27 | 1997-09-05 | Nissan Motor Co Ltd | Radar equipment |
JPH1010233A (en) * | 1996-06-24 | 1998-01-16 | Mitsui Eng & Shipbuild Co Ltd | Method for laser obstruction detection and sensor therefor |
JPH1031742A (en) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | Image processor and object transfer device |
JPH10253759A (en) * | 1997-03-10 | 1998-09-25 | Omron Corp | Range finder |
JP2000055636A (en) * | 1998-08-06 | 2000-02-25 | Nekusuta:Kk | Three-dimensional shape measuring device and pattern light projector |
JP2000105277A (en) * | 1998-09-29 | 2000-04-11 | Nippon Signal Co Ltd:The | Vehicle-to-vehicle distance holding device |
JP2001004746A (en) * | 1999-06-16 | 2001-01-12 | Nec Corp | Collision-preventing device for vehicle running on rail |
JP2001524696A (en) * | 1997-11-20 | 2001-12-04 | ユーロピアン コミュニティ(イーシー) | Computer assisted holography method and apparatus |
JP2004212257A (en) * | 2003-01-06 | 2004-07-29 | Mitsui Eng & Shipbuild Co Ltd | Time resolution two-dimensional faint light photodetection method and device |
JP2004325096A (en) * | 2003-04-22 | 2004-11-18 | Fujitsu Ltd | Image processing method in lattice pattern projective method, image processor and measurement device |
JP2004361201A (en) * | 2003-06-04 | 2004-12-24 | Olympus Corp | Microspectroscope |
-
2005
- 2005-03-23 JP JP2005083772A patent/JP4960599B2/en not_active Expired - Fee Related
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03120491A (en) * | 1989-10-03 | 1991-05-22 | Nec Corp | Laser range finder |
JPH03293507A (en) * | 1990-04-11 | 1991-12-25 | Nippondenso Co Ltd | Three-dimensional shape measuring apparatus |
JPH05150045A (en) * | 1991-11-28 | 1993-06-18 | Nec Corp | Laser radar device |
JPH09230027A (en) * | 1996-02-27 | 1997-09-05 | Nissan Motor Co Ltd | Radar equipment |
JPH1010233A (en) * | 1996-06-24 | 1998-01-16 | Mitsui Eng & Shipbuild Co Ltd | Method for laser obstruction detection and sensor therefor |
JPH1031742A (en) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | Image processor and object transfer device |
JPH10253759A (en) * | 1997-03-10 | 1998-09-25 | Omron Corp | Range finder |
JP2001524696A (en) * | 1997-11-20 | 2001-12-04 | ユーロピアン コミュニティ(イーシー) | Computer assisted holography method and apparatus |
JP2000055636A (en) * | 1998-08-06 | 2000-02-25 | Nekusuta:Kk | Three-dimensional shape measuring device and pattern light projector |
JP2000105277A (en) * | 1998-09-29 | 2000-04-11 | Nippon Signal Co Ltd:The | Vehicle-to-vehicle distance holding device |
JP2001004746A (en) * | 1999-06-16 | 2001-01-12 | Nec Corp | Collision-preventing device for vehicle running on rail |
JP2004212257A (en) * | 2003-01-06 | 2004-07-29 | Mitsui Eng & Shipbuild Co Ltd | Time resolution two-dimensional faint light photodetection method and device |
JP2004325096A (en) * | 2003-04-22 | 2004-11-18 | Fujitsu Ltd | Image processing method in lattice pattern projective method, image processor and measurement device |
JP2004361201A (en) * | 2003-06-04 | 2004-12-24 | Olympus Corp | Microspectroscope |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012237592A (en) * | 2011-05-10 | 2012-12-06 | Ihi Corp | Laser radar device and laser radar method |
JP2017166971A (en) * | 2016-03-16 | 2017-09-21 | 株式会社デンソー | Object detection device and object detection program |
KR101960417B1 (en) * | 2017-09-26 | 2019-03-20 | (주)에이치브레인 | Fusion sensor for improving object recognition rate and vehicle safety assistant system |
CN112136061A (en) * | 2018-05-23 | 2020-12-25 | 酒井重工业株式会社 | Obstacle detection device for construction vehicle |
EP3832273A4 (en) * | 2018-07-27 | 2022-04-20 | Kyocera Corporation | Electromagnetic wave detection device and information acquisition system |
JP2020016603A (en) * | 2018-07-27 | 2020-01-30 | 京セラ株式会社 | Electromagnetic wave detection device and information acquisition system |
WO2020022151A1 (en) * | 2018-07-27 | 2020-01-30 | 京セラ株式会社 | Electromagnetic wave detection device and information acquisition system |
JP7397953B2 (en) | 2018-07-27 | 2023-12-13 | 京セラ株式会社 | Electromagnetic wave detection device |
JP2023016984A (en) * | 2018-07-27 | 2023-02-02 | 京セラ株式会社 | Electromagnetic wave detection device |
JP7191570B2 (en) | 2018-07-27 | 2022-12-19 | 京セラ株式会社 | Electromagnetic wave detector |
JP2020051860A (en) * | 2018-09-26 | 2020-04-02 | 京セラ株式会社 | Electromagnetic wave detector and information acquisition system |
JP7246151B2 (en) | 2018-09-26 | 2023-03-27 | 京セラ株式会社 | Electromagnetic wave detector |
JP2023080080A (en) * | 2018-09-26 | 2023-06-08 | 京セラ株式会社 | Electromagnetic wave detector and information acquisition system |
JP7004632B2 (en) | 2018-10-05 | 2022-01-21 | 京セラ株式会社 | Electromagnetic wave detection device |
CN112789513A (en) * | 2018-10-05 | 2021-05-11 | 京瓷株式会社 | Electromagnetic wave detection device and information acquisition system |
JP2020060396A (en) * | 2018-10-05 | 2020-04-16 | 京セラ株式会社 | Electromagnetic wave detection device and data acquisition system |
WO2020071180A1 (en) * | 2018-10-05 | 2020-04-09 | 京セラ株式会社 | Electromagnetic wave detection device and information acquisition system |
CN114787656A (en) * | 2019-12-04 | 2022-07-22 | 株式会社电装 | Obstacle detection device |
WO2021182231A1 (en) * | 2020-03-09 | 2021-09-16 | 株式会社小糸製作所 | Light-emitting device and sensor unit |
CN115244332A (en) * | 2020-03-09 | 2022-10-25 | 株式会社小糸制作所 | Light-emitting device and sensor unit |
Also Published As
Publication number | Publication date |
---|---|
JP4960599B2 (en) | 2012-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4960599B2 (en) | Collision prevention device and vehicle equipped with collision prevention device | |
WO2017145406A1 (en) | Laser radar device and traveling body | |
JP6522384B2 (en) | Laser radar device and traveling body | |
JP6522383B2 (en) | Laser radar device and traveling body | |
JP6387407B2 (en) | Perimeter detection system | |
US9891432B2 (en) | Object detection device and sensing apparatus | |
JP2004538492A (en) | A device for measuring distance | |
US11619722B2 (en) | Vehicle lidar polarization | |
US10996052B2 (en) | Sensing vehicle positions with optical sensors | |
JP2002215238A (en) | Obstruction detection sensor for unmanned carrier | |
JP2005274413A (en) | Radar system for vehicle | |
US20220283311A1 (en) | Enhancement of lidar road detection | |
JP2022043265A (en) | measuring device | |
US11567174B2 (en) | Stochastically clocked image generation of a LIDAR system | |
JP4561499B2 (en) | Vehicle driving support device | |
JP2016205962A (en) | Range-finding device | |
JP2010052688A (en) | Drive assisting device, drive assisting method, and drive assisting program | |
JP2008051759A (en) | Device and method for measuring distance | |
WO2023220316A1 (en) | Dual emitting co-axial lidar system with zero blind zone | |
JP2006284179A (en) | Dimensional measuring apparatus and apparatus and method for measuring dimension of vehicle | |
JP2008286767A (en) | Space measuring device for vehicle | |
JP2009139228A (en) | Object detecting device | |
JP2006258507A (en) | Apparatus for recognizing object in front | |
JPH06289138A (en) | Obstacle detecting device | |
JP6569328B2 (en) | Optical scanning device and in-vehicle system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090813 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101006 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110831 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20111007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120228 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120323 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |