JP2005291805A - Obstacle detection method and obstacle detection system - Google Patents
Obstacle detection method and obstacle detection system Download PDFInfo
- Publication number
- JP2005291805A JP2005291805A JP2004104512A JP2004104512A JP2005291805A JP 2005291805 A JP2005291805 A JP 2005291805A JP 2004104512 A JP2004104512 A JP 2004104512A JP 2004104512 A JP2004104512 A JP 2004104512A JP 2005291805 A JP2005291805 A JP 2005291805A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- detection
- radar
- width
- side detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、自車前方の先行車等の障害物の横幅又は横幅と高さを検出する障害物検出方法及び障害物検出装置に関するものである。 The present invention relates to an obstacle detection method and an obstacle detection device that detect the width or width and height of an obstacle such as a preceding vehicle ahead of the host vehicle.
従来、ASVと呼ばれる先進安全自動車(Advanced Safety Vehicle)や自動ブレーキシステム、ブレーキアシストシステム等を搭載した車両においては、追突の有無の判定等を行なうため、自車の走行中に、何らかの手法で自車前方の先行車等の障害物を認識し、少なくともその横幅を検出する必要がある。 Conventionally, in an advanced safety vehicle called ASV, a vehicle equipped with an automatic brake system, a brake assist system, etc., in order to determine the presence or absence of a rear-end collision, etc. It is necessary to recognize an obstacle such as a preceding vehicle in front of the vehicle and to detect at least its width.
なお、横幅だけでなく高さも検出すれば、検出結果から障害物の大きさ、形状等の認識も併せて行なえる。 If not only the horizontal width but also the height is detected, the size, shape, etc. of the obstacle can be recognized from the detection result.
ところで、前記障害物の捕捉センサとして、従来、レーザレーダ、ミリ波レーダ等のレーダ及び、CCD単眼カメラ、ステレオカメラ等のカメラがあり、前者のレーダの場合、横幅方向(水平方向)の走査に基づく自車前方の探査結果から前記の横幅の検出が行なえ、高さ方向(垂直方向)の走査に基づく自車前方の探査結果から前記の高さの検出が行なえ、後者のカメラの場合、撮影画像の画像処理によって前記の横幅および高さの検出が行なえる。 By the way, conventionally, there are radars such as laser radars and millimeter wave radars and cameras such as CCD monocular cameras and stereo cameras as the obstacle capturing sensors. In the case of the former radar, scanning in the horizontal direction (horizontal direction) is performed. In the case of the latter camera, the horizontal width can be detected from the search result in front of the vehicle based on the above, and the height can be detected from the search result in front of the vehicle based on the scanning in the height direction (vertical direction). The width and height can be detected by image processing of the image.
そして、撮影画像からの検出精度が画素単位であり、レーダ探査結果からの検出精度より高いことから、この種の障害物認識にあっては、従来は、前記カメラの撮影画像の画像処理によって障害物の横幅の検出又は横幅と高さの検出を行なって、障害物の衝突の有無、障害物の大きさ、形状の認識等を行なっている(例えば、特許文献1参照。)。 And since the detection accuracy from the captured image is in units of pixels and higher than the detection accuracy from the radar search results, this kind of obstacle recognition has conventionally been performed by image processing of the captured image of the camera. The detection of the width of the object or the detection of the width and height is performed to recognize the presence or absence of an obstacle collision, the size and shape of the obstacle, and the like (see, for example, Patent Document 1).
なお、自車にカメラとレーダを搭載した場合、レーダの探査結果は、主に、自車と先行車との車間距離検出に用いられている。 When a camera and a radar are mounted on the own vehicle, the radar search result is mainly used for detecting the inter-vehicle distance between the own vehicle and the preceding vehicle.
前記従来のようにカメラの撮影画像の画像処理のみから障害物の横幅の検出又は横幅と高さの検出を行なう場合、気象条件を含む走行環境や撮影照明等の撮影条件によっては、撮影が行えなくなったり、撮影精度が低下したりするため、必ずしも高い検出精度で検出することができない問題がある。 When detecting the width of an obstacle or the detection of the width and height only from image processing of the image taken by the camera as in the prior art, shooting can be performed depending on the shooting conditions such as the driving environment including the weather conditions and shooting lighting. There is a problem that it cannot always be detected with high detection accuracy because it disappears or the photographing accuracy decreases.
そして、障害物の横幅の検出又は横幅と高さの検出を極力高い精度で行なって認識精度を向上するため、カメラの撮影画像の画像処理に基く検出とレーダ探査結果に基く検出とを組み合わることが考えられるが、それらを組み合わせて障害物の横幅又は横幅と高さを検出する具体的な構成は発明されていない。 In order to improve the recognition accuracy by detecting the width of the obstacle or the detection of the width and height as much as possible, the detection based on the image processing of the captured image of the camera and the detection based on the radar search result are combined. However, a specific configuration for detecting the width or width and height of an obstacle by combining them is not invented.
本発明は、カメラの撮影画像の画像処理に基く検出とレーダ探査結果に基く検出とを組み合わせて自車前方の障害物の横幅又は横幅と高さを極力精度よく検出する具体的な構成を提供することを目的とする。 The present invention provides a specific configuration for detecting the width or width and height of an obstacle ahead of the host vehicle as accurately as possible by combining detection based on image processing of a captured image of a camera and detection based on a radar search result. The purpose is to do.
上記した目的を達成するために、本発明の障害物検出方法は、自車前方のレーダ探査結果により自車前方の障害物の横幅のレーダ側検出長をくり返し算出し、自車前方の撮影画像の画像処理により前記障害物の横幅の画像側検出長をくり返し算出し、前記レーダ側検出長の分散値と前記画像側検出長の分散値との比に基づき、前記障害物の横幅検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定し、前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅を検出することを特徴としている(請求項1)。 In order to achieve the above-described object, the obstacle detection method of the present invention repeatedly calculates the radar-side detection length of the width of an obstacle in front of the host vehicle from the radar search result in front of the host vehicle, and takes a captured image in front of the host vehicle. The image side detection length of the width of the obstacle is repeatedly calculated by the image processing, and is adopted for the detection of the width of the obstacle based on the ratio of the variance value of the radar side detection length and the variance value of the image side detection length. Determining the ratio between the radar-side detection length and the image-side detection length, and detecting the width of the obstacle by adding the determined ratio of the radar-side detection length and the image-side detection length. It is characterized (claim 1).
また、本発明の障害物検出方法は、自車前方のレーダ探査結果により障害物の横幅及び高さのレーダ側検出長をくり返し算出し、自車前方の撮影画像の画像処理により前記障害物の横幅及び高さの画像側検出長をくり返し算出し、前記障害物の横幅及び高さそれぞれの前記レーダ側検出長の分散値と前記画像側検出長の分散値との比に基づき、前記障害物の横幅及び高さそれぞれの検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定し、前記障害物の横幅及び高さそれぞれの前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅及び高さを検出することを特徴としている(請求項2)。 In the obstacle detection method of the present invention, the radar side detection length of the width and height of the obstacle is repeatedly calculated from the radar search result in front of the host vehicle, and the obstacle is detected by image processing of the captured image in front of the host vehicle. The image side detection length of the width and height is repeatedly calculated, and the obstacle is based on the ratio of the dispersion value of the radar side detection length and the dispersion value of the image side detection length for each of the width and height of the obstacle. The ratio of the radar-side detection length and the image-side detection length employed for the detection of each of the horizontal width and height of the obstacle is determined, and the radar-side detection length and the image-side detection length of the horizontal width and height of the obstacle are determined. The lateral width and height of the obstacle are detected by adding the determined ratios.
さらに、本発明の障害物検出方法は、レーダ側検出長の分散値と画像側検出長の分散値との比が、レーダ探査、撮影画像それぞれの検出結果の分散特性によって補正した前記両分散値の比であることを特徴とし(請求項3)、レーダ側検出長と画像側検出長との採用割合を、前記両検出長の分散値の比に基く採用割合が予め設定されたデータマップから決定することも特徴とし(請求項4)、レーダ側検出長の分散値と画像側検出長の分散値とを、自車と障害物との距離に応じて補正することも特徴とし(請求項5)、また、レーダ側検出長と画像側検出長との採用割合を、走行環境の気象条件、撮影照明条件等の検出環境条件によって補正することを特徴とし(請求項6)、障害物の横幅の検出又は横幅及び高さの検出を、一定時間だけくり返して更新することも特徴とし(請求項7)、障害物の横幅の検出又は横幅及び高さの検出を、レーダ側検出長、画像側検出長の分散値がほぼ収束するまでくり返して更新することも特徴としている(請求項8)。 Further, according to the obstacle detection method of the present invention, the ratio between the dispersion value of the radar side detection length and the dispersion value of the image side detection length is corrected by the dispersion characteristics of the detection results of the radar exploration and the captured image. (Claim 3), the adoption ratio between the radar-side detection length and the image-side detection length is determined from a data map in which the adoption ratio based on the ratio of the dispersion values of the two detection lengths is set in advance. It is also characterized in that it is determined (Claim 4), and the dispersion value of the radar side detection length and the dispersion value of the image side detection length are corrected according to the distance between the vehicle and the obstacle (Claims). 5) Further, the adoption ratio between the radar side detection length and the image side detection length is corrected by the detection environment conditions such as the weather condition of the driving environment and the photographing illumination condition (Claim 6), Detect horizontal width or horizontal width and height for a certain period of time. It is also characterized in that it is returned and updated (claim 7), and the detection of the width of the obstacle or the detection of the width and height is repeated until the dispersion values of the radar side detection length and the image side detection length are almost converged. (Claim 8).
つぎに、本発明の追障害物検出装置は、自車前方を探査するレーダと、自車前方を撮影するカメラと、前記レーダの探査結果により自車前方の障害物の横幅のレーダ側検出長をくり返し算出し、前記カメラの撮影画像の画像処理により前記障害物の横幅の画像側検出長をくり返し算出する検出長演算手段と、前記レーダ側検出長の分散値と前記画像側検出長の分散値とを算出し、前記両分散値の比に基づいて前記障害物の横幅検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定する割合決定手段と、前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により前記障害物の横幅を検出する検出処理手段とを備えたことを特徴としている(請求項9)。 Next, the additional obstacle detection device of the present invention includes a radar for exploring the front of the own vehicle, a camera for photographing the front of the own vehicle, and a radar side detection length of the width of the obstacle ahead of the own vehicle based on the result of the radar exploration. Detection length calculation means for repeatedly calculating and calculating the image side detection length of the width of the obstacle repeatedly by image processing of the captured image of the camera, a variance value of the radar side detection length, and a variance of the image side detection length A ratio determining means for calculating a value and determining a ratio between the radar side detection length and the image side detection length to be used for detecting the width of the obstacle based on the ratio of the two variance values; and the radar side detection Detection processing means for detecting the width of the obstacle by adding the determined ratio of the length and the detection length on the image side is provided (claim 9).
また、本発明の追障害物検出装置は、自車前方を探査するレーダと、自車前方を撮影するカメラと、前記レーダの探査結果により自車前方の障害物の横幅及び高さのレーダ側検出長をくり返し算出し、前記カメラの撮影画像の画像処理により前記障害物の横幅及び高さの画像側検出長をくり返し算出する検出長演算手段と、前記障害物の横幅及び高さそれぞれの前記レーダ側検出長の分散値と前記画像側検出長の分散値とを算出し、前記両検出長の分散値の比に基づき、前記障害物の横幅及び高さそれぞれの検出に採用する前記両検出長の割合を決定する割合決定手段と、前記障害物の横幅及び高さそれぞれの前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅及び高さを検出する検出処理手段とを備えたことを特徴としている(請求項10)。 The obstacle detection device according to the present invention includes a radar for exploring the front of the own vehicle, a camera for photographing the front of the own vehicle, and a radar side of the width and height of the obstacle ahead of the own vehicle according to the result of the radar exploration. A detection length calculation unit that repeatedly calculates a detection length, and repeatedly calculates an image side detection length of the width and height of the obstacle by image processing of the captured image of the camera, and the width and height of the obstacle respectively. The both detections that are used to detect the lateral width and height of the obstacle based on the ratio of the dispersion values of the both detection lengths, by calculating the dispersion value of the radar side detection length and the dispersion value of the image side detection length. A ratio determining means for determining a ratio of the length, and by adding the determined ratio of the radar side detection length and the image side detection length of each of the obstacle width and height respectively, the width and height of the obstacle Detection processing means for detecting It is characterized by comprising (claim 10).
さらに、本発明の障害物検出は、レーダ側検出長の分散値と画像側検出長の分散値との比が、レーダ探査、撮影画像それぞれの検出結果の分散特性によって補正した前記両分散値の比であることを特徴とし(請求項11)、割合決定手段にレーダ側検出長の分散値と画像側検出長の分散値との比に基く採用割合が予め設定されたデータマップを保持し、前記両検出長の採用割合を前記データマップから決定することも特徴とし(請求項12)、また、割合決定手段に、レーダ側検出長の分散値と画像側検出長の分散値とを、自車と障害物との距離に応じて補正する機能を備えたことを特徴とし(請求項13)、割合決定手段に、レーダ側検出長と画像側検出長との採用割合を、走行環境の気象条件、撮影照明条件等の検出条件によって補正する機能を備えたことも特徴とし(請求項14)、検出処理手段により、障害物の横幅の検出又は横幅及び高さの検出を一定時間だけくり返して更新することも特徴とし(請求項15)、検出処理手段により、障害物の横幅の検出又は横幅及び高さの検出をレーダ側検出長、画像側検出長の分散値がほぼ収束するまでくり返して更新することも特徴としている(請求項16)。 Further, according to the obstacle detection of the present invention, the ratio between the dispersion value of the radar-side detection length and the dispersion value of the image-side detection length is corrected by the dispersion characteristics of the detection results of the radar search and the captured image. The ratio determination means holds a data map in which the adoption ratio based on the ratio between the dispersion value of the radar side detection length and the dispersion value of the image side detection length is set in advance in the ratio determination means, The adoption ratio of the both detection lengths is also determined from the data map (claim 12), and the ratio determination means automatically determines the dispersion value of the radar side detection length and the dispersion value of the image side detection length. A function of correcting according to the distance between the vehicle and the obstacle is provided (Claim 13), and the ratio determining means determines the adoption ratio of the radar-side detection length and the image-side detection length to the weather in the driving environment. Correction according to detection conditions such as shooting conditions and shooting illumination conditions It is also characterized in that it has a function (Claim 14), and the detection processing means repeats and updates the detection of the width of the obstacle or the detection of the width and height for a certain time (Claim 15), The detection processing means repeats and updates the detection of the width of the obstacle or the detection of the width and height until the dispersion values of the radar side detection length and the image side detection length are almost converged (claim 16). .
まず、請求項1、9の構成によれば、レーダ側検出長、画像側検出長の分散値がそれぞれの検出精度に対応することから、レーダ側検出長の分散値と前記画像側検出長の分散値との比に基づき、両検出長をそれぞれの検出精度に応じた割合ずつ加算して障害物の横幅が検出され、カメラの撮影画像の画像処理に基く検出とレーダ探査結果に基く検出とを組み合わせて、撮影が困難な場合等にも極力精度よく障害物の横幅を検出することができる具体的な構成を提供することができる。 First, according to the configurations of claims 1 and 9, since the dispersion values of the radar side detection length and the image side detection length correspond to the respective detection accuracy, the dispersion value of the radar side detection length and the image side detection length Based on the ratio to the variance value, the detection width is detected by adding both detection lengths in proportion to the detection accuracy, and detection based on image processing of the captured image of the camera and detection based on the radar search result In combination, it is possible to provide a specific configuration capable of detecting the width of an obstacle as accurately as possible even when shooting is difficult.
また、請求項2、10の構成によれば、障害物の横幅及び高さそれぞれについてのレーダ側検出長の分散値と前記画像側検出長の分散値との比に基づき、両検出長をそれぞれの検出精度の応じた割合ずつ加算することにより、カメラの撮影画像の画像処理に基く検出とレーダ探査結果に基く検出とを組み合わせて、撮影が困難な場合等にも極力精度よく障害物の横幅及び高さを検出することができる具体的な構成を提供することができる。 According to the second and tenth aspects of the present invention, both detection lengths are determined based on the ratio between the dispersion value of the radar side detection length and the dispersion value of the image side detection length for each of the width and height of the obstacle. By adding a ratio according to the detection accuracy of the camera, it is possible to combine detection based on image processing of the captured image of the camera and detection based on the radar search results, and to obtain the width of the obstacle as accurately as possible even when shooting is difficult. In addition, a specific configuration capable of detecting the height can be provided.
さらに、請求項3、11の構成によれば、レーダ探査、撮影画像それぞれの固有の分散特性を考慮し、レーダ側検出長の分散値と画像側検出長の分散値との比がそれらの固有の分散特性の補正を施して求められるため、検出精度が一層向上する。
Furthermore, according to the configurations of
また、請求項4、12の構成によれば、レーダ側検出長の分散値と画像側検出長との採用割合を、両検出長の分散値の比に基く採用割合が予め設定されたデータマップから決定して容易に求めることができる。
According to the configuration of
つぎに、請求項5、13の構成によれば、自車と障害物との距離によるレーダ探査、カメラ撮影画像の検出精度変化を考慮した補正を施して検出が行なえ、請求項6、14の構成によれば、走行環境の気象条件、撮影照明条件等の検出条件を考慮した補正を施して検出が行なえる。
Next, according to the configurations of
さらに、請求項7、15の構成によれば、障害物の横幅の検出又は横幅及び高さの検出を一定時間だけくり返して更新することにより、処理負担の軽減等を図って障害物の横幅の検出又は横幅と高さの検出を行うことができ、請求項8、16の構成によれば、障害物の横幅の検出又は横幅及び高さの検出をレーダ側検出長、画像側検出長の分散値がほぼ収束するまでくり返して更新することにより、処理負担の軽減を図って、安定した条件で障害物の横幅の検出又は横幅と高さの精度の高い検出を行うことができる。
Furthermore, according to the configurations of
つぎに、本発明をより詳細に説明するため、その一実施形態について、図1〜図3にしたがって詳述する。 Next, in order to describe the present invention in more detail, an embodiment thereof will be described in detail with reference to FIGS.
図1は自車1の障害物検出・衝突回避のブロック図、図2は図1の障害物検出の動作説明用のフローチャート、図3はデータマップの模式図である。 1 is a block diagram of obstacle detection / collision avoidance of the vehicle 1, FIG. 2 is a flowchart for explaining the operation of obstacle detection in FIG. 1, and FIG. 3 is a schematic diagram of a data map.
(構成)
図1に示す自車1は例えば先進安全自動車(ACC)であり、同図において、2はドライバが操作する各種の制御スイッチからなる制御スイッチ部、3はワイパ、4は自車前方を撮影するCCD単眼カメラ構成のカメラ、5は自車前方をレーダ探査するレーザレーダ構成のレーダであり、この実施形態においては、自車前方の先行車等の障害物の横幅及び自車と障害物との距離を検出するため、自車前方を車幅方向(水平方向)にのみ探査する。
(Constitution)
A vehicle 1 shown in FIG. 1 is, for example, an advanced safety vehicle (ACC). In FIG. 1, 2 is a control switch unit including various control switches operated by a driver, 3 is a wiper, and 4 is a front image of the vehicle. The CCD single-
そして、制御スイッチ部2の各種の制御信号、ワイパ3の動作表示信号、カメラ4の撮影画像信号、レーダ5の探査信号は、障害物検出・衝突回避の演算、制御の各種処理を行うマイクロコンピュータ構成の認識処理用のECU6に入力され、このEUU6は、予め設定された障害物検出・衝突回避のプログラムを実行し、図2のステップS1〜S9の障害物検出処理を行なって、つぎの(i)〜(iii)の各手段を形成する。
The various control signals of the
(i)検出長演算手段
この手段は、例えば秒単位周期のレーダ5の探査の走査毎に自車前方の障害物の横幅のレーダ側検出長Lrをくり返し算出し、カメラ4の同様の周期の撮影画像の画像処理により障害物の横幅の画像側検出長Liをくり返し算出する。
(I) Detection length calculation means This means repeatedly calculates the radar-side detection length Lr of the width of the obstacle ahead of the host vehicle, for example, every scanning scan of the
なお、両検出長Lr、Liは、例えば、レーダ5の探査によって得られた反射点間距離からレーダ側検出長Lrを算出し、撮影画像の水平方向の垂直ピークレベル点間距離から画像側検出長Liを算出して得られる。
The detection lengths Lr and Li are calculated from the distance between the reflection points obtained by the
(ii)割合決定手段
この手段は、新たな検出長Lr、Liが得られる毎に、それまでの検出長Lr、Liそれぞれの全部または最新のものから一定数のデータに基いて、レーダ側検出長Lrの分散値σRと画像側検出長Liの分散値σIとを算出し、算出した分散値σR、σIの比に基づいて障害物の横幅の検出に採用する検出長Lr、Liの割合Pr(%)、Pi(%)を決定する。
(Ii) Ratio determination means This means that each time a new detection length Lr, Li is obtained, the radar side detection is performed based on a certain number of data from all or the latest detection lengths Lr, Li. The ratio Pr of the detection lengths Lr and Li, which is used for detecting the lateral width of the obstacle, is calculated based on the ratio of the calculated dispersion values σR and σI. (%) And Pi (%) are determined.
そして、この実施形態にあっては、レーダ探査、撮影画像それぞれの検出結果の分散特性が異なることを考慮し、その特性誤差を補償して分散値σR、σIの条件を等しくするため、実験等によって設定された補正係数K1、K2を分散値σR、σIに乗算し、分散値σR、σIの比を補正後の分散値K1×σR、K2×σIの比に補正する。なお、K1+K2=100である。 In this embodiment, considering that the dispersion characteristics of the detection results of the radar exploration and the captured images are different, the characteristics error is compensated for and the conditions of the dispersion values σR and σI are equalized. The dispersion coefficients σR and σI are multiplied by the correction coefficients K1 and K2 set by the above, and the ratio between the dispersion values σR and σI is corrected to the corrected dispersion values K1 × σR and K2 × σI. Note that K1 + K2 = 100.
また、検出長Lr、Liの割合Pr(%)、Pi(%)は、つぎに説明する演算方式、マップ方式のいずれかによって決定する。 Further, the ratios Pr (%) and Pi (%) of the detection lengths Lr and Li are determined by either the calculation method or the map method described below.
(a)演算方式
この方式は、分散値K1×σR(またはσR)、K2×σI(またはσI)の比に基き、例えばつぎの算出式の演算から割合Pi(%)を求め、100−Piの演算から割合Pr(%)を求める方式である。
(A) Calculation method In this method, for example, the ratio Pi (%) is obtained from the calculation of the following calculation formula based on the ratio of the dispersion values K1 × σR (or σR), K2 × σI (or σI), The ratio Pr (%) is obtained from the above calculation.
Pi(%)=100×σI/(K1×σR+K2×σI)
(b)マップ方式
この方式は、割合決定手段に分散値値σR(またはK1×σR)、σI(またはK2×σI)に基く採用割合が予め設定されたデータマップ、例えば図3の2次元パラメータσR、σIのデータマップMPを保持し、両検出長Lr、Liの採用割合をデータマップMPから決定する方式であり、具体的には、データマップMPから割合Pi(%)を決定し、100−Pi(%)から割合Pr(%)を求める方式であり、演算等することなく、極めて簡単に割合Pi(%)、Pr(%)を決定することができる。
Pi (%) = 100 × σI / (K1 × σR + K2 × σI)
(B) Map method This method is a data map in which the ratio determination means uses a variance value σR (or K1 × σR), σI (or K2 × σI) in advance, and the two-dimensional parameter shown in FIG. This is a method of holding the data map MP of σR and σI, and determining the adoption ratio of both detection lengths Lr and Li from the data map MP. Specifically, the ratio Pi (%) is determined from the data map MP, and 100 This is a method for obtaining the ratio Pr (%) from -Pi (%), and it is possible to determine the ratio Pi (%) and Pr (%) very easily without calculation.
なお、データマップMPの特性は、種々の実験等に基づいて設定する。 The characteristics of the data map MP are set based on various experiments.
また、割合Pr(%)、Pi(%)は、障害物の横幅の検出期間中、新たな検出長Lr、Liが得られて分散値値σR(またはK1×σR)、σI(またはK2×σI)が更新される毎に、前記の演算方式又はマップ方式で新たに決定される。 The ratios Pr (%) and Pi (%) indicate that the new detection lengths Lr and Li are obtained during the obstacle width detection period, and the variance value σR (or K1 × σR), σI (or K2 × Each time (σI) is updated, it is newly determined by the calculation method or the map method.
(iii)検出処理手段
この手段は、検出長Lr、Liの決定した割合Pr(%)、Pi(%)ずつの加算(=Lr×(Pr/100)+Li×(Pi/100))により、障害物の横幅を算出して検出することをくり返す。
(Iii) Detection processing means This means is obtained by adding the determined ratio Pr (%) and Pi (%) of the detection lengths Lr and Li (= Lr × (Pr / 100) + Li × (Pi / 100)). Repeatedly calculate and detect the width of the obstacle.
そして、この実施形態においては、ECU6の処理負担を軽減するため、検例えばレーダ探査又は撮影画像から障害物の存在或いは変更を検出した後、1分間程度の一定時間だけ障害物の横幅を検出して更新することをくり返えし、以降は、検出した横幅の更新を停止する。
In this embodiment, in order to reduce the processing load on the
つぎに、ECU6は検出した障害物の横幅と自車、障害物の走行予測軌跡等とに基づいて、障害物との衝突の可能性及びその回避手法を判断する。
Next, the
そして、図1の7は前記の衝突の可能性及びその回避手法を画面表示等する表示警報ユニット、8はスロットル制御ユニット、9は自動変速機構(AT)制御ユニット、10はブレーキ制御ユニット、11はステアリング制御ユニットであり、ユニット8〜11はECU6の衝突の可能性及びその回避手法の判断に基づいて動作制御され、自車1の走行を自動的に可変制御して衝突を回避する。
In FIG. 1, 7 is a display alarm unit for displaying the possibility of collision and its avoidance method on a screen, 8 is a throttle control unit, 9 is an automatic transmission mechanism (AT) control unit, 10 is a brake control unit, 11 Is a steering control unit, and the
(動作)
つぎに、図1の障害物検出の動作を、図2のフローチャートを参照して説明する。
(Operation)
Next, the obstacle detection operation of FIG. 1 will be described with reference to the flowchart of FIG.
まず、自車1のイグニッションキーがオンしてエンジンが始動されると、図2のステップS1、S2によりレーダ5、カメラ4が自車前方のレーダ探査、撮影を実行する。
First, when the ignition key of the host vehicle 1 is turned on and the engine is started, the
つぎに、図2のステップS3、S4により、ECU6の検出長演算手段が動作して検出長Lr、Liを算出する。
Next, at steps S3 and S4 in FIG. 2, the detection length calculation means of the
さらに、ECU6の割合決定手段が動作し、図2のステップS5、S6により検出長Lr、Liの分散値σR、σIを算出し、このとき、分散値σR、σIの条件を等しくするため、分散値σR、σIの比を補正後の分散値K1×σR、K2×σIの比に補正する。
Further, the ratio determining means of the
また、ECU6の前記割合決定手段の動作により、ステップS7で算出した分散値σR、σIの比に基づき、例えば図3のデータマップMPから障害物の横幅の検出に採用する検出長Lr、Liの割合Pr(%)、Pi(%)を決定する。
Further, based on the ratio of the dispersion values σR, σI calculated in step S7 by the operation of the ratio determining means of the
そして、ステップS8により検出処理手段が動作し、検出長Lr、Liの決定した割合Pr(%)、Pi(%)ずつの加算により、障害物の横幅を算出して検出する。 Then, in step S8, the detection processing means operates, and the lateral width of the obstacle is calculated and detected by adding the determined ratios Pr (%) and Pi (%) of the detection lengths Lr and Li.
さらに、設定された一定期間が経過するまでステップS8からステップS9を介してステップS1、S2に戻り、これらのステップS1、S2からの動作をくり返し、検出長Lr、Liの決定した割合Pr(%)、Pi(%)を更新し、障害物の横幅を算出して検出することをくり返し、一定期間が経過すると、ステップS9を肯定(YES)で通過し、処理を終了する。 Further, the process returns from step S8 to steps S1 and S2 through step S9 until the set fixed period elapses, and the operations from these steps S1 and S2 are repeated to determine the determined ratio Pr (%) of the detection lengths Lr and Li. ), Pi (%) is updated, the width of the obstacle is calculated and detected repeatedly, and when a certain period of time has elapsed, step S9 is passed in affirmative (YES), and the process is terminated.
そして、分散値σR、σIが検出長Lr、Liそれぞれの検出精度に対応することから、分散値σR、σIの比に基づき、両検出長Lr、Liをそれぞれの検出精度の応じた割合ずつ加算して障害物の横幅を精度よく検出することができ、カメラ4の撮影画像の画像処理に基く検出とレーダ5の探査結果に基く検出とを組み合わせて、撮影が困難な場合等にも極力精度よく障害物の横幅を検出することができる具体的な構成を提供することができ、その結果、衝突の可能性及びその回避の制御精度等を向上することができる。
Since the dispersion values σR and σI correspond to the detection accuracy of each of the detection lengths Lr and Li, based on the ratio of the dispersion values σR and σI, both detection lengths Lr and Li are added in proportions according to the detection accuracy. Thus, the lateral width of the obstacle can be detected with high accuracy, and the detection based on the image processing of the captured image of the
また、レーダ探査、撮影画像それぞれの固有の分散特性を考慮し、分散値σR、σIの比を、それらの固有の分散特性の補正を施して求めることにより、障害物の横幅の検出精度が一層向上する。 Further, by taking into account the inherent dispersion characteristics of the radar exploration and the captured image, the ratio of the dispersion values σR and σI is obtained by correcting the inherent dispersion characteristics, thereby further improving the width detection accuracy of the obstacle. improves.
さらに、障害物の横幅の検出の更新を一定時間内に制限することにより、ECU6の処理負担の軽減等を図って障害物の横幅の検出を行うことができる。
Furthermore, by limiting the update of the detection of the width of the obstacle within a certain time, the width of the obstacle can be detected while reducing the processing load of the
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記実施形態においては、レーダ5により自車前方の車幅方向(水平方向)のみを探査するようにしたが、レーダ5を水平走査のレーダと垂直走査のレーダとによって形成し、自車前方の高さ方向(垂直方向)も探査するようにし、さらに、ECU6の検出長演算手段により、レーダ5の探査結果により自車前方の障害物の横幅及び高さのレーダ側検出長をくり返し算出し、カメラ4の撮影画像の画像処理により障害物の横幅及び高さの画像側検出長をくり返し算出し、割合決定手段により、障害物の横幅及び高さそれぞれのレーダ側検出長Lrの分散値σRと画像側検出長Liの分散値σIとを算出し、両分散値σR、σIの比に基づき、障害物の横幅及び高さそれぞれの検出に採用する両検出長Lr、Liの割合を決定し、検出処理手段により、障害物の横幅及び高さそれぞれのレーダ側検出長Lrと画像側検出長Liとの決定した割合ずつの加算により、障害物の横幅及び高さを検出するようにしてもよく、この場合は、障害物の横幅及び高さを、精度よく検出することができ、この結果、障害物の形状の精度の高い検出も行うことができ、この検出から障害物を特定等
することもできる。
The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit thereof. For example, in the above-described embodiment, the
なお、この横幅及び高さの検出においても、マップ方式により、データマップMPと同様の横幅及び高さそれぞれのマップデータから検出長Lr、Liの割合Pr(%)、Pi(%)を決定することができ、演算方式の演算により、検出長Lr、Liの割合Pr(%)、Pi(%)を決定することもできる。また、レーダ探査、撮影画像それぞれの固有の分散特性を考慮し、分散値σR、σIの比を、それらの固有の分散特性の補正を施して求めると、障害物の横幅の検出精度を一層向上することができ、さらに、障害物の横幅の検出の更新を一定時間内に制限することにより、ECU6の処理負担の軽減等を図って障害物の横幅及び高さの検出を行うことがができるのは勿論である。
In the detection of the horizontal width and height, the ratio Pr (%) and Pi (%) of the detection lengths Lr and Li are determined from the map data of the horizontal width and height similar to the data map MP by the map method. The ratio Pr (%) and Pi (%) of the detection lengths Lr and Li can also be determined by calculation of the calculation method. In addition, taking into account the inherent dispersion characteristics of radar exploration and captured images, the ratio of dispersion values σR and σI can be determined by correcting these inherent dispersion characteristics to further improve the accuracy of obstacle width detection. Furthermore, by limiting the update of the detection of the width of the obstacle within a certain time, it is possible to detect the width and height of the obstacle by reducing the processing load of the
つぎに、障害物の横幅の検出、横幅及び高さの検出のいずれにおいても、割合決定手段に、レーダ側検出長Lrと画像側検出長Liとの採用割合を、走行環境の昼夜、悪天候等の気象条件、撮影画像の品質を左右する撮影照明条件等の検出環境条件によって補正する機能を備え、例えば、夜間や悪天候のとき、照明変化等による撮影画像の品質が低下するときには、レーダ検出長Lrの採用割合が多くなるように、割合Pr(%)、Pi(%)を補正係数をかけて補正することが、検出精度の向上等の面から好ましい。 Next, in both the detection of the width of the obstacle and the detection of the width and height, the ratio determination means uses the adoption ratio of the radar side detection length Lr and the image side detection length Li, the daytime and nighttime of the driving environment, bad weather, etc. For example, when the quality of the captured image is reduced due to changes in lighting, etc. at night or in bad weather. From the standpoint of improving detection accuracy, it is preferable to correct the ratio Pr (%) and Pi (%) by applying a correction coefficient so that the Lr adoption ratio increases.
なお、夜間は、画像輝度の変化、ヘッドライトの点灯信号、車内時計等から検出することができ、悪天候は、例えば図1のワイパ3の動作検出、撮影画像の乱れから検出することができ、照明条件は、画像輝度の変化から検出することができる。
At night, it can be detected from a change in image brightness, a headlight lighting signal, a car clock, etc., and bad weather can be detected from, for example, the operation of the
つぎに、割合決定手段に、レーダ側検出長の分散値と画像側検出長の分散値とを、自車1と障害物との距離に応じて補正する機能を備えると、自車1と障害物との距離が所定距離以内であれば、カメラ4は水平方向の解像度がレーダ5の探査性能より優れ、自車1と障害物との距離が遠距離になると、レーダ5の探査性能がカメラ4より優れることを考慮し、自車1と障害物との距離が近距離であれば、検出長Liの割合Pi(%)に検出長Lrの割合Pr(%)より大きな補正係数をかけて割合Pi(%)が大きくなるように補正し、遠距離になれば、検出長Lrの割合Pr(%)に検出長Liの割合Pi(%)より大きな補正係数をかけて割合Pr(%)が大きくなるように補正し、精度の高い方の検出長Li、Lrを多く利用することによって、障害物の横幅、横幅と高さの一層精度の高い検出が行える。
Next, if the ratio determining means has a function of correcting the dispersion value of the radar side detection length and the dispersion value of the image side detection length according to the distance between the vehicle 1 and the obstacle, the vehicle 1 and the obstacle If the distance to the object is within a predetermined distance, the horizontal resolution of the
そして、カメラ4はステレオカメラ等であってもよく、レーダ5がミリ波レーダ等であってもよいのは勿論であり、データマップが図3のデータマップMPと異なるマップ形状であってもよく、ECU6の障害物検出のプログラムが図2と異なる処理手順のプログラムであってもよい。
The
そして、本発明は、先進安全自動車の障害物認識だけでなく、自動ブレーキシステム、ブレーキアシストシステム等を搭載した車両の障害物認識に適用することができる。 The present invention can be applied not only to obstacle recognition of advanced safety vehicles, but also to obstacle recognition of vehicles equipped with an automatic brake system, a brake assist system, and the like.
ところで、図1のカメラ4、レーダ5等を、追従走行制御のセンサとして兼用し、自車1の装備部品数を少なくする場合にも適用できる。
By the way, the
1 自車
4 カメラ
5 レーダ
6 ECU
1
Claims (16)
自車前方の撮影画像の画像処理により前記障害物の横幅の画像側検出長をくり返し算出し、
前記レーダ側検出長の分散値と前記画像側検出長の分散値との比に基づき、前記障害物の横幅検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定し、
前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅を検出することを特徴とする障害物検出方法。 Repeatedly calculate the radar-side detection length of the width of obstacles ahead of the vehicle based on the radar search results in front of the vehicle,
The image side detection length of the width of the obstacle is repeatedly calculated by image processing of the captured image in front of the vehicle,
Based on the ratio between the dispersion value of the radar-side detection length and the dispersion value of the image-side detection length, determine the ratio of the radar-side detection length and the image-side detection length to be used for detecting the width of the obstacle,
An obstacle detection method comprising: detecting a lateral width of the obstacle by adding a determined ratio of the radar side detection length and the image side detection length.
自車前方の撮影画像の画像処理により前記障害物の横幅及び高さの画像側検出長をくり返し算出し、
前記障害物の横幅及び高さそれぞれの前記レーダ側検出長の分散値と前記画像側検出長の分散値との比に基づき、前記障害物の横幅及び高さそれぞれの検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定し、
前記障害物の横幅及び高さそれぞれの前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅及び高さを検出することを特徴とする障害物検出方法。 Repeatedly calculate the radar side detection length of the width and height of the obstacle from the radar survey results in front of the vehicle,
The image side detection length of the width and height of the obstacle is repeatedly calculated by image processing of the captured image in front of the host vehicle,
Based on the ratio between the dispersion value of the radar side detection length and the dispersion value of the image side detection length for each of the width and height of the obstacle, the radar side employed for detection of each of the width and height of the obstacle Determine the ratio between the detection length and the image side detection length,
Obstacle detection characterized by detecting the width and height of the obstacle by adding the determined ratio of the radar side detection length and the image side detection length of each of the width and height of the obstacle. Method.
自車前方を撮影するカメラと、
前記レーダの探査結果により自車前方の障害物の横幅のレーダ側検出長をくり返し算出し、前記カメラの撮影画像の画像処理により前記障害物の横幅の画像側検出長をくり返し算出する検出長演算手段と、
前記レーダ側検出長の分散値と前記画像側検出長の分散値とを算出し、前記両分散値の比に基づいて前記障害物の横幅検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定する割合決定手段と、
前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅を検出する検出処理手段とを備えたことを特徴とする障害物検出装置。 Radar that searches in front of the vehicle,
A camera that captures the front of the vehicle,
Detection length calculation that repeatedly calculates the radar side detection length of the width of the obstacle ahead of the vehicle based on the radar search result, and repeatedly calculates the image side detection length of the width of the obstacle by image processing of the captured image of the camera Means,
The radar-side detection length and the image-side detection are calculated for calculating the dispersion value of the radar-side detection length and the dispersion value of the image-side detection length, and are employed for detecting the width of the obstacle based on the ratio of the two dispersion values. A ratio determining means for determining a ratio with the length;
An obstacle detection apparatus comprising: a detection processing unit configured to detect a width of the obstacle by adding a determined ratio between the radar side detection length and the image side detection length.
自車前方を撮影するカメラと、
前記レーダの探査結果により自車前方の障害物の横幅及び高さのレーダ側検出長をくり返し算出し、前記カメラの撮影画像の画像処理により前記障害物の横幅及び高さの画像側検出長をくり返し算出する検出長演算手段と、
前記障害物の横幅及び高さそれぞれの前記レーダ側検出長の分散値と前記画像側検出長の分散値とを算出し、前記障害物の横幅及び高さそれぞれの前記両検出長の分散値の比に基づき、前記障害物の横幅及び高さそれぞれの検出に採用する前記レーダ側検出長と前記画像側検出長との割合を決定する割合決定手段と、
前記障害物の横幅及び高さそれぞれの前記レーダ側検出長と前記画像側検出長との決定した割合ずつの加算により、前記障害物の横幅及び高さを検出する検出処理手段とを備えたことを特徴とする障害物検出装置。 Radar that searches in front of the vehicle,
A camera that captures the front of the vehicle,
The radar side detection length of the obstacle in front of the vehicle is repeatedly calculated from the radar search result, and the image side detection length of the obstacle width and height is calculated by image processing of the image captured by the camera. Detection length calculation means for repeatedly calculating;
A variance value of the radar side detection length and a variance value of the image side detection length for each of the lateral width and height of the obstacle are calculated, and a variance value of the both detection lengths for each of the lateral width and height of the obstacle is calculated. Based on the ratio, a ratio determining means for determining a ratio between the radar side detection length and the image side detection length adopted for detection of the width and height of the obstacle,
Detection processing means for detecting the width and height of the obstacle by adding the determined ratio of the radar-side detection length and the image-side detection length for each of the width and height of the obstacle. Obstacle detection device characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004104512A JP4255398B2 (en) | 2004-03-31 | 2004-03-31 | Obstacle detection method and obstacle detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004104512A JP4255398B2 (en) | 2004-03-31 | 2004-03-31 | Obstacle detection method and obstacle detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005291805A true JP2005291805A (en) | 2005-10-20 |
JP4255398B2 JP4255398B2 (en) | 2009-04-15 |
Family
ID=35324911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004104512A Expired - Fee Related JP4255398B2 (en) | 2004-03-31 | 2004-03-31 | Obstacle detection method and obstacle detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4255398B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014192143A1 (en) * | 2013-05-31 | 2014-12-04 | トヨタ自動車 株式会社 | Driving assistance device for vehicles and onboard computer |
CN113325832A (en) * | 2020-02-28 | 2021-08-31 | 杭州萤石软件有限公司 | Obstacle avoidance method for movable robot and movable robot |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110364029A (en) * | 2019-08-27 | 2019-10-22 | 台州路桥南瑞智能装备科技有限公司 | A kind of ship height detection alarm device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320199A (en) * | 1994-05-26 | 1995-12-08 | Mitsubishi Electric Corp | Obstacle detector for vehicle |
JPH08329393A (en) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | Preceding vehicle detector |
JP2000121730A (en) * | 1998-10-19 | 2000-04-28 | Honda Motor Co Ltd | Obstacle detecting device for vehicle |
JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
JP2003172780A (en) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | Recognition device and recognition method of preceding vehicle |
JP2004038640A (en) * | 2002-07-04 | 2004-02-05 | Nissan Motor Co Ltd | External recognition device for vehicle |
JP2004053278A (en) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | Front vehicle tracking system and front vehicle tracking method |
-
2004
- 2004-03-31 JP JP2004104512A patent/JP4255398B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320199A (en) * | 1994-05-26 | 1995-12-08 | Mitsubishi Electric Corp | Obstacle detector for vehicle |
JPH08329393A (en) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | Preceding vehicle detector |
JP2000121730A (en) * | 1998-10-19 | 2000-04-28 | Honda Motor Co Ltd | Obstacle detecting device for vehicle |
JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
JP2003172780A (en) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | Recognition device and recognition method of preceding vehicle |
JP2004038640A (en) * | 2002-07-04 | 2004-02-05 | Nissan Motor Co Ltd | External recognition device for vehicle |
JP2004053278A (en) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | Front vehicle tracking system and front vehicle tracking method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014192143A1 (en) * | 2013-05-31 | 2014-12-04 | トヨタ自動車 株式会社 | Driving assistance device for vehicles and onboard computer |
JP5641271B1 (en) * | 2013-05-31 | 2014-12-17 | トヨタ自動車株式会社 | Vehicle driving support device and in-vehicle computer |
CN105247592A (en) * | 2013-05-31 | 2016-01-13 | 丰田自动车株式会社 | Driving assistance device for vehicles and onboard computer |
CN113325832A (en) * | 2020-02-28 | 2021-08-31 | 杭州萤石软件有限公司 | Obstacle avoidance method for movable robot and movable robot |
CN113325832B (en) * | 2020-02-28 | 2023-08-11 | 杭州萤石软件有限公司 | Movable robot obstacle avoidance method and movable robot |
Also Published As
Publication number | Publication date |
---|---|
JP4255398B2 (en) | 2009-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2734643C1 (en) | Parking assistance method for parking assistance device and parking assistance device | |
JP4763250B2 (en) | Object detection device | |
US10345443B2 (en) | Vehicle cruise control apparatus and vehicle cruise control method | |
JP6137081B2 (en) | Car equipment | |
JP2010152873A (en) | Approaching object detection system | |
US10099617B2 (en) | Driving assistance device and driving assistance method | |
JP2012058983A (en) | Lane estimating device | |
JP2017138660A (en) | Object detection method, object detection device and program | |
JP2010225075A (en) | Driving support device | |
JP2018060422A (en) | Object detection device | |
JP3296055B2 (en) | Distance detection device using in-vehicle camera | |
CN111169381A (en) | Vehicle image display method and device, vehicle and storage medium | |
JP2007293672A (en) | Photographing apparatus for vehicle and soiling detection method for photographing apparatus for vehicle | |
JP2015125708A (en) | Traffic light recognition device | |
US11619495B2 (en) | Position estimating apparatus and position estimating method | |
JP2006344133A (en) | Road division line detector | |
JP2006240454A (en) | Object recognition device and object recognition method for vehicle | |
JP2006047057A (en) | Outside-vehicle monitoring device, and traveling control device provided with this outside-vehicle monitoring device | |
JP4255398B2 (en) | Obstacle detection method and obstacle detection device | |
JP6627135B2 (en) | Vehicle position determination device | |
JP2020109560A (en) | Traffic signal recognition method and traffic signal recognition device | |
US20200342761A1 (en) | Notification apparatus and in-vehicle device | |
JP2018122633A (en) | Driving support device | |
JP2008185554A (en) | Route guidance device for vehicle | |
JP2018073049A (en) | Image recognition device, image recognition system, and image recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |