JP2008008679A - Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus - Google Patents
Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus Download PDFInfo
- Publication number
- JP2008008679A JP2008008679A JP2006177119A JP2006177119A JP2008008679A JP 2008008679 A JP2008008679 A JP 2008008679A JP 2006177119 A JP2006177119 A JP 2006177119A JP 2006177119 A JP2006177119 A JP 2006177119A JP 2008008679 A JP2008008679 A JP 2008008679A
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- orientation
- detection means
- detection
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Automotive Seat Belt Assembly (AREA)
- Air Bags (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
本発明は、物体検出装置、及びこれを利用した衝突予測装置並びに車両制御装置に関する。 The present invention relates to an object detection device, a collision prediction device using the same, and a vehicle control device.
従来、画像センサーとミリ波センサーを用いて障害物を検出し、自車両と障害物との衝突予測を行なう衝突予測装置が知られている(例えば、特許文献1参照)。この装置では、画像センサーとミリ波センサーのセンサー出力の変化を比較して、両センサーが検出した物体の同一性を判断している。また、ミリ波センサーにより障害物までの距離を検出すると共に、画像センサーにより障害物の横方向の変位(方位)を検出して、障害物の位置を算出している。なお、こうした種類の異なるセンサーを用いて検出精度を向上させるものは、センサフュージョンと称される。
一般的に、ミリ波センサー等のレーダー装置においては、障害物までの距離は比較的正確に検出することが可能であるのに対し、障害物の横方向の変位(方位)を常に正確に検出するのは比較的困難である。さらに、反射物が障害物の周辺に多く存在する場合等、外部環境によっても検出の信頼度が低下する場合がある。 In general, a radar device such as a millimeter wave sensor can detect the distance to the obstacle relatively accurately, while always detecting the displacement (azimuth) in the lateral direction of the obstacle accurately. It is relatively difficult to do. Furthermore, the reliability of detection may be reduced depending on the external environment, such as when there are many reflective objects around the obstacle.
また、カメラ等の画像センサーにおいても、天候や時間帯等の外部環境によっては、正確に障害物を判別するのが困難な場合がある。 Further, even in an image sensor such as a camera, it may be difficult to accurately identify an obstacle depending on the external environment such as the weather or time zone.
従って、この種の衝突予測装置においては、障害物の位置、特に横方向の変位(方位)について、外部環境等によって変化する信頼度を算定する必要が生じる。なぜなら、こうした衝突予測装置を用いて実現される車載用のプリクラッシュセーフティシステム等の装置においては、誤検出による不必要な作動を抑制することが重要な課題となっており、検出した障害物の位置がどれほど確からしいかを検知することによって、より正確な制御を行なうことが可能となるからである。 Therefore, in this type of collision prediction apparatus, it is necessary to calculate the reliability that changes depending on the external environment or the like with respect to the position of the obstacle, particularly the lateral displacement (orientation). This is because, in devices such as in-vehicle pre-crash safety systems that are realized using such a collision prediction device, it is important to suppress unnecessary operations due to false detection. This is because more accurate control can be performed by detecting how probable the position is.
しかしながら、上記従来の装置においては、障害物の横方向の変位(方位)に関する信頼度についての考慮がなされていない。 However, in the above-described conventional apparatus, no consideration is given to the reliability related to the lateral displacement (orientation) of the obstacle.
本発明はこのような課題を解決するためのものであり、障害物の横方向の変位(方位)に関する信頼度を算定することが可能な物体検出装置、及びこれを利用した衝突予測装置並びに車両制御装置を提供することを、主たる目的とする。 The present invention is for solving such a problem, and an object detection device capable of calculating the reliability regarding the displacement (azimuth) in the lateral direction of an obstacle, a collision prediction device using the same, and a vehicle The main object is to provide a control device.
上記目的を達成するための本発明の第1の態様は、周辺物体を検出する物体検出装置であって、周辺物体までの距離及び方位を検出する第1の検出手段と、周辺物体までの距離及び方位を検出する第2の検出手段と、第1の検出手段及び第2の検出手段の検出結果に基づいて、周辺物体の方位に関する信頼度を算定する、信頼度算定手段と、を備え、周辺物体までの距離及び方位と共に、周辺物体の方位に関する信頼度を出力するものである。 In order to achieve the above object, a first aspect of the present invention is an object detection apparatus for detecting a peripheral object, the first detection means for detecting the distance and direction to the peripheral object, and the distance to the peripheral object. And a second detection means for detecting the orientation, and a reliability calculation means for calculating the reliability related to the orientation of the surrounding object based on the detection results of the first detection means and the second detection means, The reliability regarding the azimuth | direction of a peripheral object is output with the distance and azimuth | direction to a peripheral object.
この本発明の第1の態様によれば、第1の検出手段及び第2の検出手段の検出結果に基づいて周辺物体の方位に関する信頼度を算定する信頼度算定手段を備えるから、周辺物体の方位に関する信頼度を算定し、出力することができる。 According to the first aspect of the present invention, since the reliability calculation means for calculating the reliability related to the orientation of the peripheral object based on the detection results of the first detection means and the second detection means is provided, The reliability related to the direction can be calculated and output.
また、この本発明の第1の態様において、信頼度算定手段は、好ましくは、第1の検出手段及び第2の検出手段により夫々検出された周辺物体の方位に関する検出手段ごとの信頼度を夫々算定する検出手段別信頼度算定手段と、検出手段別信頼度算定手段により算定された検出手段毎の信頼度、及び、第1の検出手段及び第2の検出手段により検出された周辺物体の方位に基づいて、周辺物体の方位に関する信頼度を算定する最終信頼度算定手段とを備える手段である。この場合、検出手段別信頼度算定手段は、各検出手段が過去に検出した周辺物体までの距離及び方位を記憶する記憶手段を備え、各検出手段により検出された周辺物体の方位の時間変化に基づいて検出手段ごとの信頼度を夫々算定する手段であってもよいし、外部環境に基づいて検出手段ごとの信頼度を夫々算定する手段であってもよい。ここで、外部環境は、第1の検出手段及び第2の検出手段が、夫々、レーダー装置、又はカメラ装置である場合、例えば、反射波の強度、又は天候を含む、
また、この本発明の第1の態様において、最終信頼度算定手段は、好ましくは、第1の検出手段及び第2の検出手段により夫々検出された周辺物体の方位の合致程度に基づいて、前記周辺物体の方位に関する信頼度を算定する手段である。
In the first aspect of the present invention, the reliability calculation means preferably sets the reliability for each detection means related to the orientation of the peripheral object detected by the first detection means and the second detection means, respectively. The reliability calculation means for each detection means to be calculated, the reliability for each detection means calculated by the reliability calculation means for each detection means, and the orientations of the surrounding objects detected by the first detection means and the second detection means And a final reliability calculation means for calculating the reliability related to the orientation of the surrounding object. In this case, the reliability calculation means for each detection means includes a storage means for storing the distance and orientation to the peripheral object detected by each detection means in the past, and the time change of the orientation of the peripheral object detected by each detection means. It may be a means for calculating the reliability for each detection means based on the above, or a means for calculating the reliability for each detection means based on the external environment. Here, the external environment includes, for example, the intensity of reflected waves or the weather when the first detection means and the second detection means are radar devices or camera devices, respectively.
In the first aspect of the present invention, the final reliability calculation means is preferably based on the degree of coincidence of the orientations of the surrounding objects detected by the first detection means and the second detection means, respectively. It is a means for calculating the reliability related to the orientation of the surrounding object.
また、この本発明の第1の態様において、周辺物体の方位を、該物体検出装置から見た前記周辺物体の横方向の変位に置換して構成されるものとしてもよい。 In the first aspect of the present invention, the azimuth of the peripheral object may be replaced with a displacement in the lateral direction of the peripheral object as viewed from the object detection device.
本発明の第2の態様は、周辺物体との衝突予測を行なう衝突予測装置であって、本発明の第1の態様の物体検出装置を備え、物体検出装置が出力する、周辺物体までの距離、方位、及び周辺物体の方位に関する信頼度、に基づいて周辺物体との衝突を予測することを特徴とするものである。 According to a second aspect of the present invention, there is provided a collision prediction apparatus that performs a collision prediction with a peripheral object. The collision prediction apparatus includes the object detection apparatus according to the first aspect of the present invention, and the distance to the peripheral object output by the object detection apparatus. , And the reliability of the azimuth and the azimuth of the surrounding object, the collision with the surrounding object is predicted.
この本発明の第2の態様は、好ましくは、物体検出装置が出力する周辺物体の方位に関する信頼度が低下するのに応じて、周辺物体との衝突可能性を低く予測することを特徴とするものである。 The second aspect of the present invention is preferably characterized in that the possibility of collision with a peripheral object is predicted to be low in accordance with a decrease in reliability related to the orientation of the peripheral object output by the object detection device. Is.
本発明の第3の態様は、車両に搭載され、車間距離制御を行う車両制御装置であって、本発明の第1の態様の物体検出装置を備え、物体検出装置が出力する、周辺物体までの距離、方位、及び周辺物体の方位に関する信頼度、に基づいて認識された先行車両との車間距離制御を行なうことを特徴とするものである。 According to a third aspect of the present invention, there is provided a vehicle control device that is mounted on a vehicle and performs inter-vehicle distance control, including the object detection device according to the first aspect of the present invention, up to a peripheral object output by the object detection device. The inter-vehicle distance control with the preceding vehicle recognized based on the distance, the direction, and the reliability related to the direction of surrounding objects is performed.
この本発明の第3の態様は、好ましくは、物体検出装置が出力する周辺物体の方位に関する信頼度が低下するのに応じて、先行車両との車間距離制御を行なうために出力される補助制動力及び/又は補助駆動力の出力ゲインを緩やかにすることを特徴とするものである。 In the third aspect of the present invention, it is preferable that the auxiliary control output for performing the inter-vehicle distance control with the preceding vehicle in accordance with the decrease in the reliability related to the direction of the peripheral object output by the object detection device. The output gain of power and / or auxiliary driving force is made gentle.
本発明によれば、障害物の横方向の変位(方位)に関する信頼度を算定することが可能な物体検出装置、及びこれを利用した衝突予測装置並びに車両制御装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the object detection apparatus which can calculate the reliability regarding the displacement (azimuth | direction) of the horizontal direction of an obstruction, the collision prediction apparatus using this, and a vehicle control apparatus can be provided.
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the accompanying drawings.
以下、図1〜4を用いて、本発明に係る物体検出装置を利用した、車載用の衝突予測装置の一実施例について説明する。図1は、本発明の第1実施例に係る衝突予測装置1の全体構成の一例を示す図である。図示する如く、衝突予測装置1は、主要な構成として、レーダー装置10と、カメラセンサー20と、衝突予測用電子制御ユニット(以下、衝突予測用ECUと称する)30と、を備える。なお、以下の説明における車両内の機器間の通信は、CAN(Controller Area Network)等の適切なシリアル通信プロトコルを用いて行なわれる。
Hereinafter, an embodiment of an in-vehicle collision prediction apparatus using the object detection apparatus according to the present invention will be described with reference to FIGS. FIG. 1 is a diagram illustrating an example of the overall configuration of a
レーダー装置10は、例えば、フロントグリル裏に配設された、ミリ波レーダー装置である。レーダー装置10は、ミリ波の反射波が帰ってくるまでの時間、反射波の角度、及び周波数変化を利用して、物体の距離、方位、及び相対速度を検出する。さらに、レーダー装置10は、後述する如く、レーダー装置10における物体の方位に関する信頼度Rfrdを算定し、物体の距離、方位、及び相対速度と共に、通信により衝突予測用ECU30に送信する。なお、レーダー装置10には、演算用のCPUやROMやRAM等の記憶手段が内蔵されている。
The
図2に、距離、方位、及び相対速度の位置関係を示す。図示する如く、「方位」とは、例えば、自車両の進行方向を角度0として、時計回りを基準に測定された角度と定義できる。また、「横方向の変位」とは、物体の距離、及び方位の関数として求められる。従って、物体の距離が十分に確からしい値であれば、「方位」と「横方向の変位」は1対1の関係にある。本実施例では、「方位」に関する信頼度を算定するものとして説明するが、これに距離を加味して求められる「横方向の変位」に関する信頼度を算定するものとしても、装置としては等価である。 FIG. 2 shows the positional relationship between distance, azimuth, and relative speed. As shown in the figure, the “azimuth” can be defined as, for example, an angle measured with reference to a clockwise direction, where the traveling direction of the host vehicle is an angle 0. Further, the “lateral displacement” is obtained as a function of the distance and orientation of the object. Therefore, if the distance of the object is a sufficiently probable value, “azimuth” and “lateral displacement” have a one-to-one relationship. In the present embodiment, explanation is made on the assumption that the reliability related to “azimuth” is calculated. However, even if the reliability related to “lateral displacement” obtained by adding the distance to this is calculated, it is equivalent as an apparatus. is there.
カメラセンサー20は、例えば、カメラ22A、22Bと、画像処理装置24と、を備える。
The
カメラ22A、22Bは、例えば、ウインドシールド上部の左右端に夫々配設されたCMOSカメラであり、夫々の光軸が、車両前方の斜め下方に向けられると共に、車両の略前方数十[m]の地点で交差するように設定されている。このように複数のカメラを用いて物体を撮像することにより、物体との距離をより正確に検出することができる。
The
画像処理装置24は、例えば、CPUを中心とするコンピューターであり、ROMやRAM等の記憶手段を備える。画像処理装置24は、カメラ22A、22Bが撮像した画像を通信により入力し、これを処理することにより物体の距離、及び方位を検出する。さらに、画像処理装置24は、後述する如く、カメラセンサー20における物体の方位に関する信頼度Rscmを算定し、物体の距離、及び方位と共に、通信により衝突予測用ECU30に送信する。
The
衝突予測用ECU30は、例えば、CPUを中心とするコンピューターであり、ROMやRAM等の記憶手段を備える。衝突予測用ECU30は、主要な機能ブロックとして、信頼度算定部32と、衝突予測部34と、を備える。
The
信頼度算定部32は、レーダー装置10から送信された物体の距離、方位、相対速度、及び信頼度Rfrdと、カメラセンサー20から送信された物体の距離、方位、及び信頼度Rscmと、に基づいて物体の距離、方位、及び相対速度を特定し、さらに、物体の方位に関する最終的な信頼度Rfsnを算定する。
The
衝突予測部34は、信頼度算定部32から入力した情報に基づいて、衝突が不可避であるか否かの判断を行なう。衝突が不可避であると判断した場合には、シートベルトECUに指示信号を送信し、衝突前に運転席・助手席のシートベルトを巻き取るようにシートベルトの弛みをとるモーターを駆動して乗員の初期拘束性能を高めたり、ブレーキECUに指示信号を送信し、ブレーキペダルの踏み込みと同時に素早くブレーキアシストを作動させて衝突速度を低減したりする。また、エアバッグを衝突前に作動させたり、衝突に備えたエンジンやトランスミッションの制御(燃料カットによるエンジンブレーキ等)を行なったりしてもよい。
The
ここで、本実施例における、レーダー装置10における物体の方位に関する信頼度Rfrd、カメラセンサー20における物体の方位に関する信頼度Rscm、物体の方位に関する最終的な信頼度Rfsnの算定手法の概要について説明する。
Here, an outline of a calculation method of the reliability Rfrd regarding the orientation of the object in the
レーダー装置10における物体の方位に関する信頼度Rfrdは、(1)前回に検出した方位との差分が所定範囲以内にあるか(物体の検出は繰り返し行なわれている)、(2)外部環境が、信頼性が低くなる所定条件を満たすか、を中心に算出される。詳しくは、後述する。
The reliability Rfrd regarding the azimuth of the object in the
カメラセンサー20における物体の方位に関する信頼度Rfrdも同様に、上記(1)、(2)を中心に算出される。
Similarly, the reliability Rfrd relating to the orientation of the object in the
物体の方位に関する最終的な信頼度Rfsnは、レーダー装置10により検出された物体の方位と、カメラセンサー20により検出された物体の方位の、合致程度に基づいて仮信頼度Rtmpを算出し、上記の如く算出された信頼度Rfrdと、信頼度Rfrdと、仮信頼度Rtmpの最小値をとることにより算定される。ここで、「合致程度に基づいて」とは、例えば、カメラセンサー20により検出された物体の方位の範囲(物体は一点ではないため、画像上でその物体を表すと考えられる方位の範囲が存在する)に、レーダー装置10により検出された物体の方位が収まっていれば、仮信頼度Rtmpを最も高く算出し、カメラセンサー20により検出された物体の方位の範囲からレーダー装置10により検出された物体の方位が外れるに従って、仮信頼度Rtmpを低く算出することを意味する。
The final reliability Rfsn relating to the orientation of the object is calculated based on the degree of coincidence between the orientation of the object detected by the
以下、衝突予測装置1が距離、方位、相対速度、及び方位に関する最終的な信頼度Rfsnを算定する動作について説明する。図3は、衝突予測装置1が実行する特徴的な処理の流れを示すブロック図である。この処理は、レーダー装置10、カメラセンサー20、及び信頼度算定部32の協働により実行される。
Hereinafter, an operation in which the
最初に、レーダー装置10側の処理について説明する。レーダー装置10では、例えば、所定時間毎に物体の距離、方位、及び相対速度を検出する。そして、レーダー装置10における物体の方位に関する信頼度Rfrdを算定する。この算定は、例えば、図4に例示するフローチャートに従って行なわれる。なお、本フローチャートは、カメラセンサー20側の処理においても用いられる。
First, processing on the
まず、前回に検出した方位との差分を計算し(S100)、この差分が第1の所定範囲以内にあるか否かを判定する(S110)。第1の所定範囲以内にある場合は、第1の値(例えば、80[%]等に設定される。なお、このように100分率を用いて連続する数値を設定するものに限られず、例えばレベル1〜4等のように有限のレベル数のいずれかを選択するものとしてもよい)を、レーダー装置10における物体の方位に関する信頼度Rfrdとして算定する(S120)。
First, the difference with the azimuth | direction detected last time is calculated (S100), and it is determined whether this difference exists in the 1st predetermined range (S110). When it is within the first predetermined range, it is set to a first value (for example, 80 [%], etc.). For example, any one of a finite number of levels such as
前回に検出した方位との差分が第1の所定範囲以内にない場合は、外部環境が、信頼度の低下を招きうる所定条件を満たすか否かを判定する(S130)。この所定条件は、レーダー装置10とカメラセンサー20によって異なるものである。レーダー装置10の場合、例えば、(1)受信波が、物体の距離に基づいて定められる基準値を下回る、すなわち、受信波が弱い、(2)当該物体の周囲の所定領域内に、より大きい反射物が存在する、(3)当該物体の周囲の所定領域内に、一定以上の大きさの反射物が所定個数以上存在する、のいずれかを満たすとき、外部環境が、信頼度の低下を招きうる所定条件を満たすと判定する。
If the difference from the previously detected azimuth is not within the first predetermined range, it is determined whether or not the external environment satisfies a predetermined condition that may cause a decrease in reliability (S130). This predetermined condition varies depending on the
外部環境が、信頼度の低下を招きうる所定条件を満たすと判定されると、さらに、前回に検出した方位との差分が第2の所定範囲以内にあるか否かを判定する(S140)。この第2の所定範囲は、S110において用いた第1の所定範囲よりも広い範囲である。 If it is determined that the external environment satisfies a predetermined condition that may cause a decrease in reliability, it is further determined whether or not the difference from the previously detected orientation is within a second predetermined range (S140). This second predetermined range is a range wider than the first predetermined range used in S110.
S130とS140の双方で肯定的な判定を得た場合は、第2の値(例えば、40[%]等)を、レーダー装置10における物体の方位に関する信頼度Rfrdとして算定する(S150)。このように、外部環境が比較的良好でない場合は、前回に検出した方位との差分が比較的大きいものとなる可能性が十分にあると判断して、これを許容する一方、信頼度としては、より低い値を算定するのである。 When a positive determination is obtained in both S130 and S140, the second value (for example, 40 [%] or the like) is calculated as the reliability Rfrd related to the direction of the object in the radar apparatus 10 (S150). In this way, when the external environment is relatively poor, it is judged that there is a possibility that the difference from the previously detected orientation is relatively large, and this is allowed, while the reliability is The lower value is calculated.
S130とS140のいずれかで否定的な判定を得た場合は、第3の値(例えば、0[%]等)を、レーダー装置10における物体の方位に関する信頼度Rfrdとして算定する(S160)。このように、外部環境が比較的良好であるにも拘らず、前回に検出した方位との差分が比較的大きい場合には、誤検出等の確率が高いと判断して、信頼度としてはさらに低い値を算定するのである。なお、本実施例では、信頼度0[%]が出力されると、当該物体を検出しなかったものとみなされる。 When a negative determination is obtained in any one of S130 and S140, the third value (for example, 0 [%] or the like) is calculated as the reliability Rfrd regarding the azimuth of the object in the radar apparatus 10 (S160). In this way, even if the external environment is relatively good, if the difference from the previously detected orientation is relatively large, it is determined that the probability of false detection is high, and the reliability is further increased. The low value is calculated. In this embodiment, when the reliability of 0 [%] is output, it is considered that the object has not been detected.
こうしてレーダー装置10における物体の方位に関する信頼度Rfrdを算定すると、これを、物体の距離、方位、及び相対速度と共に、衝突予測用ECU30の信頼度算定部32に送信する。
When the reliability Rfrd regarding the azimuth of the object in the
次に、カメラセンサー20側の処理について説明する。カメラセンサー20では、例えば、所定時間毎に物体の距離、及び方位を検出する。そして、カメラセンサー20における物体の方位に関する信頼度Rscmを算定する。
Next, processing on the
この算定も、レーダー装置10と同様に、図4に例示するフローチャートに従って行なわれる。レーダー装置10における処理との差異点は、S130において用いられる所定条件のみであるため、その他の処理についての説明は省略する。
This calculation is also performed according to the flowchart illustrated in FIG. Since the difference from the processing in the
カメラセンサー20の場合、例えば、(1)雨天又は降雪時、(2)夜間、のいずれかを満たすとき、外部環境が、信頼度の低下を招きうる所定条件を満たすと判定する。ここで、天候についての情報は、例えばナビゲーション装置から入力されてもよいし、ワイパーの作動状態等から得ることもできる。時間帯の判定は、車載のタイマーを用いればよい。
In the case of the
こうしてカメラセンサー20における物体の方位に関する信頼度Rscmを算定すると、これを、物体の距離、方位、及び相対速度と共に、衝突予測用ECU30の信頼度算定部32に送信する。
When the reliability Rscm related to the azimuth of the object in the
なお、カメラセンサー20において物体の相対速度を検出せず、また、衝突予測用ECU30に送信しないのは、単に相対速度の検出においてはレーダー装置10の方が性能において優位であることに基づく。
The reason why the
また、レーダー装置10やカメラセンサー20からの情報送信は、同じタイミングで同期して行われることが望ましい。このため、例えば、衝突予測用ECU30からリクエスト信号を送信し、これに対する応答信号としてレーダー装置10やカメラセンサー20からの情報が送信されるものとしてもよい。別の手法として、レーダー装置10やカメラセンサー20からは特有の周期で随時情報が送信されており、衝突予測用ECU30において、所定周期毎に直近で入力された情報を採用するものとしてもよい。
Further, it is desirable that the information transmission from the
以下、図3の機能ブロックに戻って説明する。レーダー装置10、及びカメラセンサー20から情報を受信すると、信頼度算定部32は、仮信頼度Rtmpを算定する。仮信頼度Rtmpは、例えば、前述した如く、カメラセンサー20により検出された物体の方位の範囲に、レーダー装置10により検出された物体の方位が収まっていれば、80[%]等の値が算定され、カメラセンサー20により検出された物体の方位の範囲からレーダー装置10により検出された物体の方位が1度外れる毎に、0コンマ数[%]〜数[%]ずつ減少させて算定される。
Hereinafter, the description will be given with reference back to the functional block of FIG. When information is received from the
そして、最終的な信頼度Rfsnを、Rfrd、Rscm、Rtmpの最小値をとることにより算定する。こうすることにより、単にレーダー装置10又はカメラセンサー20おける物体の方位に関する信頼度を用いる場合に比して、より精度の高い信頼度を出力することができる。なお、レーダー装置10とカメラセンサー20の出力する距離及び方位が異なる場合は、より高い信頼度を送信した方の情報を採用する等の手法により、情報を取捨すればよい。
Then, the final reliability Rfsn is calculated by taking the minimum values of Rfrd, Rscm, and Rtmp. By doing so, it is possible to output more highly reliable reliability as compared with the case where the reliability related to the orientation of the object in the
最終的な信頼度Rfsnを算定すると、これを物体の距離、方位、及び相対速度と共に、衝突予測部34に出力する。衝突予測部34では、予めROM等に記憶された衝突予測用マップを用いて衝突が不可避であるか否かを判定する。この判定に際して、物体の方位に関する最終的な信頼度Rfsnが用いられる。
When the final reliability Rfsn is calculated, it is output to the
具体的には、信頼度Rfsnが比較的高い値のときには、衝突が不可避であることの判定基準(閾値)を比較的緩やかにし、より積極的に衝突が不可避であることを判定する。この判定基準は、信頼度Rfsnに相反して連続的に変化する関数値であってもよいし、段階的に変化する値であってもよい。こうすることにより、前述した衝突に備えた制御をより積極的に行なうことができ、安全運転に寄与することができる。一方、信頼度Rfsnが低い値のときには、衝突が不可避であることの判定基準(閾値)を比較的厳しくし、衝突が不可避と判定されにくくする。これは、信頼度Rfsnが低い値のときには誤検出が発生しやすく、誤検出の度に衝突に備えた制御を行なうと、運転者に煩わしさを感じさせると共に、装置に負担をかけることとなるからである。 Specifically, when the reliability Rfsn is a relatively high value, the determination criterion (threshold value) that the collision is unavoidable is made relatively gentle, and it is determined that the collision is more unavoidable. This determination criterion may be a function value that continuously changes against the reliability Rfsn, or may be a value that changes stepwise. By doing so, the control in preparation for the above-described collision can be more actively performed, which can contribute to safe driving. On the other hand, when the reliability Rfsn is a low value, the criterion (threshold) for determining that a collision is unavoidable is made relatively strict so that it is difficult to determine that the collision is unavoidable. This is because erroneous detection is likely to occur when the reliability Rfsn is a low value, and if the control for the collision is performed each time the erroneous detection is made, the driver feels bothered and burdens the device. Because.
また、この衝突予測部34による衝突予測は、衝突不可避か否かを択一的に判定するものに限られず、例えば衝突可能性をパーセント表示で算定するものとしてもよい。この場合、例えば車両のシートベルトやブレーキ、エアバッグ毎に異なる作動のための閾値を設けて、時間差で作動を行なうことが可能となる。
Further, the collision prediction by the
なお、以上例示した80[%]、40[%]、0[%]といった数値は、これ自体に格別の意味が存在する性格のものではなく、如何様にも変更可能であることはいうまでもない。 It should be noted that the numerical values such as 80 [%], 40 [%], and 0 [%] exemplified above are not personalities that have special meanings in themselves, but can be changed in any way. Nor.
このように、本発明の一実施例に係る衝突予測装置1では、レーダー装置10や、カメラセンサー20が検出する物体の方位に関する信頼度Rfrd、Rscmを夫々算定するから、これらのセンサー装置において、外部環境に応じて検出の信頼度が変化することを反映させることができる。また、信頼度Rfrd、Rscmに基づいて最終的な信頼度Rfsnを算定するから、単に信頼度RfrdやRscmを用いる場合に比して、より精度の高い信頼度を出力することができる。そして、この最終的な信頼度Rfsnを用いて衝突予測を行なうから、より精度の高い衝突予測を行なって安全運転に寄与すると共に、誤作動を抑制することができる。
Thus, since the
なお、衝突予測装置1のうち、レーダー装置10、カメラセンサー20、及び信頼度算定部32が、特許請求の範囲における物体検出装置を構成する。
In the
以下、図5を用いて、本発明に係る物体検出装置を利用した、車両制御装置の一実施例について説明する。図5は、本発明の第2実施例に係る車両制御装置2の全体構成の一例を示す図である。図示する如く、車両制御装置2、主要な構成として、レーダー装置10と、カメラセンサー20と、クルーズコントロール用電子制御ユニット(以下、クルーズコントロール用ECUと称する)40と、を備える。
Hereinafter, an embodiment of a vehicle control apparatus using the object detection apparatus according to the present invention will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of the overall configuration of the vehicle control device 2 according to the second embodiment of the present invention. As illustrated, the vehicle control device 2 includes a
レーダー装置10、及びカメラセンサー20については、第1実施例に係る衝突予測装置1と同様の構成及び機能を有するため、説明を省略する。
The
クルーズコントロール用ECU40は、例えば、CPUを中心とするコンピューターであり、ROMやRAM等の記憶手段を備える。クルーズコントロール用ECU40は、主要な機能ブロックとして、信頼度算定部42と、クルーズコントロール部44と、を備える。
The
信頼度算定部42については、第1実施例に係る信頼度算定部32と同様の機能を有する。すなわち、レーダー装置10やカメラセンサー20との協働により最終的な信頼度Rfsnを算定し、これを物体(先行車両)の距離、方位、及び相対速度と共に、クルーズコントロール部44に出力する。
The reliability calculation unit 42 has the same function as the
クルーズコントロール部44は、ブレーキECUやエンジンECUへの指示により、先行車両が存在するときには先行車両に対して設定車間距離が維持されるように、運転者のブレーキ操作やアクセル操作とは独立した制動力や駆動力(以下、補助制駆動力と称する)を出力して、自車両の車速を制御する車間距離制御を実行すると共に、自車両の車速を設定車速に維持する定速走行制御を実行する。この車間距離制御や定速走行制御の基本的な制御手法については当業者には既知であるため、詳しい説明を省略する。
The
本実施例では、クルーズコントロール部44は、先行車両の距離、方位、及び相対速度に加え、方位に関する信頼度Rfsnを加味して車間距離制御を行なう。具体的には、信頼度Rfsnが比較的低いときには、基本的な車間距離制御において計算された補助制駆動力よりも出力ゲインが低くなるように補助制駆動力を再計算し、ブレーキECUやエンジンECUに指示信号を送信する。すなわち、誤検出の可能性が高いときには、補助制駆動力の出力をより緩やかなものにするのである。これにより、誤検出の度に補助制駆動力が出力され、運転者に煩わしさを感じさせたり、装置に負担をかけたりすることを、抑制することができる。
In this embodiment, the
以上、本発明を実施するための最良の形態について一実施例を用いて説明したが、本発明はこうした一実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した一実施例に種々の変形及び置換を加えることができる。 As mentioned above, although the best mode for carrying out the present invention has been described using one embodiment, the present invention is not limited to such one embodiment, and within the scope not departing from the gist of the present invention, Various modifications and substitutions can be made to the above-described embodiment.
例えば、ミリ波レーダー装置及びカメラセンサーを用いて物体を検出することを例示したが、これに限られず、如何なる検出装置を組み合わせてもよい。例えば、レーザーレーダー装置を用いてもよい。この場合、信頼度の低下を招きうる外部環境に関する所定条件は、例えば、(1)雨天又は降雪時、(2)路面上等にリフレクターが所定個数以上存在する、のいずれかを満たすこととすればよい。 For example, although an example of detecting an object using a millimeter wave radar device and a camera sensor has been illustrated, the present invention is not limited to this, and any detection device may be combined. For example, a laser radar device may be used. In this case, the predetermined condition related to the external environment that may cause a decrease in reliability is, for example, that either (1) rainy or snowing, (2) a predetermined number or more of reflectors exist on the road surface, or the like is satisfied. That's fine.
また、3種類以上のセンサー装置を組み合わせて物体を検出する装置にも、適用することが可能である。 Further, the present invention can be applied to a device that detects an object by combining three or more types of sensor devices.
本発明は、少なくとも物体を検出する装置に利用できる。車両に搭載された場合、搭載される車両の外観、重量、サイズ、走行性能等は問わない。 The present invention can be used for an apparatus that detects at least an object. When mounted on a vehicle, the appearance, weight, size, running performance, etc. of the mounted vehicle are not limited.
1 衝突予測装置
2 車両制御装置
10 レーダー装置
20 カメラセンサー
22A、22B カメラ
24 画像処理装置
30 衝突予測用電子制御ユニット
32、42 信頼度算定部
34 衝突予測部
40 クルーズコントロール用電子制御ユニット
44 クルーズコントロール部
DESCRIPTION OF
Claims (11)
前記周辺物体までの距離及び方位を検出する第1の検出手段と、
前記周辺物体までの距離及び方位を検出する第2の検出手段と、
該第1の検出手段及び第2の検出手段の検出結果に基づいて、前記周辺物体の方位に関する信頼度を算定する、信頼度算定手段と、を備え、
前記周辺物体までの距離及び方位と共に、前記周辺物体の方位に関する信頼度を出力することを特徴とする、物体検出装置。 An object detection device for detecting surrounding objects,
First detection means for detecting a distance and direction to the surrounding object;
Second detection means for detecting a distance and direction to the surrounding object;
Reliability calculation means for calculating reliability on the orientation of the surrounding object based on the detection results of the first detection means and the second detection means,
An object detection apparatus that outputs a reliability related to an orientation of the peripheral object together with a distance and an orientation to the peripheral object.
前記信頼度算定手段は、
前記第1の検出手段及び第2の検出手段により夫々検出された前記周辺物体の方位に関する、検出手段ごとの信頼度を夫々算定する、検出手段別信頼度算定手段と、
該検出手段別信頼度算定手段により算定された検出手段ごとの信頼度、及び、前記第1の検出手段及び第2の検出手段により検出された前記周辺物体の方位に基づいて、前記周辺物体の方位に関する信頼度を算定する最終信頼度算定手段と、を備える手段である、
物体検出装置。 The object detection device according to claim 1,
The reliability calculation means is:
A reliability calculation means for each detection means for calculating the reliability for each detection means regarding the orientation of the surrounding object detected by each of the first detection means and the second detection means;
Based on the reliability of each detection means calculated by the reliability calculation means for each detection means and the orientation of the peripheral object detected by the first detection means and the second detection means, A final reliability calculation means for calculating the reliability related to the bearing,
Object detection device.
前記検出手段別信頼度算定手段は、各検出手段が過去に検出した前記周辺物体までの距離及び方位を記憶する記憶手段を備え、各検出手段により検出された前記周辺物体の方位の時間変化に基づいて、検出手段ごとの信頼度を夫々算定する手段である、
物体検出装置。 The object detection device according to claim 2,
The detection means-specific reliability calculation means includes storage means for storing the distance and orientation to the peripheral object detected by each detection means in the past, and measures the temporal change in the orientation of the peripheral object detected by each detection means. Based on the above, it is a means for calculating the reliability for each detection means,
Object detection device.
前記検出手段別信頼度算定手段は、外部環境に基づいて検出手段ごとの信頼度を夫々算定する手段である、
物体検出装置。 The object detection device according to claim 2 or 3,
The detection means-specific reliability calculation means is a means for calculating the reliability for each detection means based on the external environment.
Object detection device.
前記第1の検出手段及び第2の検出手段は、夫々、レーダー装置、又はカメラ装置であり、
前記外部環境は、反射波の強度、又は天候を含む、
物体検出装置。 The object detection device according to claim 4,
Each of the first detection means and the second detection means is a radar device or a camera device,
The external environment includes the intensity of reflected waves, or weather,
Object detection device.
前記最終信頼度算定手段は、前記第1の検出手段及び第2の検出手段により夫々検出された前記周辺物体の方位の合致程度に基づいて、前記周辺物体の方位に関する信頼度を算定する手段である、
物体検出装置。 The object detection device according to any one of claims 2 to 5,
The final reliability calculation means is means for calculating a reliability related to the orientation of the peripheral object based on the degree of coincidence of the orientation of the peripheral object detected by the first detection means and the second detection means, respectively. is there,
Object detection device.
請求項1ないし7のいずれかに記載の物体検出装置を備え、
該物体検出装置が出力する、前記周辺物体までの距離、方位、及び前記周辺物体の方位に関する信頼度、に基づいて前記周辺物体との衝突を予測することを特徴とする、
衝突予測装置。 A collision prediction device for predicting collisions with surrounding objects,
An object detection device according to any one of claims 1 to 7,
Predicting a collision with the surrounding object based on the distance to the surrounding object, the orientation, and the reliability related to the orientation of the surrounding object output by the object detection device,
Collision prediction device.
前記物体検出装置が出力する前記周辺物体の方位に関する信頼度が低下するのに応じて、前記周辺物体との衝突可能性を低く予測することを特徴とする、衝突予測装置。 The collision prediction device according to claim 8,
The collision prediction apparatus according to claim 1, wherein the possibility of collision with the peripheral object is predicted to be low in accordance with a decrease in reliability related to the orientation of the peripheral object output from the object detection apparatus.
請求項1ないし7のいずれかに記載の物体検出装置を備え、
該物体検出装置が出力する、前記周辺物体までの距離、方位、及び前記周辺物体の方位に関する信頼度、に基づいて認識された先行車両との車間距離制御を行なうことを特徴とする、車両制御装置。 A vehicle control device that is mounted on a vehicle and performs inter-vehicle distance control,
An object detection device according to any one of claims 1 to 7,
Vehicle control characterized by performing inter-vehicle distance control with a preceding vehicle recognized based on the distance to the surrounding object, the direction, and the reliability related to the direction of the surrounding object output by the object detection device. apparatus.
前記物体検出装置が出力する前記周辺物体の方位に関する信頼度が低下するのに応じて、先行車両との車間距離制御を行なうために出力される補助制動力及び/又は補助駆動力の出力ゲインを緩やかにすることを特徴とする、車両制御装置。 The vehicle control device according to claim 10,
The output gain of the auxiliary braking force and / or auxiliary driving force that is output to perform the inter-vehicle distance control with the preceding vehicle in response to a decrease in the reliability related to the direction of the surrounding object that is output by the object detection device. A vehicle control device characterized by being loosened.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006177119A JP2008008679A (en) | 2006-06-27 | 2006-06-27 | Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006177119A JP2008008679A (en) | 2006-06-27 | 2006-06-27 | Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008008679A true JP2008008679A (en) | 2008-01-17 |
Family
ID=39067035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006177119A Pending JP2008008679A (en) | 2006-06-27 | 2006-06-27 | Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008008679A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282592A (en) * | 2008-05-20 | 2009-12-03 | Hitachi Ltd | Vehicular outside world recognition device and vehicle system |
JP2009298265A (en) * | 2008-06-12 | 2009-12-24 | Denso Corp | Vehicular collision determination device |
WO2013027803A1 (en) * | 2011-08-25 | 2013-02-28 | 日産自動車株式会社 | Autonomous driving control system for vehicle |
WO2014024284A1 (en) * | 2012-08-08 | 2014-02-13 | トヨタ自動車株式会社 | Collision prediction device |
FR3002510A1 (en) * | 2013-02-27 | 2014-08-29 | Bosch Gmbh Robert | METHOD FOR ASSISTING THE DRIVER IN A COLLISION EVIDENT MANEUVER AND DEVICE FOR IMPLEMENTING THE SAME |
JP2015078926A (en) * | 2013-10-17 | 2015-04-23 | 株式会社デンソー | Target detection device |
JP2015175644A (en) * | 2014-03-13 | 2015-10-05 | 株式会社リコー | Ranging system, information processing device, information processing method, and program |
JP2018063236A (en) * | 2016-10-13 | 2018-04-19 | バイドゥ ネットコム サイエンス アンド テクノロジー(ペキン) カンパニー リミテッド | Method and apparatus for annotating point cloud data |
JP2021505458A (en) * | 2017-12-07 | 2021-02-18 | ウェイモ エルエルシー | Early object detection for unprotected turns |
US11091153B2 (en) | 2016-05-19 | 2021-08-17 | Denso Corporation | Vehicle control apparatus and vehicle control method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06230115A (en) * | 1993-02-01 | 1994-08-19 | Toyota Motor Corp | Vehicular gap detector |
JP2000009842A (en) * | 1998-06-24 | 2000-01-14 | Mitsubishi Motors Corp | Measuring method for relative speed in transverse direction of preceding vehicle |
JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
JP2003168197A (en) * | 2001-11-30 | 2003-06-13 | Hitachi Ltd | Method and device for recognizing traveling circumstance |
JP2004053278A (en) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | Front vehicle tracking system and front vehicle tracking method |
JP2005165421A (en) * | 2003-11-28 | 2005-06-23 | Denso Corp | Sensor fusion system and vehicle control unit using it |
JP2006099715A (en) * | 2004-09-06 | 2006-04-13 | Daihatsu Motor Co Ltd | Collision prediction method and collision prediction system |
-
2006
- 2006-06-27 JP JP2006177119A patent/JP2008008679A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06230115A (en) * | 1993-02-01 | 1994-08-19 | Toyota Motor Corp | Vehicular gap detector |
JP2000009842A (en) * | 1998-06-24 | 2000-01-14 | Mitsubishi Motors Corp | Measuring method for relative speed in transverse direction of preceding vehicle |
JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
JP2003168197A (en) * | 2001-11-30 | 2003-06-13 | Hitachi Ltd | Method and device for recognizing traveling circumstance |
JP2004053278A (en) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | Front vehicle tracking system and front vehicle tracking method |
JP2005165421A (en) * | 2003-11-28 | 2005-06-23 | Denso Corp | Sensor fusion system and vehicle control unit using it |
JP2006099715A (en) * | 2004-09-06 | 2006-04-13 | Daihatsu Motor Co Ltd | Collision prediction method and collision prediction system |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282592A (en) * | 2008-05-20 | 2009-12-03 | Hitachi Ltd | Vehicular outside world recognition device and vehicle system |
JP2009298265A (en) * | 2008-06-12 | 2009-12-24 | Denso Corp | Vehicular collision determination device |
US8935087B2 (en) | 2008-06-12 | 2015-01-13 | Denso Corporation | Collision determination apparatus for vehicle |
JPWO2013027803A1 (en) * | 2011-08-25 | 2015-03-19 | 日産自動車株式会社 | Autonomous driving control system for vehicles |
WO2013027803A1 (en) * | 2011-08-25 | 2013-02-28 | 日産自動車株式会社 | Autonomous driving control system for vehicle |
US9182761B2 (en) | 2011-08-25 | 2015-11-10 | Nissan Motor Co., Ltd. | Autonomous driving control system for vehicle |
CN103781685A (en) * | 2011-08-25 | 2014-05-07 | 日产自动车株式会社 | Autonomous driving control system for vehicle |
WO2014024284A1 (en) * | 2012-08-08 | 2014-02-13 | トヨタ自動車株式会社 | Collision prediction device |
JP5835490B2 (en) * | 2012-08-08 | 2015-12-24 | トヨタ自動車株式会社 | Collision prediction device |
US9440650B2 (en) | 2012-08-08 | 2016-09-13 | Toyota Jidosha Kabushiki Kaisha | Collision prediction apparatus |
FR3002510A1 (en) * | 2013-02-27 | 2014-08-29 | Bosch Gmbh Robert | METHOD FOR ASSISTING THE DRIVER IN A COLLISION EVIDENT MANEUVER AND DEVICE FOR IMPLEMENTING THE SAME |
JP2015078926A (en) * | 2013-10-17 | 2015-04-23 | 株式会社デンソー | Target detection device |
CN104569979A (en) * | 2013-10-17 | 2015-04-29 | 株式会社电装 | Target detection apparatus |
US9753130B2 (en) | 2013-10-17 | 2017-09-05 | Denso Corporation | Target detection apparatus |
JP2015175644A (en) * | 2014-03-13 | 2015-10-05 | 株式会社リコー | Ranging system, information processing device, information processing method, and program |
US11091153B2 (en) | 2016-05-19 | 2021-08-17 | Denso Corporation | Vehicle control apparatus and vehicle control method |
JP2018063236A (en) * | 2016-10-13 | 2018-04-19 | バイドゥ ネットコム サイエンス アンド テクノロジー(ペキン) カンパニー リミテッド | Method and apparatus for annotating point cloud data |
US11004234B2 (en) | 2016-10-13 | 2021-05-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for annotating point cloud data |
JP2021505458A (en) * | 2017-12-07 | 2021-02-18 | ウェイモ エルエルシー | Early object detection for unprotected turns |
CN113276847A (en) * | 2017-12-07 | 2021-08-20 | 伟摩有限责任公司 | Early object detection for unprotected turns |
JP7097441B2 (en) | 2017-12-07 | 2022-07-07 | ウェイモ エルエルシー | Methods, systems and vehicles for maneuvering vehicles |
US11453392B2 (en) | 2017-12-07 | 2022-09-27 | Waymo Llc | Early object detection for unprotected turns |
US12005891B2 (en) | 2017-12-07 | 2024-06-11 | Waymo Llc | Early object detection for unprotected turns |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111483457B (en) | Device, system and method for collision avoidance | |
CN110497908B (en) | Autonomous driving system and control logic for intelligent vehicle control using sensor fusion | |
EP3339124B1 (en) | Autonomous driving system | |
EP3075618B1 (en) | Vehicle control apparatus | |
EP3048022B1 (en) | Collision avoidance control system and control method | |
JP2008008679A (en) | Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus | |
US11203359B2 (en) | Vehicle control system, vehicle control method, and storage medium | |
JP5403158B2 (en) | Vehicle control apparatus and vehicle control method | |
JP5938518B2 (en) | Collision safety control device | |
JP2007264884A (en) | Collision judgement device | |
JP5772651B2 (en) | Driving assistance device | |
US20210171032A1 (en) | Driving support system | |
JP4134803B2 (en) | Automotive electronic devices | |
US20230294674A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
JP4294450B2 (en) | Vehicle driving support device | |
JP2023036593A (en) | Vehicular recognition device, vehicle control system, vehicular recognition method and program | |
JP2008143429A (en) | Collision predicting device | |
US20230382413A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
US20230382396A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
US20230294680A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
US12024163B2 (en) | Systems and methods for generating vehicle alerts | |
US20230294675A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
US20230294676A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
US20230294673A1 (en) | Driving assistance device, driving assistance method, and storage medium | |
US20240109551A1 (en) | Notification control device, notification control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110726 |