JP2012121524A - Photographing system - Google Patents
Photographing system Download PDFInfo
- Publication number
- JP2012121524A JP2012121524A JP2010275934A JP2010275934A JP2012121524A JP 2012121524 A JP2012121524 A JP 2012121524A JP 2010275934 A JP2010275934 A JP 2010275934A JP 2010275934 A JP2010275934 A JP 2010275934A JP 2012121524 A JP2012121524 A JP 2012121524A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- display
- lane
- camera
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、車両に搭載される撮影システムに関する。 The present invention relates to a photographing system mounted on a vehicle.
下記の特許文献１には、車両のサイドミラーに取り付けられ、車両の側方を撮影する車両用周辺確認装置が開示されている。
ところで、渋滞などにより前の車両で前景が遮られていると、運転者は、走行中のレーン以外の他のレーンの先の状況を視認できない。特に、右ハンドル車の場合、渋滞などにより前の車両で前景が遮られていると、左隣のレーンの先の状況を視認することが難しい。そのため、例えば、左隣のレーンの先に駐車中の他の車両が存在していたり、工事中で車線が規制されているとしても、その状況がわからないために、渋滞中のレーンから左隣のレーンに車線変更をしてしまい、再び渋滞中のレーンに戻ることを余儀なくされる場合がある。 By the way, if the foreground is obstructed by a previous vehicle due to traffic jams or the like, the driver cannot visually recognize the situation ahead of the other lanes other than the traveling lane. In particular, in the case of a right-hand drive vehicle, if the foreground is blocked by a preceding vehicle due to traffic jams, it is difficult to visually recognize the situation ahead of the lane on the left. Therefore, for example, even if there is another vehicle parked at the end of the lane on the left, or the lane is restricted during construction, the situation is not known, so There is a case where the lane is changed to a lane and the vehicle is forced to return to a lane that is congested again.
また、交差点で左折する場合、交差点の手前から予め左端のレーンに車線変更する必要があるが、左端のレーンに駐車中の車両がある場合にはその駐車車両の位置を過ぎてから左端のレーンに車線変更を行う必要がある。しかし、前述のように、渋滞などにより前の車両で前景が遮られていると、左端のレーンの先を視認できないため非常に不便である。 Also, when making a left turn at an intersection, it is necessary to change the lane from the front of the intersection to the leftmost lane in advance, but if there is a parked vehicle in the leftmost lane, the leftmost lane after the position of the parked vehicle It is necessary to change lanes. However, as described above, if the foreground is obstructed by a preceding vehicle due to traffic congestion or the like, it is very inconvenient because the tip of the left lane cannot be visually recognized.
上記の特許文献１の技術では、隣のレーンの前方を撮影することは可能であるが、車線変更を行う都度、車両用周辺確認装置を運転者が操作する必要がある。渋滞中の車線変更では、ブレーキやアクセルペダル、方向指示器等を操作しなければならず、マニュアル車の場合にはさらにシフトレバーやクラッチペダルを操作する必要があり、さらに、ドアミラー等によりバイク等の追い抜きがないかを確認する等、運転者が行うべき作業は多い。そのため、車線変更時に車両用周辺確認装置を操作させることは、運転者に更なる負担を強いることになる。
In the technique disclosed in
本発明は上記事情を鑑みてなされたものであり、本発明の目的は、運転者にさらなる負担を強いることなく、車線変更に必要な前方確認を容易にすることにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to facilitate forward confirmation necessary for lane change without imposing a further burden on the driver.
上記課題を解決するために、例えば、本発明では、車両に搭載される撮影システムであって、
前記車両の前側方の画像を撮影するカメラと、
前記車両の挙動に基づいて、当該車両が走行レーンを変更する可能性が高いか否かを判定するレーン変更判定部と、
前記レーン変更判定部によって、前記車両が走行レーンを変更する可能性が高いと判定された場合に、前記カメラによって撮影された画像を出力する表示制御部と、
前記表示制御部から出力された画像を表示する表示部と
を備えることを特徴とする撮影システムを提供する。
In order to solve the above problem, for example, in the present invention, a photographing system mounted on a vehicle,
A camera that captures an image of the front side of the vehicle;
Based on the behavior of the vehicle, a lane change determination unit that determines whether or not the vehicle is likely to change the traveling lane,
A display control unit that outputs an image captured by the camera when the lane change determination unit determines that the vehicle is likely to change a driving lane;
And a display unit that displays the image output from the display control unit.
本発明の撮影システムによれば、運転者にさらなる負担を強いることなく、車線変更に必要な前方確認を容易にすることができる。 According to the photographing system of the present invention, it is possible to facilitate forward confirmation necessary for lane change without imposing a further burden on the driver.
まず、本発明の第１の実施形態について、図面を参照しながら説明する。 First, a first embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の一実施形態に係る撮影システム１０の構成を示すシステム構成図である。撮影システム１０は、車両１１に搭載され、カメラ２０、表示制御装置３０、および表示装置４０を備える。
FIG. 1 is a system configuration diagram showing the configuration of an imaging system 10 according to an embodiment of the present invention. The imaging system 10 is mounted on a vehicle 11 and includes a
カメラ２０は、車両１１の前側方を撮影し、撮影した画像を表示制御装置３０および表示装置４０に供給する。また、カメラ２０は、例えば、図２に示すように、運転席１４側のサイドミラー１３と反対側のサイドミラー１２に取り付けられ、車両１１が走行中のレーンの左隣のレーンの前方を撮影することができる。
The
図３は、第１の実施形態における表示制御装置３０の詳細な機能構成の一例を示すブロック図である。表示制御装置３０は、レーン変更判定部３１、表示制御部３２、および表示継続時間格納３３を有する。
FIG. 3 is a block diagram illustrating an example of a detailed functional configuration of the
表示継続時間格納３３には、例えば図４に示すように、車両１１の車速の範囲を示す車速３３０に対応付けて、表示継続時間３３１が予め格納されている。なお、図４において、「〜３０ｋｍ／ｈ」は、車速が時速３０ｋｍ未満の範囲を示しており、「３０ｋｍ／ｈ〜」は、車速が時速３０ｋｍ以上の範囲を示している。
In the
レーン変更判定部３１は、カメラ２０から供給された車両１１の左前方の画像を参照して、車両１１がレーン変更を行う可能性が高いか否かを判定する。そして、レーン変更を行う可能性が高いと判定した場合、レーン変更判定部３１は、その旨を表示制御部３２に通知する。
The lane
車両１１がレーン変更を行う可能性が高いか否かを判定する方法としては、例えば、自車両１１から、自車両１１が走行中のレーンと左隣のレーンとの境界までの距離が予め定められた距離（例えば３０ｃｍ）未満の状態で、予め定められた時間（例えば３秒間）以上走行を続けた場合に、車両１１がレーン変更を行う可能性が高いと判定する方法がある。 As a method for determining whether or not the vehicle 11 is likely to change the lane, for example, the distance from the own vehicle 11 to the boundary between the lane in which the own vehicle 11 is traveling and the left adjacent lane is determined in advance. There is a method for determining that the vehicle 11 is likely to change lanes when traveling for a predetermined time (for example, 3 seconds) in a state of less than a predetermined distance (for example, 30 cm).
より詳細には、下記のような手順で判定を行う。ここで、例えば、レーン変更判定部３１には、カメラ２０によって撮影された図５に示すような画像５０が供給されており、レーン変更判定部３１には、自車両１１から予め定められた距離（例えば３０ｃｍ）にある路面上の位置が表示されるべき画像５０上の位置を示す線分５１が予め設定されている。また、レーン変更判定部３１は、カメラ２０から供給された画像５０内において、例えば画像認識により、走行レーンの境界を示す白線５２を認識する。
More specifically, the determination is performed according to the following procedure. Here, for example, the lane
レーン変更判定部３１は、所定時間毎（例えば１秒毎）に、カメラ２０から供給された画像５０を参照して、白線５２の少なくとも一部が、線分５１と自車両画像５３との間の領域に表示されているか否かを判定し、白線５２の少なくとも一部が、線分５１と自車両画像５３との間の領域に表示されている状態を連続して所定回数（例えば３回）検出した場合に、車両１１がレーン変更を行う可能性が高いと判定する。
The lane
表示制御部３２は、車両１１がレーン変更を行う可能性が高い旨をレーン変更判定部３１から通知された場合に、カメラ２０によって撮影された画像の表示を表示装置４０に指示する。表示装置４０は、表示制御部３２からの指示に従って、カメラ２０によって撮影された画像を表示する。
The
また、表示制御部３２は、車両１１から出力される所定期間内の車速パルスの数に基づいて現在の車速を逐次算出しており、カメラ２０によって撮影された画像の表示を表示装置４０に指示した場合に、現在の車速が含まれる範囲に対応付けられている表示継続時間を表示継続時間格納３３から取得する。ここで、車速パルスとは、車両１１の車輪の一定の回転に応じて出力されるパルス信号である。
The
そして、表示制御部３２は、カメラ２０によって撮影された画像の表示を表示装置４０に指示してからの経過時間を測定し、当該経過時間が、表示継続時間格納３３から取得した表示継続時間以上となった場合に、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示する。表示装置４０は、表示制御部３２からの指示に従って、カメラ２０によって撮影された画像の表示を停止する。
Then, the
図６は、第１の実施形態における表示制御装置３０の動作の一例を示すフローチャートである。例えば、車両１１のエンジンが始動する等の所定のタイミングで、表示制御装置３０は本フローチャートに示す動作を開始する。なお、前提として、カメラ２０は、車両１１のエンジン始動後に画像を表示制御装置３０に供給している。
FIG. 6 is a flowchart illustrating an example of the operation of the
まず、レーン変更判定部３１は、変数Ｎの値を０に初期化し（Ｓ１００）、レーン変更の監視タイミングか否かを判定する（Ｓ１０１）。本実施形態において、レーン変更の監視タイミングは、例えば１秒毎である。
First, the lane
レーン変更の監視タイミングである場合（Ｓ１０１：Ｙｅｓ）、レーン変更判定部３１は、カメラ２０によって撮影された画像５０を参照して、左隣のレーンとの境界を示す白線５２の位置を画像５０内で認識する（Ｓ１０２）。
When it is the monitoring timing of the lane change (S101: Yes), the lane
そして、レーン変更判定部３１は、当該白線５２の少なくとも一部が、予め設定された線分５１と自車両画像５３との間の領域に表示されているか否かを判定することにより、当該白線５２と車両１１との距離が所定距離未満か否かを判定する（Ｓ１０３）。
Then, the lane
白線５２と車両１１との距離が所定距離以上である場合（Ｓ１０３：Ｎｏ）、レーン変更判定部３１は、変数Ｎの値を０に初期化して（Ｓ１１２）、再びステップＳ１０１に示した処理を実行する。
When the distance between the
一方、白線５２と車両１１との距離が所定距離未満である場合（Ｓ１０３：Ｙｅｓ）、レーン変更判定部３１は、変数Ｎの値を１増やし（Ｓ１０４）、変数Ｎの値が予め定められた定数Ｎ0（例えば３）に達したか否かを判定する（Ｓ１０５）。変数Ｎの値が定数Ｎ0に達していない場合（Ｓ１０５：Ｎｏ）、レーン変更判定部３１は、再びステップＳ１０１に示した処理を実行する。
On the other hand, when the distance between the
一方、変数Ｎの値が定数Ｎ0に達した場合（Ｓ１０５：Ｙｅｓ）、レーン変更判定部３１は、変数Ｎの値を０に初期化して（Ｓ１０６）、車両１１がレーン変更を行う可能性が高い旨を表示制御部３２に通知する。表示制御部３２は、カメラ２０によって撮影された画像の表示を表示装置４０に指示し（Ｓ１０７）、表示装置４０は、カメラ２０によって撮影された画像を表示する。
On the other hand, when the value of the variable N reaches the constant N 0 (S105: Yes), the lane
次に、表示制御部３２は、車両１１から出力されている車速パルスに基づいて現在の自車両１１の車速を算出し、当該車速が含まれる範囲に対応付けられている表示継続時間Ｔ0を表示継続時間格納３３から取得する（Ｓ１０８）。そして、表示制御部３２は、内蔵タイマをリセットスタートさせ（Ｓ１０９）、タイマの値Ｔが、ステップＳ１０８において取得した表示継続時間Ｔ0以上となったか否かを判定する（Ｓ１１０）。
Next, the
タイマの値Ｔが表示継続時間Ｔ0以上となった場合（Ｓ１１０：Ｙｅｓ）、表示制御部３２は、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示する（Ｓ１１１）。表示装置４０は、表示制御部３２からの指示に従って、カメラ２０によって撮影された画像の表示を停止し、レーン変更判定部３１は、再びステップＳ１０１に示した処理を実行する。
When the timer value T is equal to or longer than the display duration T 0 (S110: Yes), the
以上、本発明の第１の実施形態について説明した。 The first embodiment of the present invention has been described above.
上記説明から明らかなように、本実施形態の撮影システム１０によれば、車両１１がレーン変更を行う可能性が高いことを検出して、車両１１の前側方の画像を自動的に表示するため、運転者にさらなる負担を強いることなく、車線変更に必要な前方確認を容易にすることができる。 As is apparent from the above description, according to the imaging system 10 of the present embodiment, it is detected that the vehicle 11 is likely to change lanes, and an image of the front side of the vehicle 11 is automatically displayed. The forward confirmation necessary for changing the lane can be facilitated without imposing a further burden on the driver.
なお、上記した第１の実施形態では、カメラ２０によって撮影された画像の表示継続時間を車速に応じて定めたが、本発明はこれに限られず、道路種別に応じて表示継続時間を定めてもよい。
In the first embodiment described above, the display duration of the image taken by the
より詳しく説明すると、表示継続時間格納３３には、図４で説明した情報に代えて、例えば図７に示すように、表示継続時間３３１を道路種別３３２に対応付けた情報を予め格納させる。そして、表示制御部３２は、車両１１がレーン変更を行う可能性が高い旨をレーン変更判定部３１から通知された場合に、ＧＰＳ信号等に基づいて、道路地図上に自車両１１の現在位置を算出する機能を有するナビゲーション装置から、自車両１１が現在走行中の道路の種別を示す情報を取得して、現在走行中の道路の種別に対応する表示継続時間を表示継続時間格納３３から取得する。
More specifically, instead of the information described in FIG. 4, for example, as illustrated in FIG. 7, information in which the
また、上記した第１の実施形態において、レーン変更判定部３１は、走行中のレーンと左隣のレーンとの境界の白線から自車両１１までの距離が予め定められた距離未満の状態で、予め定められた時間以上継続して走行した場合に、車両１１がレーン変更を行う可能性が高いと判定するが、本発明はこれに限られない。
In the first embodiment described above, the lane
例えば、レーン変更判定部３１は、上記ナビゲーション装置から、自車両１１が現在走行中の道路の幅員Ｌ0を示す情報を取得する。そして、レーン変更判定部３１は、例えば図８に示すように、予め登録されている、自車両１１の車幅Ｌ1の半分と、走行中のレーンと左隣のレーンとの境界を示す白線５５から自車両１１までの距離Ｌ2との合計距離Ｌ3を求める。
For example, the lane
そして、レーン変更判定部３１は、自車両１１が現在走行中の道路の幅員Ｌ0から、求めた距離Ｌ3を差し引いて、走行中のレーンの右端を示す白線５６までの距離Ｌ4を求める。そして、レーン変更判定部３１は、距離Ｌ3に対する距離Ｌ4の比率を算出し、算出した比率が予め定められた比率（例えば２倍）を超えているか否かを判定する。予め定められた比率を超えた状態で、車両１１が予め定められた時間以上走行を続けた場合、レーン変更判定部３１は、車両１１が領域６０を越えて走行レーンを変更する可能性が高いと判定するようにしてもよい。
Then, the lane
次に、本発明の第２の実施形態について、図面を参照しながら説明する。 Next, a second embodiment of the present invention will be described with reference to the drawings.
図９は、第２の実施形態における表示制御装置３０の詳細な機能構成の一例を示すブロック図である。本実施形態における表示制御装置３０は、レーン変更判定部３１、表示制御部３２、および表示継続距離格納部３４を有する。
FIG. 9 is a block diagram illustrating an example of a detailed functional configuration of the
表示継続距離格納部３４には、例えば図１０に示すように、車両１１の車速の範囲を示す車速３４０に対応付けて、表示継続距離３４１が予め格納されている。
For example, as shown in FIG. 10, the display continuation
レーン変更判定部３１は、カメラ２０から供給された車両１１の左前方の画像を参照して、車両１１がレーン変更を行う可能性が高いか否かを判定する。そして、レーン変更を行う可能性が高いと判定した場合、レーン変更判定部３１は、その旨を表示制御部３２に通知する。
The lane
本実施形態において、車両１１がレーン変更を行う可能性が高いか否かを判定する方法としては、例えば、自車両１１から、自車両１１が走行中のレーンと左隣のレーンとの境界までの距離の減少速度を算出し、算出した減少速度を元に、当該距離が０になる（すなわち、車両１１が左隣のレーンとの境界を越える）までの時間を予測する。そして、予測した時間が、予め定められた時間（例えば５秒）未満である場合に、車両１１がレーン変更を行う可能性が高いと判定する方法を用いる。 In this embodiment, as a method for determining whether or not the vehicle 11 is likely to change lanes, for example, from the own vehicle 11 to the boundary between the lane in which the own vehicle 11 is traveling and the left adjacent lane. The distance decrease rate is calculated, and based on the calculated decrease rate, the time until the distance becomes 0 (that is, the vehicle 11 crosses the boundary with the left adjacent lane) is predicted. Then, when the predicted time is less than a predetermined time (for example, 5 seconds), a method is used in which it is determined that the vehicle 11 is likely to change lanes.
より詳細には、下記のような手順で判定を行う。ここで、例えば、レーン変更判定部３１には、カメラ２０によって撮影された図５に示したような画像５０が供給されており、レーン変更判定部３１には、例えば図１１に示すように、自車両１１から予め定められた距離毎に、当該距離にある路面上の位置が表示されるべき画像５０上の位置を示す複数の線分６１が予め設定されている。また、レーン変更判定部３１は、カメラ２０から供給された画像５０内において、例えば画像認識により、走行レーンの境界を示す白線５２を認識する。
More specifically, the determination is performed according to the following procedure. Here, for example, the lane
レーン変更判定部３１は、所定時間毎（例えば１秒毎）に、カメラ２０から供給された画像５０を参照して、自車両画像５３に最も近い白線５２の部分が表示されている領域６２を特定する。そして、レーン変更判定部３１は、特定した領域を挟んでいるいずれか一方（例えば左側）の線分６１に対応付けられた距離を、自車両１１から白線５２までの距離として算出する。
The lane
なお、レーン変更判定部３１は、レーンの境界までの距離を測定するための専用のカメラを車両１１に別途設け、そのカメラからの画像を元にレーンの境界までの距離を算出するようにしてもよい。
The lane
そして、レーン変更判定部３１は、所定時間毎に測定した過去所定回数分（例えば過去３回分）の測定結果を用いて、レーンの境界までの距離の時間軸上での変化量を、例えば図１２に示すように直線６３で近似し、レーンの境界までの距離が０になるまでの時間Δｔを予測する。そして、予測したΔｔが予め定められた時間未満である場合、レーン変更判定部３１は、車両１１がレーン変更を行う可能性が高いと判定し、その旨を表示制御部３２に通知する。
Then, the lane
なお、図１２に示す例において、D(t-2)は２回前に測定されたレーンの境界までの距離を示し、D(t-1)は１回前に測定されたレーンの境界までの距離を示し、D(t)は直前に測定されたレーンの境界までの距離を示している。 In the example shown in FIG. 12, D (t-2) indicates the distance to the boundary of the lane measured twice before, and D (t-1) indicates the boundary of the lane measured once before. D (t) indicates the distance to the lane boundary measured immediately before.
また、本実施形態では、レーンの境界までの距離の変化速度に応じて、車両１１がレーン変更を行う可能性が高いか否かを判定するため、急にハンドルを切って早い速度でレーンの境界に近づく場合には、例えば図１２に示すように、レーンの境界から比較的遠い距離Ｄ1において、車両１１がレーン変更を行う可能性が高いと判定される。 Further, in the present embodiment, in order to determine whether or not the vehicle 11 is likely to change the lane according to the changing speed of the distance to the lane boundary, the steering wheel is suddenly turned and the lane is changed at a high speed. when approaching the boundary, for example, as shown in FIG. 12, at a relatively large distance D 1 from the boundary of the lane, the vehicle 11 is determined to be likely to perform lane changes.
一方、緩やかにハンドルを切って遅い速度でレーンの境界に近づく場合には、例えば図１３に示すように、レーンの境界に比較的近い距離Ｄ2において、車両１１がレーン変更を行う可能性が高いと判定される。従って、車両１１が左隣のレーンとの境界に近づく速度に関わり無く、実際にレーン変更を行う充分前に、車両１１がレーン変更を行う可能性が高いと判定することができる。 On the other hand, when the steering wheel is gently turned and the lane boundary is approached at a slow speed, the vehicle 11 may change the lane at a distance D 2 relatively close to the lane boundary as shown in FIG. 13, for example. Determined to be high. Therefore, regardless of the speed at which the vehicle 11 approaches the boundary with the left adjacent lane, it can be determined that there is a high possibility that the vehicle 11 will change the lane sufficiently before the lane is actually changed.
表示制御部３２は、車両１１がレーン変更を行う可能性が高い旨をレーン変更判定部３１から通知された場合に、カメラ２０によって撮影された画像の表示を表示装置４０に指示する。表示装置４０は、表示制御部３２からの指示に従って、カメラ２０によって撮影された画像を表示する。
The
また、表示制御部３２は、車両１１から出力される所定期間内の車速パルスの数に基づいて現在の車速を逐次算出しており、カメラ２０によって撮影された画像の表示を表示装置４０に指示した場合に、現在の車速が含まれる範囲に対応付けられている表示継続距離を表示継続時間格納３３から取得する。
The
そして、表示制御部３２は、カメラ２０によって撮影された画像の表示を表示装置４０に指示してからの車速パルスの数を計測し、計測した車速パルス数に、車両１１の車輪の外周等に基づいて予め設定された係数を乗じて、カメラ２０によって撮影された画像の表示を表示装置４０に指示してから自車両１１が走行した距離を算出する。
Then, the
そして、表示制御部３２は、算出した走行距離が、表示継続距離格納部３４から取得した表示継続距離以上となった場合に、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示する。表示装置４０は、表示制御部３２からの指示に従って、カメラ２０によって撮影された画像の表示を停止する。
Then, when the calculated travel distance is equal to or longer than the display continuation distance acquired from the display continuation
図１４は、第２の実施形態における表示制御装置３０の動作の一例を示すフローチャートである。例えば、車両１１のエンジンが始動する等の所定のタイミングで、表示制御装置３０は本フローチャートに示す動作を開始する。なお、前提として、カメラ２０は、車両１１のエンジン始動後に画像を表示制御装置３０に供給している。
FIG. 14 is a flowchart illustrating an example of the operation of the
まず、レーン変更判定部３１は、レーンの境界を示す白線と自車両１１との距離を格納する変数D(t)、D(t-1)、およびD(t-2)をそれぞれ０に初期化し（Ｓ２００）、レーン変更の監視タイミングか否かを判定する（Ｓ２０１）。本実施形態において、レーン変更の監視タイミングは、例えば１秒毎である。
First, the lane
レーン変更の監視タイミングである場合（Ｓ１０１：Ｙｅｓ）、レーン変更判定部３１は、D(t-1)の値をD(t-2)に代入し（Ｓ２０２）、D(t)の値をD(t-1)に代入する（Ｓ２０３）。そして、レーン変更判定部３１は、カメラ２０によって撮影された画像５０を参照して、左隣のレーンとの境界までの距離を測定してD(t)に設定する（Ｓ２０４）。
When it is the lane change monitoring timing (S101: Yes), the lane
次に、レーン変更判定部３１は、例えば図１２を用いて説明した方法で、境界までの距離が０になるまでの時間Δｔを予測し（Ｓ２０５）、予測した時間Δｔが、予め設定されている基準時間Δｔ0以下か否かを判定する（Ｓ２０６）。予測した時間Δｔが基準時間Δｔ0よりも長い場合（Ｓ２０６：Ｎｏ）、レーン変更判定部３１は、再びステップＳ２０１に示した処理を実行する。
Next, the lane
一方、予測した時間Δｔが基準時間Δｔ0以下である場合（Ｓ２０６：Ｙｅｓ）、レーン変更判定部３１は、車両１１がレーン変更を行う可能性が高い旨を表示制御部３２に通知する。表示制御部３２は、カメラ２０によって撮影された画像の表示を表示装置４０に指示し（Ｓ２０７）、表示装置４０は、カメラ２０によって撮影された画像を表示する。
On the other hand, when the predicted time Δt is equal to or less than the reference time Δt 0 (S206: Yes), the lane
次に、表示制御部３２は、車両１１から出力されている車速パルスに基づいて現在の自車両１１の車速を算出し、当該車速が含まれる範囲に対応付けられている表示継続距離を表示継続時間格納３３から取得する（Ｓ２０８）。そして、表示制御部３２は、車速パルスの数の計測を開始し、計測した車速パルス数に予め設定された係数を乗じて、カメラ２０によって撮影された画像の表示を表示装置４０に指示してからの自車両１１の走行距離の算出を開始する（Ｓ２０９）。
Next, the
次に、表示制御部３２は、算出した走行距離が、ステップＳ２０８において取得した表示継続距離以上となったか否かを判定する（Ｓ２１０）。算出した走行距離が、取得した表示継続距離以上となった場合（Ｓ２１０：Ｙｅｓ）、表示制御部３２は、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示する（Ｓ２１１）。表示装置４０は、表示制御部３２からの指示に従って、カメラ２０によって撮影された画像の表示を停止し、レーン変更判定部３１は、再びステップＳ２００に示した処理を実行する。
Next, the
以上、本発明の第２の実施形態について説明した。 The second embodiment of the present invention has been described above.
上記説明から明らかなように、本実施形態の撮影システム１０においても、車両１１がレーン変更を行う可能性が高いことを検出して、車両１１の前側方の画像を自動的に表示するため、運転者にさらなる負担を強いることなく、車線変更に必要な前方確認を容易にすることができる。 As is clear from the above description, in the imaging system 10 of the present embodiment, it is detected that the vehicle 11 is likely to change lanes, and an image of the front side of the vehicle 11 is automatically displayed. The forward confirmation necessary for changing the lane can be facilitated without imposing a further burden on the driver.
なお、上記した第２の実施形態では、カメラ２０によって撮影された画像の表示継続距離を、車速に応じて定めたが、本発明はこれに限られず、道路種別に応じて表示継続距離を定めてもよい。
In the second embodiment described above, the display continuation distance of the image taken by the
より詳しく説明すると、表示継続距離格納部３４には、図１０で説明した情報に代えて、例えば図１５に示すように、表示継続距離３４１を道路種別３４２に対応付けた情報を予め格納させる。そして、表示制御部３２は、車両１１がレーン変更を行う可能性が高い旨をレーン変更判定部３１から通知された場合に、ＧＰＳ信号等に基づいて、道路地図上に自車両１１の位置を算出する機能を有するナビゲーション装置から、自車両１１が現在走行中の道路の種別を示す情報を取得して、現在走行中の道路の種別に対応する表示継続距離を表示継続距離格納部３４から取得する。
More specifically, the display continuation
なお、上記第１または第２の実施形態における表示制御装置３０は、例えば図１６に示すような構成のコンピュータ７０によって実現される。図１６は、表示制御装置３０の機能を実現するコンピュータ７０の構成の一例を示すハードウェア構成図である。コンピュータ７０は、ＣＰＵ（Central Processing Unit）７１、ＲＡＭ（Random Access Memory）７２、ＲＯＭ（Read Only Memory）７３、入力インターフェイス（Ｉ／Ｆ）７４、および出力インターフェイス（Ｉ／Ｆ）７５を備える。
The
ＲＯＭ７３は、コンピュータ７０の起動時にＣＰＵ７１によって実行されるブートプログラムや、コンピュータ７０のハードウェアに依存するプログラム等を格納する。ＣＰＵ７１は、ＲＯＭ７３に格納されたプログラムに基づいて動作し、各部の制御を行う。
The
ＣＰＵ７１は、入力インターフェイス７４を介して、カメラ２０を制御し、入力インターフェイス７４を介してカメラ２０からデータを取得する。ＣＰＵ７１は、出力インターフェイス７５を介して表示装置４０を制御する。
The
コンピュータ７０のＣＰＵ７１は、コンピュータ７０から読み出されてＲＡＭ７２上にロードされたプログラムを実行することにより、レーン変更判定部３１および表示制御部３２の各機能を実現する。ＲＯＭ７３には、表示継続時間格納３３または表示継続距離格納部３４内のデータが格納される。
The
また、本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。 Further, the present invention is not limited to the above-described embodiment, and various modifications can be made within the scope of the gist thereof.
例えば、上記した各実施形態において、車両１１に車間センサを設け、表示制御部３２は、車両１１がレーン変更を行う可能性が高い旨をレーン変更判定部３１から通知された場合に、走行中のレーンの前方所定距離（例えば５ｍ）以内に他の車両１１が存在するならば、カメラ２０によって撮影された画像を表示させるように表示装置４０に指示するようにしてもよい。これにより、前方の見通しがよい場面において、カメラ２０によって撮影された画像が無駄に表示装置４０に表示されることを防止することができる。
For example, in each of the above-described embodiments, an inter-vehicle sensor is provided in the vehicle 11, and the
また、上記した各実施形態において、表示制御部３２は、カメラ２０によって撮影された画像の表示を表示装置４０に指示してから所定時間経過した場合、あるいは、所定距離走行した場合に、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示するが、本発明はこれに限られない。
Further, in each of the above-described embodiments, the
表示制御部３２は、例えば、カメラ２０によって撮影された画像を参照して、左隣のレーンとの境界を示す白線と、自車両１１との距離が０となった場合に、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示するようにしてもよい。また、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示した後に、左側の方向指示器が起動した場合、あるいは、左側の方向指示器が起動後に停止した場合に、表示制御部３２は、カメラ２０によって撮影された画像の表示を停止するよう表示装置４０に指示するようにしてもよい。
For example, the
また、上記した各実施形態において、カメラ２０は、運転席１４と反対側のサイドミラー１２に設けられているが、本発明はこれに限られず、運転席１４側のサイドミラー１３に設けられ、右隣のレーンに車線変更する場合に、右隣のレーンの前方を撮影した画像を表示するようにしてもよい。これにより、雨のため運転席側の窓が開けられない場合等であっても、運転者は前方確認を容易に行うことができる。
Further, in each of the above-described embodiments, the
また、上記した各実施形態では、進行方向右側に運転席が存在する車両１１を例に説明したが、本発明はこれに限られず、運転席が左側に存在する車両１１においても、上記した各実施形態の説明において左右を逆にすることで、同様に本発明を適用することができる。 In each of the above-described embodiments, the vehicle 11 having the driver's seat on the right side in the traveling direction has been described as an example. However, the present invention is not limited to this, and the vehicle 11 having the driver's seat on the left side also has the above-described features. The present invention can be similarly applied by reversing the left and right in the description of the embodiments.
１０・・・撮影システム、１１・・・車両、１２・・・サイドミラー、１３・・・サイドミラー、１４・・・運転席、２０・・・カメラ、３０・・・表示制御装置、３１・・・レーン変更判定部、３２・・・表示制御部、３３・・・表示継続時間格納、３４・・・表示継続距離格納部、４０・・・表示装置、５０・・・画像、５１・・・線分、５２・・・白線、５３・・・自車両画像、７０・・・コンピュータ、７１・・・ＣＰＵ、７２・・・ＲＡＭ、７３・・・ＲＯＭ、７４・・・入力インターフェイス、７５・・・出力インターフェイス
DESCRIPTION OF SYMBOLS 10 ... Shooting system, 11 ... Vehicle, 12 ... Side mirror, 13 ... Side mirror, 14 ... Driver's seat, 20 ... Camera, 30 ... Display control device, 31. .. lane change determination unit, 32... Display control unit, 33... Display storage time storage, 34... Display continuation distance storage unit, 40.
Claims (12)
前記車両の前側方の画像を撮影するカメラと、
前記車両の挙動に基づいて、当該車両が走行レーンを変更する可能性が高いか否かを判定するレーン変更判定部と、
前記レーン変更判定部によって、前記車両が走行レーンを変更する可能性が高いと判定された場合に、前記カメラによって撮影された画像を出力する表示制御部と、
前記表示制御部から出力された画像を表示する表示部と
を備えることを特徴とする撮影システム。 An imaging system mounted on a vehicle,
A camera that captures an image of the front side of the vehicle;
Based on the behavior of the vehicle, a lane change determination unit that determines whether or not the vehicle is likely to change the traveling lane,
A display control unit that outputs an image captured by the camera when the lane change determination unit determines that the vehicle is likely to change a driving lane;
An imaging system comprising: a display unit that displays an image output from the display control unit.
前記レーン変更判定部は、
前記車両が走行中のレーンの境界までの距離が予め定められた距離未満の状態で、前記車両が予め定められた時間以上走行を続けた場合に、当該車両が走行レーンを変更する可能性が高いと判定することを特徴とする撮影システム。 The imaging system according to claim 1,
The lane change determination unit
There is a possibility that the vehicle may change the traveling lane when the vehicle continues to travel for a predetermined time or more in a state where the distance to the boundary of the lane in which the vehicle is traveling is less than a predetermined distance. An imaging system characterized by being determined to be high.
前記レーン変更判定部は、
前記車両が走行中のレーンの幅員を規定する一方の端から当該車両の中心線までの距離に対する、他方の端から当該車両の中心線までの距離の比率が、予め定められた比率を超えた状態で、前記車両が予め定められた時間以上走行を続けた場合に、当該車両が前記一方の端を越えて走行レーンを変更する可能性が高いと判定することを特徴とする撮影システム。 The imaging system according to claim 1,
The lane change determination unit
The ratio of the distance from the other end to the center line of the vehicle with respect to the distance from one end defining the width of the lane in which the vehicle is traveling to the center line of the vehicle exceeds a predetermined ratio In this state, when the vehicle continues to travel for a predetermined time or more, it is determined that the vehicle is likely to change the travel lane beyond the one end.
前記レーン変更判定部は、
前記車両が走行中のレーンの境界までの距離の減少速度から、前記車両が前記境界をまたぐまでの時間を予測し、予測した時間が予め定められた時間未満となった場合に、当該車両が走行レーンを変更する可能性が高いと判定することを特徴とする撮影システム。 The imaging system according to claim 1,
The lane change determination unit
The time until the vehicle crosses the boundary is predicted from the decreasing speed of the distance to the boundary of the lane in which the vehicle is traveling, and when the predicted time is less than a predetermined time, the vehicle An imaging system characterized by determining that there is a high possibility of changing a traveling lane.
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させてから、予め定められた表示継続時間が経過した場合に、前記表示部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to any one of claims 1 to 4,
The display control unit
When a predetermined display continuation time has elapsed since the image captured by the camera is displayed on the display unit, the display unit stops displaying the image captured by the camera. Shooting system to do.
前記表示継続時間を、車速毎に格納する表示継続時間格納部をさらに備え、
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させた場合に、前記車両の車速に対応する表示継続時間を前記表示継続時間格納部から抽出し、抽出した表示継続時間が経過した場合に、前記表示装部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to claim 5,
A display duration storage unit for storing the display duration for each vehicle speed;
The display control unit
When an image captured by the camera is displayed on the display unit, a display duration corresponding to the vehicle speed of the vehicle is extracted from the display duration storage unit, and when the extracted display duration has elapsed, An imaging system, wherein display of an image taken by the camera is stopped on the display unit.
前記表示継続時間を、道路種別毎に格納する表示継続時間格納部をさらに備え、
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させた場合に、前記車両が走行中の道路の種別に対応する表示継続時間を前記表示継続時間格納部から抽出し、抽出した表示継続時間が経過した場合に、前記表示部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to claim 5,
A display duration storage unit for storing the display duration for each road type;
The display control unit
When an image captured by the camera is displayed on the display unit, the display duration corresponding to the type of road on which the vehicle is traveling is extracted from the display duration storage unit, and the extracted display duration is extracted. An imaging system characterized by stopping display of an image captured by the camera on the display unit when the time has elapsed.
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させてから、前記車両が予め定められた表示継続距離を走行した場合に、前記表示部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to any one of claims 1 to 4,
The display control unit
When the image taken by the camera is displayed on the display unit and then the vehicle has traveled a predetermined display continuation distance, the display unit stops displaying the image taken by the camera. A shooting system characterized by
前記表示継続距離を、車速毎に格納する表示継続距離格納部をさらに備え、
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させた場合に、前記車両の車速に対応する表示継続距離を前記表示継続距離格納部から抽出し、前記車両が、抽出した表示継続距離を走行した場合に、前記表示部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to claim 8,
A display continuation distance storage unit for storing the display continuation distance for each vehicle speed;
The display control unit
When an image photographed by the camera is displayed on the display unit, a display continuation distance corresponding to the vehicle speed of the vehicle is extracted from the display continuation distance storage unit, and the vehicle travels the extracted display continuation distance. In this case, the display system stops the display of the image captured by the camera on the display unit.
前記表示継続距離を、道路種別毎に格納する表示継続距離格納部をさらに備え、
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させた場合に、前記車両が走行中の道路の種別に対応する表示継続距離を前記表示継続距離格納部から抽出し、前記車両が、抽出した表示継続距離を走行した場合に、前記表示部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to claim 8,
A display continuation distance storage unit for storing the display continuation distance for each road type;
The display control unit
When an image photographed by the camera is displayed on the display unit, the display continuation distance corresponding to the type of road on which the vehicle is running is extracted from the display continuation distance storage unit, and the vehicle extracts An imaging system, wherein when the vehicle travels a display continuation distance, the display unit stops displaying images captured by the camera.
前記表示制御部は、
前記カメラによって撮影された画像を前記表示部に表示させた後に、前記車両が前記境界をまたいだ場合に、前記表示部に前記カメラによって撮影された画像の表示を停止させることを特徴とする撮影システム。 The imaging system according to any one of claims 1 to 4,
The display control unit
After the image captured by the camera is displayed on the display unit, when the vehicle crosses the boundary, the display unit stops displaying the image captured by the camera. system.
車間センサをさらに備え、
前記レーン変更判定部は、
前記車間センサによって前方所定距離以内に他の車両が存在すると検出されている場合に、自車両が走行レーンを変更する可能性が高いか否かを判定することを特徴とする撮影システム。 The imaging system according to any one of claims 1 to 11,
A vehicle-to-vehicle sensor
The lane change determination unit
An imaging system, wherein when it is detected by the inter-vehicle sensor that another vehicle is present within a predetermined distance ahead, it is determined whether or not the own vehicle is highly likely to change the travel lane.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010275934A JP2012121524A (en) | 2010-12-10 | 2010-12-10 | Photographing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010275934A JP2012121524A (en) | 2010-12-10 | 2010-12-10 | Photographing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012121524A true JP2012121524A (en) | 2012-06-28 |
Family
ID=46503450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010275934A Pending JP2012121524A (en) | 2010-12-10 | 2010-12-10 | Photographing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012121524A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015170794A1 (en) * | 2014-05-09 | 2015-11-12 | 한화테크윈 주식회사 | Device and method for detecting surrounding vehicles |
| US20180236939A1 (en) * | 2017-02-22 | 2018-08-23 | Kevin Anthony Smith | Method, System, and Device for a Forward Vehicular Vision System |
| JP2019128765A (en) * | 2018-01-24 | 2019-08-01 | トヨタ自動車株式会社 | Automated driving system |
| JP2021162902A (en) * | 2020-03-30 | 2021-10-11 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06168396A (en) * | 1992-11-30 | 1994-06-14 | Zanabui Infuomateikusu:Kk | On-vehicle information display device |
| JPH0939602A (en) * | 1995-08-04 | 1997-02-10 | Mitsubishi Motors Corp | Vehicle travelling condition judgement device |
| JP2002245500A (en) * | 2001-02-15 | 2002-08-30 | Mitsubishi Electric Corp | On-vehicle unit for dsrc |
| JP2003276543A (en) * | 2002-03-22 | 2003-10-02 | Mitsubishi Electric Corp | Rearward and sideward monitoring device for vehicle |
| JP2003312415A (en) * | 2002-04-23 | 2003-11-06 | Nissan Motor Co Ltd | Vehicular pre-presenting device |
| JP2004312638A (en) * | 2003-04-10 | 2004-11-04 | Mitsubishi Electric Corp | Obstacle detection apparatus |
| JP2005346648A (en) * | 2004-06-07 | 2005-12-15 | Denso Corp | View assistance system and program |
| JP2006105697A (en) * | 2004-10-01 | 2006-04-20 | Denso Corp | Vehicular navigation device |
| JP2007241468A (en) * | 2006-03-06 | 2007-09-20 | Toyota Motor Corp | Lane change detection device |
| JP2010191893A (en) * | 2009-02-20 | 2010-09-02 | Nissan Motor Co Ltd | Device and method for detecting driving failure state |
| WO2010122747A1 (en) * | 2009-04-23 | 2010-10-28 | パナソニック株式会社 | Driving support device, driving support method, and program |
-
2010
- 2010-12-10 JP JP2010275934A patent/JP2012121524A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06168396A (en) * | 1992-11-30 | 1994-06-14 | Zanabui Infuomateikusu:Kk | On-vehicle information display device |
| JPH0939602A (en) * | 1995-08-04 | 1997-02-10 | Mitsubishi Motors Corp | Vehicle travelling condition judgement device |
| JP2002245500A (en) * | 2001-02-15 | 2002-08-30 | Mitsubishi Electric Corp | On-vehicle unit for dsrc |
| JP2003276543A (en) * | 2002-03-22 | 2003-10-02 | Mitsubishi Electric Corp | Rearward and sideward monitoring device for vehicle |
| JP2003312415A (en) * | 2002-04-23 | 2003-11-06 | Nissan Motor Co Ltd | Vehicular pre-presenting device |
| JP2004312638A (en) * | 2003-04-10 | 2004-11-04 | Mitsubishi Electric Corp | Obstacle detection apparatus |
| JP2005346648A (en) * | 2004-06-07 | 2005-12-15 | Denso Corp | View assistance system and program |
| JP2006105697A (en) * | 2004-10-01 | 2006-04-20 | Denso Corp | Vehicular navigation device |
| JP2007241468A (en) * | 2006-03-06 | 2007-09-20 | Toyota Motor Corp | Lane change detection device |
| JP2010191893A (en) * | 2009-02-20 | 2010-09-02 | Nissan Motor Co Ltd | Device and method for detecting driving failure state |
| WO2010122747A1 (en) * | 2009-04-23 | 2010-10-28 | パナソニック株式会社 | Driving support device, driving support method, and program |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015170794A1 (en) * | 2014-05-09 | 2015-11-12 | 한화테크윈 주식회사 | Device and method for detecting surrounding vehicles |
| US10186154B2 (en) | 2014-05-09 | 2019-01-22 | Hanwha Land Systems Co., Ltd. | Device and method for detecting surrounding vehicles |
| US20180236939A1 (en) * | 2017-02-22 | 2018-08-23 | Kevin Anthony Smith | Method, System, and Device for a Forward Vehicular Vision System |
| JP2019128765A (en) * | 2018-01-24 | 2019-08-01 | トヨタ自動車株式会社 | Automated driving system |
| CN110077395A (en) * | 2018-01-24 | 2019-08-02 | 丰田自动车株式会社 | Automated driving system |
| US11014572B2 (en) | 2018-01-24 | 2021-05-25 | Toyota Jidosha Kabushiki Kaisha | Autonomous driving system |
| JP2021162902A (en) * | 2020-03-30 | 2021-10-11 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
| JP7188408B2 (en) | 2020-03-30 | 2022-12-13 | トヨタ自動車株式会社 | Information processing device and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2758918C1 (en) | Vehicle movement control method and traffic control device | |
| JP6614777B2 (en) | Method and system for predictive lane change support, program software product, and vehicle | |
| US11472409B2 (en) | Vehicle control apparatus | |
| US9487139B1 (en) | Determining a driver alert level for a vehicle alert system and method of use | |
| JP7189329B2 (en) | Vehicle control method and vehicle control device | |
| US9862272B2 (en) | Method for operating a longitudinal driver assistance system of a motor vehicle and motor vehicle | |
| JP6597905B2 (en) | Lane change support method and lane change support device | |
| US9227635B1 (en) | Method and system of assisting a driver of a vehicle | |
| KR102009585B1 (en) | Occlusion Control | |
| US11858527B2 (en) | Control system for vehicle and control method for vehicle | |
| US20160091325A1 (en) | Method and system of assisting a driver of a vehicle | |
| JP2017144933A (en) | Lane change support device | |
| US10457327B2 (en) | Method and system of assisting a driver of a vehicle | |
| KR101999079B1 (en) | Display device control method and display device | |
| JP6652090B2 (en) | Operation mode switching control device, system, method, and program | |
| JP6540465B2 (en) | Driving support device | |
| CN107209998A (en) | Lane detection device | |
| JPWO2019106788A1 (en) | Vehicle control device, vehicle, and vehicle control method | |
| WO2016048368A1 (en) | Methods and system of assisting a driver of a vehicle | |
| JP6970215B2 (en) | Vehicle control device, vehicle with it, and control method | |
| JP2019513617A (en) | How to drive a vehicle | |
| JPWO2018055689A1 (en) | Method for controlling travel of vehicle and travel control device | |
| JP2012121524A (en) | Photographing system | |
| US10948303B2 (en) | Vehicle control device | |
| RU2763445C1 (en) | Method for vehicle control and vehicle control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151006 |